LaunchDarkly(ローンチダークリー)は、Snowflake Native Experimentation(Snowflakeネイティブ実験機能)において、実験結果の測定精度と統計的信頼性を向上させる最新アップデートとして、メトリクスウィンドウ処理(Windowing)、ウィンゾライズ(Winsorization)、比率メトリクス(Ratio Metrics)の一般提供を開始した。
メトリクス作成フローに、より高精度な計測を可能にする2つの新オプションが追加された。ウィンドウ処理では、最初のエクスポージャーから計測対象とするイベントの期間(例:エクスポージャー後7日以内のコンバージョンのみ)を指定できる。これにより、実験に長くエクスポージャーされているユーザーによるバイアスを排除し、正確な測定が可能となる。ウィンゾライズでは、メトリクスイベントの値をデータセットの特定パーセンタイル値で上限設定(キャッピング)することで、外れ値が実験結果へ与える影響を排除できる。
また、分子と分母の集計方法を個別に指定して定義できる比率メトリクスが一般提供された。主に2つのユースケースに対応している。1つ目は、アカウント単位などの大きな単位で実験を展開しつつ、ユーザー単位などの細かい単位で結果を測定するクラスター実験。2つ目は、クリック数に対する表示数の割合など、コンバージョン率をモデル化するメトリクスの作成だ。
出典:LaunchDarkly
この製品の詳細については、LaunchDarkly製品ページをご覧ください。