大手ソフトウェア企業であるLaunchDarkly（ローンチダークリー）は、シーケンシャルテストと呼ばれる新しい実験手法を導入した。この手法は、実験プロセスを迅速化し、より柔軟にすることを目的としている。事前に定められたサンプルサイズと固定されたエンドポイントを必要とする従来の頻度主義的テストとは異なり、シーケンシャルテストでは結果を継続的に評価できる。つまり、明確な勝者が出た時点で実験を早期に中止できるため、統計的信頼性を損なうことなく時間とリソースを節約できる。
シーケンシャルテストは、実験の基礎となる計算方法を変更することで、結果を安全に早期に確認できるようにする。これにより、チームは結果を複数回確認する自由が得られ、明確な答えが既に見つかっている場合は早期に中止できる。また、テストが依然として厳密な統計的保証を維持していることも保証される。このアプローチにより、チームはテスト戦略を調整し、指標を頻繁に確認し、結果が良好であるか明らかに機能していない場合はテストを早期に終了できる。
シーケンシャルテストのメリットは、チェックアウトフローのテストのようなシナリオで特に顕著だ。例えば、新しいデザインがより効果的でユーザーのコンバージョン率も向上し、1週間後に主要指標で95%の統計的有意性に達した場合、テストを早期に終了できる。これは、初期の結果が有望であっても、事前に設定された期間テストを継続する固定期間テストとは対照的だ。シーケンシャルテストは時間を節約し、不適切なエクスペリエンスへの露出を減らし、チームが製品をより迅速にリリースするのに役立つ。
LaunchDarklyでは、頻度主義分析にシーケンシャルテストが利用可能だ。新しい実験を作成する際に、シーケンシャルテストを有効にするオプションがある。選択すると、p値と信頼区間がバックグラウンドで調整される。ただし、非常に初期の読み取りには依然として注意が必要だ。テスト開始から数分後に結果を確認しても、多くのインサイトは得られない可能性がある。しかし、テストが安定すると、信頼性の高いシグナルが得られる。シーケンシャルテストにより、チームは既に明らかなことを知るために数週間待つ必要がなくなり、統計的整合性を損なうことなく、早期の意思決定を迅速に行うことができる。
出典：LaunchDarkly
この製品の詳細については、LaunchDarkly製品ページをご覧ください。
