2 つの A/B 案の有意差判定

商品担当者や施策担当者が、実験結果から採用する案を決める前に、見えた差の確かさを確認したい場合に役立ちます。

2 つの A/B 案で観測された差が統計的に有意かを測り、偶然の変動による差かを見極めて施策を選ぶ際の具体的な判断材料を得られます。

サンプルには 4 行あります。A の訪問者数とコンバージョン数、次に B の訪問者数とコンバージョン数です。実行後は比較がどのように提示されるかを見て、差があっても意思決定を導く前に慎重な解釈が必要であることを忘れないでください。

入力

計算はすべてブラウザー内で実行されます。入力した数値は端末上に残り、外部サービスには送信されません。アカウントを作成したり、ツールにコピーを残したりせずに、分析を再実行したり項目をクリアしたりできます。

実際の訪問者数とコンバージョン数を使う方がよいです。パーセントだけでは、その指標の背後に何件あるかを示せません。また、このツールはまず件数を比較します。

計画した期間の集計値を使用し、数値が最もよく見える時点で止めないでください。このツールは期間や時間の経過に伴うトラフィックの変化を考慮しません。

いいえ。差の解釈を助けますが、コスト、品質、季節性、他の指標への影響など他の要因も重要です。テストが技術的な問題なく実施されたことも確認してください。