統計的検定

このページでは、差を検証したり測定を準備したりするための3つのツールをまとめています。A/B有意性は、2つのバリアント間の差が信頼できるかを示します。サンプルサイズは、想定すべき訪問者数を計画するのに役立ちます。UTMパーサーは、キャンペーンアドレスをパラメータに分解します。これらのツールは、行動する前に直感を確認したいマーケティングチームに適しています。無料でアカウントは不要です。

抱えている問いから始めます。2つのバリアントとその結果がすでにある場合、A/B有意性は観測された差を検討します。テストを計画している場合、サンプルサイズが開始前の基準を提供します。UTMパーサーは、キャンペーンがどこから来たか、パラメータがどのように設定されているかを確認するものです。3つは連携しますが、それぞれテストの異なる場面に適しています。

使い方

テスト前に、サンプルサイズから始めます。検出したい差と要求されたパラメーターを入力し、量の基準を得ます。
収集中または収集後に、A/B有意性を使います。両方のバリアントの結果を入力し、観測された差が保つか確認します。
出所を確認するには、UTMパーサーを開きます。キャンペーンアドレスをパラメーターに分解し、ソース、メディア、キャンペーンが一貫して命名されているか確認します。
最後に、計画量、差の強さ、キャンペーンパラメーターの三つをまとめて確認します。UTMラベルが変わると、分析の比較が難しくなることがあります。

よくある質問

A/B有意性は一方のバリアントが優れていると証明しますか？

入力されたデータのもとで、観測された差を確かなものとして扱えるかを示します。一方のバリアントがどこでも、または時間が経っても勝つことを単独で証明するものではありません。

なぜサンプルサイズを計算するのですか？

少ない訪問者数で早すぎる判断を避けるためです。結果は、テストを開始または拡大する前のボリュームの基準を示します。

UTMパーサーは何のためにありますか？

キャンペーンアドレスを読み取り、そのパラメータを一覧表示します。分析前に、ソース、メディア、キャンペーンが正しく命名されているかを確認するのに役立ちます。

サンプルサイズを計算せずにテストを開始できますか？

できますが、少ない量で早すぎる判断をするリスクがあります。サンプルサイズは開始前の基準を与えます。結果が出たら、A/B有意性と一緒に使って差を解釈します。

UTMパーサーはA/B有意性に影響しますか？

直接は影響しません。UTMパーサーは出所パラメーターを確認します。それでも命名ミスがあるとグループの比較が難しくなるため、A/B有意性を読む前にアドレスを確認します。