Istotność różnicy między wariantami A/B

Pomaga zespołom produktowym i marketingowym po eksperymencie A/B, gdy decyzja wymaga oceny, czy wynik nie jest dziełem przypadku.

Oceń, czy różnica między wariantami A/B jest istotna, zanim wybierzesz skuteczniejszą wersję. Wynik pomaga podjąć decyzję opartą na danych.

Jak używać

Wprowadź liczbę odwiedzających dla wariantu A, a następnie liczbę konwersji, każdą wartość w osobnym wierszu.
Zrób to samo dla wariantu B, zachowując tę samą kolejność: najpierw odwiedzający, potem konwersje.
Uruchom analizę, aby porównać oba zestawy liczb i odczytać zaobserwowaną różnicę.
Przejrzyj wynik, pamiętając o liczebności próby i rzeczywistym czasie trwania testu.
Wyczyść wartości, jeśli nie chcesz, aby pozostały w przeglądarce.

Przykład

Przykład zawiera cztery wiersze: odwiedzających i konwersje dla A, a następnie odwiedzających i konwersje dla B. Po uruchomieniu sprawdź, jak przedstawiono porównanie, i pamiętaj, że każda różnica nadal wymaga ostrożnej interpretacji, zanim wpłynie na decyzję.

Dane wejściowe

Ograniczenia i formaty

Narzędzie nie wybiera, który wariant wdrożyć; pomaga jedynie odczytać podane liczby.
Błędnie zliczeni odwiedzający lub konwersje zniekształcają wynik, zwłaszcza gdy oba warianty nie były mierzone w ten sam sposób.
Nieistotna różnica nie dowodzi, że warianty są równe; oznacza, że dane nie pozwalają rozstrzygnąć pytania.
Obliczenie nie zastępuje planu ustalonego przed testem, z czasem trwania, celem i kryteriami wybranymi z góry.

Gdzie odbywa się przetwarzanie

Całe obliczenie odbywa się w przeglądarce. Wpisywane liczby pozostają na urządzeniu i nie są wysyłane do żadnej zewnętrznej usługi. Możesz ponownie uruchomić analizę lub wyczyścić pola bez tworzenia konta i bez pozostawiania kopii w narzędziu.

Częste pytania

Czy mogę wpisać wartości procentowe zamiast surowych liczb?

Lepiej użyć rzeczywistych liczb odwiedzających i konwersji. Sam procent nie pokazuje, ile przypadków kryje się za miarą, a narzędzie najpierw porównuje liczby.

Co zrobić, jeśli test trwał kilka tygodni?

Użyj zagregowanych sum z zaplanowanego okresu i unikaj zatrzymywania testu w momencie, gdy liczby wyglądają najlepiej. Narzędzie nie uwzględnia czasu trwania ani zmian ruchu w czasie.

Czy wynik wystarczy do podjęcia decyzji marketingowej?

Nie. Wspiera odczyt różnicy, ale liczą się inne czynniki: koszt, jakość, sezonowość lub wpływ na inne metryki. Sprawdź też, czy test przebiegł bez problemów technicznych.