Semnificația diferenței dintre variante A/B

Ajută echipele de produs și marketing după un experiment A/B, când trebuie separat un efect real de o variație întâmplătoare.

Evaluează dacă diferența dintre două variante A/B este semnificativă înainte de a alege varianta mai bună. Decizia se bazează pe efectul măsurat.

Cum se folosește

Introdu numărul de vizitatori pentru varianta A, apoi numărul de conversii, fiecare valoare pe linia ei.
Fă același lucru pentru varianta B, păstrând aceeași ordine: mai întâi vizitatori, apoi conversii.
Rulează analiza pentru a compara ambele seturi de cifre și a obține o interpretare a diferenței observate.
Verifică rezultatul ținând cont de dimensiunea eșantionului și de durata reală a testului.
Șterge valorile dacă nu vrei să rămână în browser.

Exemplu

Exemplul conține patru linii: vizitatori și conversii pentru A, apoi vizitatori și conversii pentru B. După rulare, uită-te la modul în care este prezentată comparația și reține că orice diferență necesită totuși o interpretare atentă înainte de a ghida o decizie.

Date de intrare

Limite și formate

Instrumentul nu alege ce variantă să fie livrată; te ajută doar să interpretezi cifrele pe care le furnizezi.
Vizitatorii sau conversiile numărate greșit distorsionează rezultatul, mai ales când ambele variante nu au fost măsurate în același fel.
O diferență nesemnificativă nu dovedește că variantele sunt egale; înseamnă că datele nu pot clarifica întrebarea.
Calculul nu poate înlocui un plan stabilit înainte de test, cu o durată, un obiectiv și criterii alese dinainte.

Unde are loc procesarea

Întregul calcul rulează în browser. Cifrele pe care le introduci rămân pe dispozitivul tău și nu sunt trimise către niciun serviciu extern. Poți rula din nou analiza sau șterge câmpurile fără a crea un cont și fără a lăsa o copie în instrument.

Întrebări frecvente

Pot introduce procente în loc de numere brute?

Este mai bine să folosești numărători reale de vizitatori și conversii. Un procent singur nu poate arăta câte cazuri stau în spatele măsurătorii, iar instrumentul compară mai întâi numărătorile.

Ce să fac dacă testul a durat mai multe săptămâni?

Folosește totalurile consolidate din perioada planificată și evită oprirea când cifrele arată cel mai bine. Instrumentul nu ține cont de durată sau de modificările traficului în timp.

Rezultatul este suficient pentru a lua o decizie de marketing?

Nu. Susține interpretarea diferenței, dar contează și alți factori: costul, calitatea, sezonalitatea sau efectele asupra altor metrici. Verifică și dacă testul a rulat fără probleme tehnice.