Signifikans för skillnaden mellan A/B-varianter

Hjälper produkt- och marknadsteam efter ett A/B-test när en verklig effekt måste skiljas från slumpmässig variation.

Bedöm om skillnaden mellan två A/B-varianter är statistiskt signifikant innan du väljer vinnaren. Beslutet kan grundas på den uppmätta effekten.

Så använder du

Ange antalet besökare för variant A och sedan antalet konverteringar, med varje värde på en egen rad.
Gör samma sak för variant B och behåll samma ordning: besökare först, konverteringar sedan.
Kör analysen för att jämföra båda uppsättningarna siffror och få en tolkning av den observerade skillnaden.
Granska resultatet med tanke på din urvalsstorlek och den verkliga testtiden.
Rensa värdena om du inte vill att de ska ligga kvar i webbläsaren.

Exempel

Exemplet innehåller fyra rader: besökare och konverteringar för A, sedan besökare och konverteringar för B. När du har kört det, titta på hur jämförelsen presenteras och kom ihåg att alla skillnader fortfarande behöver tolkas noggrant innan de styr ett beslut.

Indata

Gränser och format

Verktyget väljer inte vilken variant som ska publiceras; det hjälper bara till att tolka siffrorna du anger.
Felräknade besökare eller konverteringar förvränger resultatet, särskilt när båda varianterna inte mättes på samma sätt.
En icke-signifikant skillnad bevisar inte att varianterna är likvärdiga; det betyder att data inte kan avgöra frågan.
Beräkningen kan inte ersätta en plan som fastställts före testet, med en varaktighet, ett mål och kriterier valda i förväg.

Var bearbetningen sker

Hela beräkningen körs i din webbläsare. Siffrorna du skriver in stannar på din enhet och skickas inte till någon extern tjänst. Du kan köra analysen igen eller rensa fälten utan att skapa ett konto eller lämna en kopia hos verktyget.

Vanliga frågor

Kan jag ange procent i stället för råa tal?

Det är bättre att använda verkliga besöks- och konverteringsantal. En procentandel ensam kan inte visa hur många fall som ligger bakom måttet, och verktyget jämför antal först.

Vad bör jag göra om testet kördes i flera veckor?

Använd de sammanlagda totalerna från den planerade perioden och undvik att stoppa när siffrorna ser bäst ut. Verktyget tar inte hänsyn till varaktighet eller trafikförändringar över tid.

Räcker resultatet för att fatta ett marknadsföringsbeslut?

Nej. Det stödjer din tolkning av skillnaden, men andra faktorer spelar roll: kostnad, kvalitet, säsongsvariationer eller effekter på andra mätvärden. Kontrollera också att testet kördes utan tekniska problem.