Statistische significantie van twee A/B-varianten

Productmanagers en marketeers gebruiken dit na een experiment om te beoordelen of het waargenomen verschil hun keuze voldoende ondersteunt.

Meet of het verschil tussen twee A/B-varianten statistisch significant is en gebruik de uitkomst als onderbouwing voor de keuze van een variant.

Hoe te gebruiken

Voer het aantal bezoekers voor variant A in en daarna het aantal conversies, elke waarde op een eigen regel.
Doe hetzelfde voor variant B en houd dezelfde volgorde aan: eerst bezoekers, daarna conversies.
Start de analyse om beide reeksen cijfers te vergelijken en het waargenomen verschil te duiden.
Bekijk het resultaat met je steekproefgrootte en de werkelijke testduur in gedachten.
Wis de waarden als je niet wilt dat ze in de browser achterblijven.

Voorbeeld

Het voorbeeld bevat vier regels: bezoekers en conversies voor A, daarna bezoekers en conversies voor B. Kijk na het uitvoeren hoe de vergelijking wordt gepresenteerd en bedenk dat elk verschil nog zorgvuldig moet worden geïnterpreteerd voordat het een beslissing stuurt.

Invoer

Limieten en formaten

Het hulpmiddel kiest niet welke variant wordt uitgerold; het helpt alleen de cijfers die je aanlevert te lezen.
Verkeerd getelde bezoekers of conversies vertekenen de uitkomst, vooral wanneer beide varianten niet op dezelfde manier zijn gemeten.
Een niet-significant verschil bewijst niet dat de varianten gelijk zijn; het betekent dat de gegevens de vraag niet kunnen beslechten.
De berekening vervangt geen plan dat vóór de test is vastgelegd, met een duur, een doel en vooraf gekozen criteria.

Waar de verwerking gebeurt

De hele berekening draait in je browser. De cijfers die je typt blijven op je apparaat en worden niet naar een externe dienst gestuurd. Je kunt de analyse opnieuw uitvoeren of de velden wissen zonder een account aan te maken of een kopie bij het hulpmiddel achter te laten.

Veelgestelde vragen

Kan ik percentages invoeren in plaats van ruwe aantallen?

Gebruik liever echte aantallen bezoekers en conversies. Een percentage alleen laat niet zien hoeveel gevallen er achter de maatstaf zitten, en het hulpmiddel vergelijkt eerst de aantallen.

Wat moet ik doen als mijn test meerdere weken liep?

Gebruik de samengevoegde totalen uit de periode die je had gepland, en stop niet wanneer de cijfers het beste lijken. Het hulpmiddel houdt geen rekening met de duur of veranderingen in verkeer na verloop van tijd.

Is het resultaat genoeg om een marketingbeslissing te nemen?

Nee. Het ondersteunt je interpretatie van het verschil, maar andere factoren zijn belangrijk: kosten, kwaliteit, seizoensinvloeden of effecten op andere statistieken. Controleer ook of de test zonder technische problemen verliep.