Significatività della differenza A/B

Ideale per product manager e marketer che devono leggere il risultato di un esperimento prima di scegliere la variante vincente.

Stabilisci se la differenza osservata fra due varianti A/B è statisticamente significativa e scegli su basi più solide quale mantenere.

Come si usa

Inserisci il numero di visitatori della variante A, poi il numero di conversioni, ciascun valore su una riga separata.
Fai lo stesso per la variante B, mantenendo lo stesso ordine: prima i visitatori, poi le conversioni.
Esegui l'analisi per confrontare i due insiemi di cifre e ottenere una lettura della differenza osservata.
Esamina il risultato tenendo presenti la dimensione del campione e la durata reale del test.
Cancella i valori se non vuoi che restino nel browser.

Esempio

Il campione contiene quattro righe: visitatori e conversioni per A, poi visitatori e conversioni per B. Dopo l'esecuzione, osserva come viene presentato il confronto e ricorda che qualsiasi differenza richiede comunque un'interpretazione attenta prima di guidare una decisione.

Input

Limiti e formati

Lo strumento non sceglie quale variante pubblicare; ti aiuta solo a leggere le cifre che fornisci.
Visitatori o conversioni contati in modo errato alterano il risultato, soprattutto se entrambe le varianti non sono state misurate allo stesso modo.
Una differenza non significativa non dimostra che le varianti siano uguali; significa che i dati non possono risolvere la questione.
Il calcolo non può sostituire un piano stabilito prima del test, con una durata, un obiettivo e criteri scelti in anticipo.

Dove avviene il trattamento

L'intero calcolo viene eseguito nel tuo browser. Le cifre che digiti restano sul tuo dispositivo e non vengono inviate ad alcun servizio esterno. Puoi rieseguire l'analisi o cancellare i campi senza creare un account né lasciare una copia allo strumento.

Domande frequenti

Posso inserire percentuali invece di numeri grezzi?

È meglio usare conteggi reali di visitatori e conversioni. Una percentuale da sola non può rivelare quanti casi ci sono dietro la misura, e lo strumento confronta prima i conteggi.

Cosa devo fare se il test è durato diverse settimane?

Usa i totali consolidati del periodo che avevi pianificato ed evita di fermarti quando le cifre sembrano migliori. Lo strumento non tiene conto della durata né dei cambiamenti di traffico nel tempo.

Il risultato basta per prendere una decisione di marketing?

No. Supporta la tua lettura della differenza, ma contano altri fattori: costo, qualità, stagionalità o effetti su altre metriche. Verifica anche che il test si sia svolto senza problemi tecnici.