Questo calcolatore di test A/B gratuito prende i dati grezzi del Suo split test — visitatori e conversioni di entrambe le varianti — e Le dice se la differenza che osserva è un risultato genuino e statisticamente affidabile oppure solo rumore. Inserisca traffico e conversioni della variante A, traffico e conversioni della variante B, scelga il livello di confidenza che Le serve e otterrà subito un verdetto: un vincitore con una confidenza dichiarata, oppure «non ancora significativo». Ogni calcolo avviene nel Suo browser con un test z a due proporzioni standard, la stessa matematica che sta dietro ai controlli di significatività della maggior parte delle piattaforme di testing professionali.
Abbiamo creato questo calcolatore di test A/B perché troppi team interrompono i test nel momento in cui una variante «sembra» in vantaggio, senza mai verificare se il divario possa essere frutto del caso. In Arb Digital eseguiamo di continuo split test su landing page e creatività pubblicitarie, e l’abitudine che distingue i team che crescono davvero da quelli che si limitano a rimescolare il traffico ogni mese è questa: verificano la significatività prima di prendere una decisione, non dopo.
Cosa fa questo calcolatore di test A/B
Sta eseguendo un classico split test: due versioni di una pagina, di un’email, di un annuncio o di un flusso di checkout, ciascuna mostrata a una quota separata di traffico. La variante A è di solito il controllo — la versione esistente. La variante B è lo sfidante — il nuovo titolo, layout, prezzo o colore del pulsante. Ogni variante accumula il proprio numero di visitatori e di conversioni, e questi quattro numeri sono tutto ciò che serve al calcolatore.
Da essi calcola il tasso di conversione di ciascuna variante, l’incremento relativo di B rispetto ad A, un errore standard della differenza tra i due tassi, uno z-score e un p-value — poi confronta il p-value con il livello di confidenza scelto. Se il risultato supera la soglia, lo strumento dichiara un vincitore e indica quanto può fidarsi di quella conclusione. In caso contrario Le dice chiaramente che non c’è ancora un risultato, informazione preziosa quanto una vittoria.
Come si usa
- Inserisca visitatori e conversioni della variante A. Quasi sempre è il Suo controllo — la pagina o versione contro cui sta testando.
- Inserisca visitatori e conversioni della variante B. Il Suo sfidante — la nuova versione che spera batta il controllo.
- Scelga il livello di confidenza. Il 95% è il valore predefinito standard per la maggior parte delle decisioni di marketing; usi il 99% per modifiche ad alto rischio come prezzi o checkout, dove un falso positivo costa caro.
- Legga il verdetto. Il risultato in evidenza Le dice chiaramente se c’è un vincitore statisticamente significativo e quale variante sia.
- Controlli l’incremento, non solo le stelline. Un risultato significativo con un incremento relativo minimo potrebbe non valere lo sforzo di sviluppo necessario per metterlo online. La significatività risponde a «è reale?» — non a «vale la pena?».
La formula / come viene calcolato
Questo calcolatore esegue un test z a due proporzioni standard, l’approccio da manuale per confrontare due tassi di conversione. Per prima cosa calcola il tasso di ciascuna variante: conversioni divise per visitatori. Poi unisce i due campioni in un tasso di conversione combinato e lo usa per calcolare l’errore standard della differenza tra A e B. Dividendo la differenza osservata tra i tassi per tale errore standard si ottiene uno z-score, e convertendo lo z-score tramite la funzione di distribuzione cumulativa della distribuzione normale si ottiene un p-value — la probabilità di osservare un divario così ampio (o maggiore) puramente per caso se tra le varianti non ci fosse alcuna differenza reale.
- Tasso di ciascuna variante: pA = conversioni A / visitatori A, e pB allo stesso modo.
- Tasso combinato: p = (conversioni A + conversioni B) / (visitatori A + visitatori B).
- Errore standard: SE = √( p × (1 − p) × (1/visitatori A + 1/visitatori B) ).
- z-score: z = (pB − pA) / SE.
- p-value a due code: 2 × (1 − Φ(|z|)), dove Φ è la distribuzione cumulativa normale standard. La «confidenza» mostrata è (1 − p-value) × 100.
- Il verdetto è «significativo» quando il p-value è inferiore a 1 meno il livello di confidenza scelto (0,05 al 95%). L’incremento relativo è (pB − pA) / pA.
Esempio svolto (i numeri predefiniti)
Variante A: 150 conversioni su 5.000 visitatori = 3,00%. Variante B: 185 su 5.000 = 3,70%. L’incremento relativo è (3,70 − 3,00) / 3,00 = +23,3%. Il tasso combinato è 335 / 10.000 = 0,0335, quindi SE = √(0,0335 × 0,9665 × (1/5.000 + 1/5.000)) = circa 0,0036. Allora z = 0,007 / 0,0036 = circa 1,94, che dà un p-value a due code di circa 0,052 (94,8% di confidenza). Non raggiunge la soglia di 0,05 all’impostazione del 95%, perciò lo strumento indica «Non ancora significativo» anche se B sembra migliore del 23%. Se B avesse 200 conversioni, il p-value scenderebbe a circa 0,007, una vittoria netta.
Il metodo è il test z a due proporzioni con stima combinata, standard. La guida di Evan Miller agli errori nei test A/B spiega cosa significhi un livello di significatività e perché perda validità se si interrompe un test in anticipo. Il calcolatore è a due code: segnala una differenza reale in entrambe le direzioni e non corregge per l’esecuzione di più varianti o più metriche contemporaneamente.
Perché «sbirciare» porta a mettere online perdenti
Ecco l’errore che rovina silenziosamente più test A/B di qualsiasi altro: controllare i risultati ogni giorno e fermarsi nell’istante in cui i numeri sembrano buoni. Sembra responsabile — dopotutto sta monitorando il test — ma è statisticamente pericoloso. Ogni volta che dà un’occhiata a un test e ha la possibilità di interromperlo, offre al caso un’altra occasione di produrre un falso positivo. L’analisi di Evan Miller propone un esempio nel caso peggiore: si verifica un tasso di conversione del 50% dopo ogni singola osservazione, ci si ferma al primo risultato al 5% o dopo 150 osservazioni, e una modifica che non fa nulla viene dichiarata erroneamente vincente circa il 26,1% delle volte, più di cinque volte il 5% che credeva di avere. Controllare ogni giorno è meno grave, ma il tasso di falsi positivi finisce comunque sopra la soglia dichiarata.
La disciplina che risolve il problema è semplice da enunciare e difficile da rispettare: decida la dimensione del campione prima di avviare il test, con uno strumento come il nostro calcolatore della dimensione del campione, e non dichiari un vincitore finché non raggiunge quel numero. Controllare l’andamento strada facendo va bene — fermarsi in anticipo perché i numeri intermedi sembrano promettenti è la trappola. Consideri la dimensione del campione stabilita in anticipo come un traguardo, non un suggerimento.
La significatività statistica non è significatività di business
Un risultato può essere perfettamente, rigorosamente significativo dal punto di vista statistico e al tempo stesso un non-evento per il business. Con abbastanza traffico — centinaia di migliaia di visitatori — si può rilevare un incremento relativo dello 0,2% con totale confidenza statistica. È reale. Ma probabilmente non vale nemmeno un’ora di sviluppo per implementarlo, perché l’impatto sul fatturato si arrotonda a zero. La significatività Le dice che la differenza probabilmente non è dovuta al caso; non dice nulla sul fatto che sia abbastanza grande da giustificare il costo di metterla online. Legga sempre la percentuale di incremento relativo accanto al p-value e si chieda onestamente se quell’entità di cambiamento sposti un numero che interessa davvero a qualcuno in azienda.
Non eseguire mai un test durante le festività
Traffico e intento d’acquisto durante il Black Friday, la settimana di Natale o un weekend festivo importante non hanno nulla a che vedere con un normale martedì. I visitatori sono più sensibili al prezzo, più impulsivi o del tutto assenti a seconda del settore, e la variante che capita di essere attiva in quella finestra ottiene una lettura distorta che non ha nulla a che fare con quale design della pagina sia effettivamente migliore. Se una festività, un grande saldo o una menzione importante sulla stampa cadono nella finestra del test, sospenda il test e lo riprenda in condizioni normali, oppure prolunghi l’esecuzione in modo che l’anomalia si diluisca in un campione completo e rappresentativo. Un «vincitore» dichiarato con dati festivi raramente regge quando il traffico torna alla normalità.
Come leggere correttamente il risultato
- «Significativo — vince B» significa che l’incremento osservato ha superato la soglia di confidenza scelta. Lo metta online, ma prima verifichi l’entità dell’incremento.
- «Non ancora significativo» significa che non ha una prova né in un senso né nell’altro. Non significa che le varianti siano uguali — significa che non ha ancora abbastanza dati per dirlo.
- Un incremento negativo significativo è prezioso quanto uno positivo — Le dice di mantenere il controllo e di smettere di sprecare traffico sullo sfidante.
- Piccole differenze con campioni piccoli non raggiungeranno quasi mai la significatività. Non è un difetto della matematica — è la matematica che Le dice correttamente che il campione è troppo piccolo per fidarsi.
Cosa fare dopo
- Vincitore e incremento che vale la pena: lo metta online, poi continui a osservare la metrica reale (il fatturato, non solo i clic) per qualche settimana per confermare che il guadagno regga.
- Non significativo, campione raggiunto: lo consideri «nessuna differenza rilevabile». Mantenga la versione più economica o più semplice e passi a un’idea più audace.
- Non significativo, campione non raggiunto: continui fino alla dimensione del campione fissata prima del lancio e non si fermi in anticipo per un dato intermedio promettente.
- Significativo ma con un incremento minimo: calcoli prima il valore economico dell’incremento. Se non copre il costo di realizzazione e manutenzione della modifica, lasci perdere.
Arb Digital progetta landing page orientate alla conversione e conduce gli split test che ne derivano, così non dovrà tirare a indovinare cosa testare dopo — testerà una pagina costruita fin dall’inizio sui dati.
Scopra i nostri servizi di web design Tutti gli strumenti gratuitiErrori comuni da evitare
- Sbirciare e fermarsi in anticipo. Fissi in anticipo la dimensione del campione e la rispetti — veda la sezione sopra.
- Testare troppe cose insieme. Cambi un solo elemento significativo per test, altrimenti non saprà quale modifica abbia davvero spostato il numero.
- Ignorare la significatività pratica. Un incremento dello 0,1% statisticamente reale di solito non vale la pubblicazione. Metta a confronto l’entità dell’incremento con il costo del cambiamento.
- Eseguire il test con traffico non rappresentativo. Festività, picchi virali e disservizi distorcono la finestra del test — sospenda o prolunghi il test in questi casi.
- Dichiarare un vincitore da un campione minuscolo. Usi il calcolatore della dimensione del campione prima di iniziare, per sapere di quanti dati ha davvero bisogno.
- Confondere «non significativo» con «nessuna differenza». Di solito significa soltanto che servono più dati, non che le varianti rendano in modo identico.
Strumenti gratuiti correlati di Arb Digital
Prima di avviare il prossimo split test, lo pianifichi con cura usando il nostro calcolatore della dimensione del campione — Le dice quanti visitatori servono prima di iniziare, così non sbircerà un test con campione insufficiente. Quando ha un vincitore, stimi l’impatto sul fatturato con il calcolatore di conversione della landing page, verifichi il tasso di base con il calcolatore del tasso di conversione e veda come una pagina che converte meglio incida sul costo di acquisizione cliente e sul tasso di clic. Consulti tutto nel nostro hub di strumenti online gratuiti.
Strumento correlato: Test della velocità di Internet.
Strumento correlato: ⌨️ Test di velocità di digitazione.
Strumento correlato: Regex Tester.
Domande frequenti
Questo calcolatore usa un test z a due proporzioni. Calcola il tasso di conversione di ciascuna variante, unisce i due campioni per stimare un tasso combinato, calcola l’errore standard della differenza tra i tassi, ne ricava uno z-score e converte lo z-score in un p-value tramite la distribuzione normale. Se il p-value è inferiore alla soglia di significatività scelta (per esempio 0,05 per una confidenza del 95%), il risultato è dichiarato statisticamente significativo.
Dipende dal tasso di conversione di partenza e dall’incremento minimo che desidera rilevare in modo affidabile — incrementi attesi più piccoli richiedono campioni molto più grandi. Usi il nostro calcolatore della dimensione del campione prima di avviare un test per ottenere un obiettivo preciso di visitatori per variante basato sui Suoi numeri, invece di tirare a indovinare o proseguire finché «sembra» concluso.
Un tasso grezzo più alto non significa automaticamente una differenza reale — potrebbe benissimo trattarsi di variazione casuale, soprattutto con un campione piccolo. «Non significativo» significa che il divario osservato è abbastanza piccolo, rispetto alla dimensione del campione, da rendere ancora plausibile che le due varianti rendano allo stesso modo. È un segnale che servono più dati, non che B sia peggiore.
Il 95% è il valore predefinito standard per la maggior parte dei test di marketing e bilancia rapidità e affidabilità. Usi il 99% per modifiche ad alto rischio e difficili da annullare, come i prezzi o il flusso di checkout, dove un falso positivo costa caro. Il 90% può essere ragionevole per test rapidi, a basso rischio e facilmente reversibili, come il testo di un pulsante, dove il costo di sbagliare ogni tanto è modesto.
Controllare per monitorare l’andamento va bene. Il pericolo è interrompere il test nel momento in cui i numeri sembrano favorevoli, pratica chiamata «peeking», che fa salire il tasso di falsi positivi ben oltre il livello di confidenza dichiarato. Stabilisca la dimensione del campione richiesta prima dell’avvio del test e lo lasci proseguire fino a quel numero prima di prendere una decisione finale.
Sì. La significatività Le dice solo che la differenza probabilmente non è dovuta al caso — non dice nulla sul fatto che la differenza sia abbastanza grande da contare per il business. Un incremento relativo significativo dello 0,2% su un campione enorme è reale, ma spesso non vale il costo di sviluppo necessario per implementarlo. Valuti sempre la percentuale di incremento relativo insieme al p-value.
No. Con 150 e 185 conversioni su 5.000 visitatori ciascuna, il p-value è circa 0,052, appena sopra lo 0,05 necessario per una confidenza del 95%. Un divario di quell’entità può comparire per caso circa 1 volta su 20. Più visitatori, o una differenza reale maggiore, lo porterebbero oltre la soglia.
I valori prodotti da questo calcolatore sono stime statistiche a scopo di pianificazione, basate sui numeri che Lei inserisce.