Come fare un'analisi di test A / B: una guida onesta

Siamo onesti sulla parte difficile: eseguire un test A / B è facile, ma sapere Come fare l’analisi del test ab E’ proprio lì che quasi tutti scivolano. Analisi di test A/B corretta significa verificare se il risultato ha eliminato la soglia di significatività impostata prima hai iniziato, con una dimensione del campione abbastanza grande da fidarsi, quindi segnalando l’intero intervallo di confidenza — la gamma di risultati plausibili — invece di un singolo numero lusinghiero, e infine chiedendo se l’ascensore è abbastanza grande da effettivamente importa per la tua attività. Fallo, e smetterai di inseguire vittorie che non sono mai state reali. Prometto che questo diventerà più chiaro una volta che vedrete l’intero sistema sistema messo fuori.

Ecco la parte che nessuno ti dice: la matematica dei test A / B è il bit facile. L’abilità dura e veramente preziosa è leggere il risultato onestamente – resistere alla voglia di chiamare un vincitore troppo presto, di tagliare fino a quando qualcosa sembra buono, o di scambiare una differenza di errore di arrotondamento per una svolta. Quindi passiamo attraverso come fare l’analisi del test ab nel modo in cui lo spiegherei a un amico al caffè: i concetti fondamentali in linguaggio semplice, gli errori che rovinano silenziosamente la maggior parte dei test e una lista di controllo che puoi eseguire ogni volta.

Cosa significa “analizzare” un test A/B?

Un test A/B divide il tuo pubblico in due (o più) gruppi, mostra ciascuno una versione diversa e misura che funziona meglio su una metrica a cui tieni: clic, iscrizioni, risposte, acquisti. Raccogliere questi dati è banale. L’analisi è la chiamata di giudizio che viene dopo: decidere se la differenza che stai vedendo è un effetto reale che puoi aspettarti di ripetere, o solo l’oscillazione casuale che otterresti da due monete leggermente diverse.

Questa distinzione è tutto. Se mostri due versioni a poche centinaia di persone, una quasi sempre “vincerà” con un certo margine — Per puro caso, anche se le versioni sono identiche. L’intero lavoro di analisi del test A / B sta separando un segnale genuino da quel rumore di fondo, e lo fa senza mentire a te stesso lungo la strada. Tutto ciò che segue è al servizio di quell’unico obiettivo: Dire un effetto reale, a parte la fortuna casuale, onestamente.

Che cos’è la significatività statistica e cosa significa realmente un valore p?

Questo è il concetto che la gente cita di più e capisce meno, quindi rallentamo e facciamolo bene. Quando esegui un test, inizi con un’ipotesi silenziosa chiamata ipotesi nulla – l’idea noiosa che non ci sia alcuna differenza reale tra A e B. Il significato statistico è il tuo modo di chiedere: “Se non ci fosse davvero alcuna differenza, quanto sarebbe improbabile vedere un divario così grande solo per caso?”

Il valore p risponde esattamente a questa domanda e niente di più. Un valore p di 0,03 significa: se le due versioni fossero davvero identiche, si vedrebbe un risultato almeno questo estremo solo circa il 3% delle volte. Tutto qui. Quando il valore p scende al di sotto di una soglia che hai scelto in anticipo (comunemente 0,05), chiami il risultato “statisticamente significativo” e rifiuti il noioso assunto di non differenza.

Ora ecco cosa un valore p non significa assolutamente, perché queste letture errate causano danni reali:

• Non è la probabilità che la tua variante sia migliore. Un valore p di 0,03 non significa “c’è una probabilità del 97% che B batta A”. È una dichiarazione sui tuoi dati sotto un presupposto, non sulla verità della tua ipotesi.
• Non è la probabilità che il risultato sia dovuto al caso. Questo è un capovolgimento leggermente diverso e errato della logica.
• Un risultato non significativo non prova che le versioni sono uguali. Di solito significa solo che non hai ancora prove sufficienti – spesso perché il campione era troppo piccolo.
• Il significato non dice nulla sulla dimensione. Un risultato può essere significativo e ancora descrivere una differenza troppo piccola per preoccuparsi.

Tieni quest’ultimo appuntato al muro. Il significato statistico ti dice che un effetto probabilmente non è zero; non ti dice che l’effetto è abbastanza grande da essere importante. Torneremo su questo, perché è dove si separano i buoni analisti e quelli sconsiderati.

Qual è la differenza tra il livello di confidenza e un intervallo di confidenza?

Il tuo livello di fiducia è il rovescio della medaglia della tua soglia di significato. Se si esegue un test a un livello di 0,05, si lavora al 95% di fiducia. Per fortuna, descrive quanto spesso questa procedura eviterebbe di piangere “vincitore” quando non stava realmente succedendo nulla. Sceglilo prima di iniziare – Il 95% è un valore predefinito ragionevole per la maggior parte dei test di marketing.

Il intervallo di confidenza è lo strumento più sottoutilizzato nell’analisi A / B e imparare a guidarlo ti renderà immediatamente più onesto. Invece di riportare un numero — “B ha alzato le conversioni 8%” — un intervallo di confidenza riporta il plausibile gamma: B. ha sollevato le conversioni da qualche parte tra 2% e 14%, con 95% fiducia.” Questa gamma è la verità; il singolo 8% è solo il suo punto medio che indossa un sorriso fiducioso.

Perché la gamma conta così tanto? Perché la sua larghezza ti dice quanto sai davvero:

• A stretto intervallo (ad esempio, 7% a 9%) significa che hai una stima precisa e affidabile. Agisci in merito.
• A largo intervallo (ad esempio, -3% a 19%) significa che sai a malapena qualcosa — Il vero effetto potrebbe essere negativo, piccolo o enorme. “Non lo sappiamo ancora” è la lettura onesta, anche se il punto medio sembra eccitante.
• Se l’intervallo croci zero (include sia valori negativi che positivi), non puoi nemmeno essere sicuro di quale versione sia migliore.

Quindi la mia regola, e ti prego di adottarla: Segnala sempre l’intervallo, mai solo la stima del punto. Un punto medio senza intervallo è un numero che finge di essere un fatto. La gamma è dove vive l’onestà.

Quanto deve essere grande il mio campione e qual è la potenza statistica?

Ecco una trappola che cattura ogni giorno i marketer desiderosi: chiamare un vincitore dopo un giorno perché “B è in rialzo del 40%!” Quando i numeri sono piccoli – una dozzina di conversioni ciascuno – quel 40% è quasi certamente rumore in un trench. Piccoli campioni oscillano selvaggiamente per pura casualità. Il che ci porta alle due idee che devi mettere prima della prova, non dopo.

Il potere statistico è la capacità del test di rilevare effettivamente un effetto reale quando uno esiste. Un test a bassa potenza è come un rilevatore di fumo con una batteria in via di estinzione: l’incendio può essere reale e l’allarme non si spegnerà. Test sottopotenziati producono una quantità di risultati “nessuna differenza significativa” che ingannano le persone a pensare che nulla funzioni, quando in realtà il test non riusciva a vedere. La maggior parte delle persone mira all’80% di potenza, il che significa che se esiste un effetto reale delle dimensioni a cui tieni, lo prenderesti l’80% delle volte.

L’effetto minimo rilevabile (MDE) è il più piccolo miglioramento che si possa considerare degno di essere rilevato, ad esempio un aumento relativo del 5%. Questa è una decisione aziendale, non statistica: quanto deve essere grande la vittoria prima di doverla spedire? Un MDE più piccolo richiede un campione molto più grande, perché individuare piccole differenze richiede enormi quantità di dati.

Mettete insieme questi elementi e una calcolatrice di dimensioni campione (molti sono gratuiti online) vi dice quanti visitatori o conversioni ogni gruppo ha bisogno prima tu lanci. Questo è molto importante, quindi lasciatemi dire chiaramente: decidere la dimensione del campione richiesto in anticipo e impegnarsi a raggiungerlo. Correre fino a quando non si colpisce quel numero — non fino a quando il risultato non sembra buono — è l’abitudine più protettiva in tutti i test A / B.

Se vuoi scoprire…	Ti servirà…	Perché
Un grande effetto (ad es. 20%+ ascensore)	Un campione più piccolo	Le grandi differenze sono facili da vedere sopra il rumore
Un piccolo effetto (ad es. 2% di ascensore)	Un campione molto più grande	Le sottili differenze si nascondono all’interno della variazione casuale
Maggiore fiducia o potere	Un campione più grande	Più certezza costa sempre più dati

Quali sono i maggiori errori nell’analisi dei test A/B?

Se ti ricordi solo una sezione di questa guida, fai in modo che sia questa. Gli errori di seguito sono dove il denaro reale e la credibilità reale si perdono, e quasi tutti condividono una causa fondamentale: volere una vittoria così male che si smette di analizzare e iniziare a razionalizzare.

Sbirciare e fermarsi presto. Questo è il grande. Si imposta un test, quindi controllarlo ogni poche ore, e nel momento in cui attraversa la linea di significato si dichiara vittoria e si ferma. Si sente responsabile – stai prestando attenzione! – ma è statisticamente disastroso. Ogni volta che si sbircia e decidere se fermarsi, si ottiene un altro rotolo dei dadi su un falso positivo. Sbirciare abbastanza spesso e si è quasi garantito di vedere alla fine “significativo” che è pura possibilità. La correzione è rigorosa: imposta la dimensione del campione in alto e non chiamare il risultato fino a quando non lo raggiungi. Se hai davvero bisogno di monitorare lungo la strada, ci sono metodi formali di test sequenziali progettati per questo – ma sbirciare casualmente con un test di orizzonte fisso è come le persone buone si ingannano quotidianamente.

Dichiarare un vincitore su troppo pochi dati. Un cugino stretto di sbirciare. All’inizio di un test, i risultati girano drammaticamente; una variante può essere “up 30%” il lunedì e morto anche entro venerdì. Terminare un test solo perché sembra momentaneamente buono – prima che raggiunga la dimensione e la durata del campione che hai pianificato – cuoce quella casualità precoce direttamente nella tua decisione.

Ignorando il ciclo economico completo. Il tuo pubblico si comporta in modo diverso nei fine settimana, nei giorni di paga, nei giorni festivi e durante tutto il mese. Un test che si svolge da martedì a giovedì cattura una striscia di realtà. Corri per cicli settimanali completi (e spesso anche di più) in modo che il tuo risultato rifletta il comportamento effettivo delle persone, non solo quello della tua folla infrasettimanale.

Il problema dei più confronti (pesca di segmento). Eccone una seducente. Il tuo test è un legame piatto e noioso, quindi inizi a tagliare: “Beh, ha vinto per gli utenti mobili … in Canada … di età compresa tra 25 e 34!” Il problema è che più segmenti si testano, più è probabile che uno sembri “significativo” per pura fortuna. Testa venti segmenti al 95% di fiducia e circa uno si accenderà solo per caso. Cacciare attraverso le fette per una vittoria dopo il fatto è una forma di p-hacking, e produce falsi vincitori ogni volta. Decidi la manciata di segmenti a cui tieni prima del test, o tratta qualsiasi fetta post-hoc come un’ipotesi per testare fresco, mai come risultato.

Confusione di significato con importanza pratica. Con un campione enorme, anche una piccola differenza ridicolmente – un lift dello 0,1% – può essere statisticamente significativa. Significativo e significativo non sono la stessa parola. Chiedete sempre: questo ascensore è abbastanza grande da giustificare l’ingegneria, il rischio, la rottura del cambiamento delle cose? A volte la risposta onesta è “tecnicamente reale, praticamente inutile”.

Paradosso di Simpson e effetti di segmento nascosti. Questo è veramente subdolo: una variante può vincere in ogni singolo segmento ma perdere in generale (o viceversa), quando i gruppi sono di dimensioni diverse o il mix di traffico è irregolare. Se il risultato complessivo e i risultati del segmento sembrano contraddirsi a vicenda, non scegliere quello che preferisci — scavare in perché, perché l’aggregato può trarre in inganno quando i segmenti non sono bilanciati.

Novità e primato. Quando si cambia qualcosa, gli utenti esistenti possono reagire semplicemente perché è nuovo — cliccando il nuovo pulsante lucido per curiosità (novità), o resistendo perché gli piaceva il vecchio modo (primato). Questi effetti svaniscono. Un ascensore che è davvero solo “ooh, diverso” può evaporare una volta che la novità si spegne, quindi test più lunghi e uno sguardo agli utenti che ritornano di nuovo ti aiutano a dire una vittoria duratura da uno che passa.

Come si fa ad analizzare ab test su un risultato finito?

Ok – il test è stato eseguito al suo campione pianificato, e ora inizia il vero lavoro di come fare l’analisi del test ab. Ecco come leggerlo senza il pio desiderio. Segui queste domande in ordine, ogni volta:

• Ha raggiunto il suo significato al livello che hai impostato in anticipo? Non un livello che ti sei rilassato dopo perché eri vicino. Quello a cui ti sei impegnato prima del lancio.
• Ha raggiunto la dimensione del campione prevista ed eseguito un ciclo completo? In caso contrario, il risultato è provvisorio, non importa quanto sia bello.
• Qual è l’intervallo di confidenza? Guarda tutta la gamma. È stretto e confortevole su un lato di zero, o largo e ambiguo? La larghezza è il tuo controllo di onestà.
• L’ascensore è praticamente significativo? Confrontare il basso fine dell’intervallo contro il minimo effetto rilevabile. Se anche il punto medio ottimista è banale, non è una vera vittoria per l’azienda.
• C’è qualcosa che puzza di novità, stagionalità o di un artefatto di segmento? Controlla la storia prima di fidarti del numero.

Quando quelli in fila – significativo al vostro livello pre-impostato, adeguatamente alimentato, un intervallo di confidenza che è stretto e chiaramente positivo, e un ascensore abbastanza grande da importare – allora si ha un vero vincitore. In mancanza di ciò, hai una direzione da seguire per continuare a indagare, che è un posto perfettamente rispettabile.

Cosa fai una volta che hai un risultato – vincere, perdere o inconcludente?

Ogni test termina in uno dei tre stati, ed ecco il cambiamento mentale che separa i professionisti dai dilettanti: tutti e tre sono preziosi.

A Vittoria chiara che cancella ogni bar sopra? Spediscilo, poi documenta ciò che hai imparato e perché pensi che abbia funzionato — Questa ipotesi alimenta il tuo prossimo test. A chiara perdita– No. Anche questa è una vittoria, onestamente; hai appena imparato qualcosa che non funziona sul tuo pubblico senza spendere di più per tirarlo fuori. I perdenti ti insegnano i tuoi utenti.

E poi c’è quello che tutti odiano: Inconcludente. Nessuna differenza significativa, o un intervallo di confidenza così ampio che è inutile. Per favore, ascoltami su questo — L’inconcludente è un risultato legittimo, non un fallimento. Di solito significa una delle due cose oneste: l’effetto è troppo piccolo per essere importante (quindi smetti di ossessionarti su di esso), o il tuo campione era troppo piccolo per rilevarlo (quindi corri più a lungo o prova un cambiamento più audace). Cosa devi non La tortura è un test inconcludente fino a quando non confessa un vincitore. Chiamalo cos’è, scrivi quello che proveresti in modo diverso e vai avanti. La disciplina di dire “non lo sappiamo ancora” è una superpotenza, non una debolezza.

Poi documenta tutto — Compresi i perdenti e i legami. Un test che non registri è un test che eseguirai accidentalmente di nuovo l’anno prossimo. Il tuo registro di ciò che ha fatto e non ha spostato l’ago è una delle risorse più preziose che il tuo team possa mai costruire, ed è la base per una strategia intelligente. benchmarking delle tue performance di marketing nel tempo, in modo da sapere che cosa “buono” sembra anche per il vostro pubblico.

La tua lista di controllo per l’analisi dei test A/B

Ecco tutta la disciplina distillata in una checklist che puoi eseguire ogni volta. Stampalo, onestamente. Prima di chiamare un risultato:

• Prima del lancio: Definire il uno metrica primaria. Imposta il tuo livello di significato (ad es. 95% fiducia) e potere (ad es. 80%). Decidi il tuo effetto minimo rilevabile, quindi calcola e impegnati per una dimensione del campione richiesta.
• Prima del lancio: Scrivi la tua ipotesi e nomina i pochi segmenti che esaminerai – in anticipo, non dopo.
• Durante l’esecuzione: Non sbirciare e fermarsi. Lascia che raggiunga il campione pianificato ed esegua cicli di business completi. Resistete alla tentazione di finire presto in una giornata di bell’aspetto.
• Quando si analizza: Conferma che ha raggiunto il significato al livello pre-impostato e ha raggiunto il campione pianificato.
• Quando si analizza: Segnala l’intervallo di confidenza (l’intervallo), non solo la stima del punto. Verifica se è pari a zero.
• Quando si analizza: Chiedi se l’ascensore è praticamente significativo, non solo statisticamente significativo.
• Quando si analizza: escludere gli effetti di novità, la stagionalità, la pesca di segmento e il paradosso di Simpson prima di concludere.
• Dopo: Documenta il risultato – vittoria, perdita o inconcludente – con le tue ipotesi e l’incertezza onesta. Agire o iterare.

Questo risultato è reale? Una guida rapida alle decisioni

Quando stai fissando un risultato e non sei sicuro di fidarti di esso, cammina su questo piccolo albero delle decisioni. È la versione di controllo di tutto quanto sopra:

• Il test ha raggiunto la dimensione del campione prevista ed ha eseguito un ciclo completo? No, non e’ pronto. Continuate a correre, non concludete ancora nulla.
• – Sì? Quindi: è significativo al livello che hai impostato prima Lancio? Numero → Trattarlo come inconcludente o un non risultato. Non rilassare la soglia per schiacciarla.
• – Sì? Quindi: l’intervallo di confidenza rimane chiaramente su un lato di zero? No (incrocia zero o è molto ampia) → Non puoi ancora fidarti della direzione. Inconcludente.
• – Sì? Quindi: è anche la fine conservatrice dell’intervallo un ascensore abbastanza grande da avere importanza? Numero → È reale ma banale; probabilmente non vale la pena di spedizione.
• – Sì? Quindi: puoi escludere novità, stagionalità e segmentazione? Numero → Indaga sull’artefatto prima di crederci.
• Tutto si’? Congratulazioni – hai un risultato che puoi effettivamente difendere. Spediscilo e documenta il perché.

Notate quanti rami finiscono in “inconcludenti” o “continuate”. Questo non è lo strumento che è duro; questa è la realtà di test onesti. La maggior parte dei risultati sono più oscuri di quanto vogliamo che siano, e rispettare questo è esattamente ciò che ti impedisce di inseguire le false vittorie. Se vuoi approfondire la trasformazione di queste letture in narrazioni chiare, la nostra guida su come Come leggere i rapporti di analisi Bella coppia con questa.

Come si fa a non dichiarare una falsa vittoria?

Chiamiamo direttamente il nemico, perché ha una faccia. Una falsa vittoria è un risultato che si celebra e nave che non è mai stato realmente reale – un lift fantasma nato di sbirciare, un segmento fortunato, troppo piccolo un campione, o una novità bump che sbiadito. Le false vittorie sono peggiori di nessun risultato, perché agisci su di esse: tiri fuori un cambiamento che non aiuta (o fa male silenziosamente), e “impara” una lezione che non è vera.

Gli antidoti sono tutte abitudini di onestà, e si compound. Pre-registra le tue decisioni – metrica, soglia, dimensioni del campione, segmenti – in modo da non poter spostare i pali dopo aver visto i dati. Condurre con l’intervallo di confidenza in modo da essere sempre guardando la gamma di verità, non un lusinghiero punto medio. Trattare le scoperte post-hoc come nuove ipotesi per ri-test, mai come risultati. E quando un test è inconcludente, lascia che sia inconcludente. Ognuna di queste abitudini è un piccolo atto di rifiuto di ingannare se stessi, e insieme sono l’intero gioco. Comprendere il contesto più ampio di ciò che i tuoi numeri significano aiuta anche enormemente – la nostra guida su come interpretare i dati di marketing passa attraverso la lettura oltre la figura principale, che è lo stesso muscolo che stai costruendo qui.

Una nota onesta sugli strumenti, perché preferirei dirti dritto: SocialBlaze è una piattaforma di gestione dei social media — pianificazione, pubblicazione automatica e analisi social su tutte le reti — Non uno strumento di test o statistica A/B dedicato. Per la matematica di significato, i calcoli delle dimensioni del campione e gli intervalli di confidenza in questa guida, ti consigliamo di utilizzare uno strumento di sperimentazione o statistica appositamente costruito. Cosa SocialBlaze fa ti danno è pulito, dati di prestazioni sociali coerenti su ogni rete connessa, quindi quando si formano ipotesi su cosa testare, o guardare come un cambiamento spedito si svolge nel tempo, hai numeri affidabili in un posto invece di una dozzina schede sparse. Usa lo strumento giusto per ogni lavoro e l’intero processo diventa più facile.

Se si prende una cosa da tutto questo, lasciate che sia questa: imparare a fare bene l’analisi del test ab è molto meno sulla matematica e molto di più sul rimanere onesti – con i dati e con te stesso. Stabilisci le tue regole prima di guardare. Lascia che il test finisca. Segnala il range, non il midpoint. Chiedi se la vittoria è abbastanza grande da essere importante e lascia che i risultati inconcludenti siano inconcludenti. Fatelo, e prenderete decisioni che potete veramente difendere – al vostro capo, al vostro cliente, o al vostro cervello scettico alle 2 del mattino. Hai questo, e diventa davvero più facile ogni volta che si esegue il ciclo.

Domande frequenti

Cosa mi dice un valore p in un test A/B?

Un valore p ti dice quanto sarebbero sorprendenti i tuoi dati osservati se non ci fosse davvero alcuna differenza tra le versioni. Un piccolo valore p (al di sotto della soglia preimpostata, spesso 0,05) significa che il risultato sarebbe improbabile in base a quell’ipotesi di non differenza, quindi lo chiami significativo. Fondamentalmente, non è la probabilità che la tua variante sia migliore, né la probabilità che il risultato sia dovuto al caso – è una dichiarazione sui dati sotto un presupposto, non un verdetto sulla verità.

Perché sbirciare i risultati e fermare presto un tale problema?

Perché ogni volta che controlli i dati e decidi se fermarti, hai un’altra possibilità di cogliere una fluttuazione casuale che sembra significativa. Peek spesso abbastanza e quasi certamente vedrete un “vincitore” che è pura fortuna, che gonfia drammaticamente il vostro tasso di falsi positivi. La soluzione è quella di decidere la dimensione del campione prima di lanciare ed eseguire il test fino a raggiungerlo, piuttosto che fermare il momento in cui sembra buono.

Qual è la differenza tra significato statistico e importanza pratica?

Il significato statistico ti dice che un effetto probabilmente non è zero. L’importanza pratica si chiede se l’effetto è abbastanza grande da essere importante per la tua azienda. Con un campione di grandi dimensioni, anche una piccola, banale differenza può essere statisticamente significativa, quindi controlla sempre le dimensioni dell’ascensore – idealmente la fine conservatrice dell’intervallo di confidenza – rispetto al minimo miglioramento che consideri effettivamente vale la pena spedire.

Un test A/B non conclusivo è un fallimento?

Niente affatto – è un risultato legittimo e utile. Un test inconcludente di solito significa che l’effetto è troppo piccolo per essere importante o che il campione è troppo piccolo per rilevarlo. Entrambe sono risposte oneste che ti impediscono di agire in base al rumore. Documenta ciò che hai trovato, decidi se correre più a lungo o testare un cambiamento più audace e resisti alla tentazione di tagliare i dati fino a quando qualcosa sembra una vittoria.

Perché dovrei segnalare un intervallo di confidenza invece del solo risultato?

Perché un singolo numero come “8% lift” nasconde quanto tu sappia davvero. Un intervallo di confidenza dà la gamma plausibile – diciamo, dal 2% al 14% – e la sua larghezza racconta la vera storia. Un intervallo ristretto significa una stima precisa e affidabile; un ampio intervallo, o uno che attraversa lo zero, significa che non puoi ancora essere sicuro delle dimensioni o persino della direzione dell’effetto. Segnalare l’intervallo è semplicemente più onesto che guidare con il punto medio.