Guida completa ai test A/B

Perché testare a tutti, e perché la maggior parte dei test mente

Le opinioni sulle e-mail sono economiche e sicure di sé; il pubblico è l’unica autorità. Il test sostituisce il dibattito con le prove, ma solo quando i meccanici sono sani. La maggior parte degli “apprendimenti” che circolano nei team di marketing provengono da test sottopotenziati su liste minuscole, giudicati su metriche aperte gonfiate e mai replicati, vale a dire dal rumore. Lo scopo di questa guida è tanto proteggerti dalle false conclusioni quanto trovare quelle vere.

Quali test possono e non possono rispondere

I test A/B rispondono a domande comparative strette: la variante B ha battuto la variante A per questo pubblico, questo contenuto, questo momento. Non rivelano perché, generalizzano imperfettamente ad altri contesti, e non possono salvare una strategia debole, la versione più testata di un’e-mail di cui nessuno ha bisogno è ancora un’e-mail di cui nessuno ha bisogno. Abbina il test con il giudizio su ciò che vale la pena testare.

La gerarchia dell’impatto

Le variabili differiscono enormemente in leva. Le offerte e la selezione del pubblico spostano i risultati più; l’inquadratura dei messaggi e la struttura dei contenuti vengono dopo; le linee dell’oggetto contano in modo significativo; i colori dei pulsanti e il fraseggio minore raramente contano affatto. Un programma di test che spende il suo budget statistico limitato in cima a questa gerarchia impara più al mese di una curiosità lucidante.

Progettare un unico test onesto

Partire da un’ipotesi, non da un capriccio

Un’ipotesi utilizzabile indica il cambiamento, l’effetto atteso e il ragionamento: “Guidare con la storia del cliente invece dell’elenco delle funzionalità aumenterà i clic, perché le nostre risposte mostrano i potenziali clienti che si fidano dei loro colleghi rispetto alle richieste di risarcimento”. Scrivere prima dell’invio impedisce la razionalizzazione post-hoc che trasforma ogni risultato in una conferma.

Isolare una variabile

Se le varianti differiscono per soggetto, immagine eroe e offrono contemporaneamente, un vincitore non ti insegna nulla di riutilizzabile. Cambiare un elemento per test. Quando hai veramente bisogno di confrontare interi approcci, due email completamente diverse, eseguilo come test di strategia e accetta di imparare quale pacchetto ha vinto, non quale ingrediente.

Randomizzare correttamente e inviare contemporaneamente

Le varianti devono andare a fette assegnate casualmente dello stesso pubblico contemporaneamente. Test A il lunedì e B il giovedì prova giorni, non varianti; test A su un segmento e B su un altro segmenti di test. Lo strumento split della tua piattaforma gestisce correttamente questo problema se lo lasci.

Dimensione del campione, significato e decisione

Tagliare la prova prima di inviare

Piccole differenze richiedono campioni di grandi dimensioni per rilevare in modo affidabile. Prima del test, utilizzare qualsiasi calcolatore standard di dimensioni del campione con la frequenza di base e la differenza minima a cui tieni; se l’elenco non può supportare il rilevamento, prova qualcosa con un effetto previsto più grande invece di fingere. Eseguire i numeri in seguito non risolve un design sottopotenziato.

Scegli la metrica di decisione in anticipo

Scegli la metrica più vicina al valore aziendale che il tuo volume può supportare: clic per test di contenuti, conversioni o entrate per test di offerta. Gli open sono compromessi dal prefetching automatico e raramente dovrebbero decidere da soli. Dichiarare la metrica in anticipo preclude la tentazione di coronare qualsiasi numero sia accaduto di muoversi.

Resistere alla sbirciatina e alle soste premature

Controllare i risultati ogni ora e fermarsi quando una variante tira avanti è come la fluttuazione casuale viene certificata come intuizione. Fissare la durata del test o il campione in anticipo, lasciarlo completare e applicare uno standard di significatività coerente. Per la divisione comune della linea dell’oggetto che invia automaticamente il vincitore al resto, capire che il vincitore iniziale è misurato su un segnale rapido e parziale, usarlo per grandi invii, ma non archiviare i suoi verdetti come verità.

Cosa testare, in ordine di priorità

Pubblico e test di offerta

Le leve più pesanti: quale segmento riceve la campagna, incentivo contro nessuno, framing di sconto contro framing di valore, scadenza contro open-ended. Questi test toccano direttamente le entrate e spesso producono differenze abbastanza grandi da consentire l’individuazione di elenchi modesti, motivo per cui dovrebbero essere i primi e di solito ultimi nella pratica.

Test di architettura dei messaggi

Lunga storia contro breve annuncio, editoriale a colonna singola contro griglia di prodotto, una chiamata all’azione contro diversi, sensazione di testo semplice contro modello progettato. I test di architettura rimodellano il modo in cui vengono costruite le email future, quindi ogni verdetto paga dividendi in ogni invio successivo.

Prove componenti

Soggetti e preheader, linee di apertura, copia pulsante, invio tempi, formati nome mittente. Vale la pena di testare continuamente a basso sforzo, con l’avvertenza che gli effetti sono più piccoli e richiedono più volume; batch l’apprendimento su più invii piuttosto che aspettarsi una campagna per risolvere qualsiasi cosa.

Dai test a un programma di test

Tenere un registro delle decisioni

Ogni test ottiene un record: ipotesi, varianti, pubblico, date, campione, metrica, risultato, decisione. Il registro è la memoria dell’istituzione, che impedisce di ripetere i test delle domande risolte, esponendo quando un vecchio vincitore merita una rivincita in nuove condizioni e incorporando nuovi membri del team in ciò a cui questo pubblico ha già detto di no.

Replicare prima di canonizzare

Un unico risultato significativo è una verità candidata. Riprodurre i vincitori significativi in una nuova campagna prima di aggiornare modelli e playbook; gli effetti che svaniscono sulla replica sono stati fortuna o contesto. La regola dei due win filtra la maggior parte delle false dottrine al costo di un po’ di pazienza.

Diffondere gli apprendimenti verificati attraverso i canali

Un framing che vince in modo affidabile nelle e-mail è un forte candidato per landing page, annunci e social hook organici. Team che instradano angoli vincenti nel loro flusso di lavoro di pianificazione sociale, attraverso una piattaforma come lo strumento SocialBlaze per programmare i post sui social media, Moltiplica il rendimento di ogni test e, a volte, la direzione presa in prestito scorre dall’altra parte, da un post che ha sovraperformato a un’e-mail che vale la pena costruire intorno ad esso.

Trappole comuni e come aggirarle

La novità rimbalza

Qualsiasi cambiamento visibile può brevemente sollevare l’impegno semplicemente essendo diverso, un urto che svanisce mentre il pubblico si abitua. Dove possibile, giudicate i cambiamenti strutturali su più invii piuttosto che uno, e trattate con sospetto l’entusiasmo della settimana prima per le riprogettazioni.

Medie di segmento cieco

Una variante può vincere nel complesso perdendo male con il tuo segmento più prezioso, i nuovi abbonati e i clienti fedeli spesso preferiscono cose opposte. Leggi i risultati divisi per segmenti chiave prima di distribuire un vincitore a tutti e sii disposto a mantenere impostazioni predefinite diverse per un pubblico davvero diverso.

Test come procrastinazione

Un calendario pieno di micro-test può sostituire il lavoro più duro di offerte migliori, elenchi migliori e contenuti migliori. Controlla il programma trimestralmente: cosa hanno cambiato i test su come operiamo e cosa hanno guadagnato quei cambiamenti? Una pratica di test che non può rispondere è ottimizzare il livello sbagliato del business.

Test oltre la campagna

Gruppi di attesa per domande a livello di programma

Alcune domande a cui nessuna divisione di campagna può rispondere: la newsletter aumenta la frequenza di acquisto, la serie win-back mantiene effettivamente entrate, la cadenza più alta brucia l’elenco. Questi hanno bisogno di holdout, una piccola fetta del pubblico esentato dal trattamento per mesi, rispetto ai risultati aziendali. Holholds si sentono costosi fino alla prima volta si rivela un programma amato non facendo nulla.

Test sequenziali tra le spedizioni

I mittenti a basso volume possono accumulare prove invece di forzare i verdetti delle singole campagne: eseguire la stessa ipotesi su quattro o cinque invii consecutivi, alternando l’assegnazione e leggere il risultato in pool. Più lento, ma reale, e molto meglio della comune alternativa di test one-shot sottopotenziati che alimentano un documento folcloristico.

Effetti di stagione e contesto

Un vincitore incoronato nella stagione tranquilla può perdere durante le settimane di promozione di picco, quando le caselle di posta e l’intento si trasformano entrambi. Date ogni risultato, provate nuovamente i campioni quando il contesto cambia e trattate i risultati contrastanti in tutte le stagioni non come rumore ma come un risultato: il pubblico si comporta in modo diverso per periodo e anche il calendario dovrebbe farlo.

Test di bilancio come un portafoglio

Allocare la capacità di test nel modo in cui un investitore alloca i fondi: la maggior parte del volume per le ottimizzazioni sicure di approcci collaudati, una fetta significativa per le scommesse strutturali audaci e una piccola riserva per idee veramente strane che potrebbero riformulare il programma. I portafogli all-safe imparano lentamente; quelli all-bold hanno frustato il pubblico. Rivedere il mix trimestrale insieme ai risultati, perché il giusto rapporto cambia man mano che il programma matura e le facili vittorie vengono raccolte.

Sapere quando non testare

Alcune spedizioni dovrebbero essere spedite senza essere testate: comunicazioni di crisi, annunci critici nel tempo, piccoli segmenti in cui le divisioni sono puro rumore e qualsiasi cosa in cui il costo di una variante perdente supera il valore dell’apprendimento. Un programma disciplinato è definito tanto dai test che declina quanto da quelli che esegue, e scrivere i criteri di esenzione impedisce sia di testare eccessivamente il sacro che di sotto-testare il confortevole.

Rendere i risultati impossibili da ignorare

Un test di cui nessuno sente parlare non cambia nulla. Chiudere ogni esperimento con un riepilogo di tre righe, ciò in cui credevamo, ciò che è successo, ciò che stiamo facendo in modo diverso, pubblicato dove il team pianifica le campagne. Il rituale mantiene il programma onesto sulla propria utilità e converte costantemente i test dall’hobby di uno specialista in come pensa il team.

Esegui meno test, progettali correttamente, replica i vincitori e racconta a tutti cosa hai imparato. Un programma con queste quattro abitudini accumula una vera conoscenza del suo pubblico ogni trimestre, che è l’intero punto, non un trofeo di risultati significativi, ma una squadra che continua a diventare più difficile da ingannare.