Test di Incrementalità per il Marketing

L’attribuzione ti dice quali punti di contatto sono apparsi vicino alle conversioni. L’increzionalità ti dice quali punti di contatto hanno causato conversioni che altrimenti non esisterebbero. Il divario tra queste due affermazioni può essere enorme: un canale può raccogliere la domanda che stava arrivando comunque e sembrare eroico in ogni rapporto, o creare tranquillamente la domanda che altri canali in seguito affermano. Il test è come scoprire quale storia è vera, e richiede coraggio, perché il metodo è quello di spegnere le cose di proposito.

Il problema controfattuale

Tutte le misure di marketing lottano con un pezzo mancante di informazioni.

Perché il credito non è causa

Un cliente che ha cliccato sul tuo link potrebbe essere stato sulla sua strada indipendentemente; il clic ha intercettato un viaggio piuttosto che avviarne uno. Questo è particolarmente grave per i punti di contatto rivolti a persone già vicine alla conversione: si siedono adiacenti a molte conversioni proprio perché prendono di mira i convertitori probabili. L’attribuzione conta l’adiacenza. Solo un esperimento conta la causalità, perché solo un esperimento osserva il mondo in cui il punto di contatto era assente.

La logica del holdout

Dividere una popolazione in gruppi comparabili, esporre uno al marketing e proteggere l’altro, quindi confrontare i risultati. Le prestazioni del gruppo schermato stimano il controfattuale e la differenza è un aumento incrementale. Tutto nella progettazione di prova esiste per proteggere una proprietà: che i gruppi si sarebbero comportati in modo identico assente il trattamento. Quando ciò si verifica, l’aritmetica è quasi banale; quando fallisce, nessuna statistica può salvare il risultato.

I principali progetti sperimentali

Canali diversi consentono disegni diversi. Conosci il menu.

Esperimenti geografici

Dividere i mercati in set abbinati, eseguire l’attività nelle regioni di test mantenendolo fuori dai controlli e confrontare. I test geografici non hanno bisogno di alcun tracciamento degli utenti, il che li rende il cavallo di battaglia della misurazione dell’era della privacy e funzionano per quasi tutto: un canale, un livello di budget, una spinta sostenuta ai contenuti. Matching matters: coppie di regioni sui livelli e sulle tendenze dei risultati storici e lasciate che un preperiodo confermi che le coppie si muovono insieme prima che inizi il trattamento.

Pubblico e piattaforme di holholdout

Dove una piattaforma può randomizzare le persone, puoi eseguire split più puliti: un fantasma o un holdem per una campagna o sopprimere un programma di pubblico mantenuto per una fetta casuale di clienti. I programmi di posta elettronica e di ciclo di vita sono naturalmente adatti a questo, poiché controlli l’elenco di invio. La rivelazione classica è scoprire quanto un programma rivolto ai clienti esistenti semplicemente riordina gli acquisti che stavano arrivando comunque.

Design basato sul tempo e blackout

Sospendere completamente un canale e osservare la risposta aggregata è lo strumento più schietto: nessun gruppo di controllo, quindi stagionalità e rumore contaminano la lettura. È giustificato soprattutto quando nient’altro è fattibile, migliorato accendendo e spegnendo il canale in più periodi piuttosto che una volta e rafforzato ulteriormente facendo il passaggio attraverso le regioni sfalsate, che lo trasforma in un geo design.

Progettare un test che possa effettivamente concludersi

La maggior parte degli esperimenti falliti sono stati condannati nella fase di progettazione, non nella fase di analisi.

Scrivi la decisione prima del test

Esiste un test per cambiare un’azione. Specificare in anticipo: la metrica primaria singola, il sollevamento minimo che giustificherebbe il costo del canale, la decisione presa se il sollevamento cancella quella barra e la decisione se non lo fa. Se nessun risultato cambierebbe alcun comportamento, annullare il test e salvare i soldi. La pre-registrazione impedisce anche il rovistare post-hoc attraverso metriche secondarie per una storia lusinghiera.

Dimensioni e durata onestamente

Piccoli effetti su metriche rumorose richiedono grandi campioni e lunghe finestre per essere rilevati. Prima di lanciare, stima se il tuo traffico e il volume di conversione possono risolvere la dimensione dell’effetto che conta entro una durata tollerabile; in caso contrario, prova un intervento più grande, una metrica di volume superiore a monte o accetta che questa domanda sia insopportabile alla tua scala in questo momento. Un test sottoalimentato è peggiore di nessuno, perché produce un null che suona sicuro.

Proteggere il gruppo di controllo

La contaminazione è l’assassino silenzioso: il retargeting che trapela nelle regioni di detenzione, i team di vendita che lavorano sui lead del mercato di controllo, una campagna parallela che qualcuno ha lanciato a metà test. Congelare altri cambiamenti importanti durante la finestra, informare le squadre adiacenti e mantenere un registro di qualcosa di insolito. L’analisi può essere pulita solo come la disciplina operativa sotto di essa.

Leggere e agire sui risultati

L’analisi è un confronto di gruppi, ma l’interpretazione ha trappole.

Sollevamento, costo per risultato incrementale e intervalli

Segnalare l’ascensore assoluto, il costo per conversione incrementale e l’intervallo di incertezza intorno a entrambi. Il costo per incremento è quello da portare in riunioni di bilancio, perché è direttamente comparabile tra i canali in un modo che i costi segnalati dalla piattaforma non sono mai. Intervalli ampi significano che la risposta onesta è “probabilmente positiva, misurata in modo impreciso”, e dire così costruisce più credibilità che falsa precisione.

I numeri sono risultati

Un test ben alimentato che mostra che nessun ascensore rilevabile è tra i risultati più preziosi che il marketing può produrre: libera il budget. Resistere alla risposta immunitaria organizzativa che attacca i risultati nulli per conto dei canali amati. Il corretto follow-up di un sorprendente null è la replica o un test riprogettato, non il licenziamento.

Generalizzare con attenzione

Un risultato descrive la condizione testata: quel livello di budget, quella stagione, quel creativo, quel pubblico. L’ascensore misurato ad un livello di spesa non promette lo stesso sollevamento al doppio della spesa; la saturazione è reale. Trattare ogni risultato come un punto di calibrazione, idealmente alimentando un modello di mix che interpola tra i punti testati, piuttosto che come una legge permanente.

Testare canali organici e contenuti

Il pensiero di incrementalità si estende oltre i media a pagamento, con adattamenti.

Geo e modelli di cadenza per il sociale organico

La pubblicazione organica non può essere randomizzata individualmente, ma può essere variata: aumentare la profondità della pubblicazione e lo sforzo di coinvolgimento per un periodo definito mantenendosi stabile altrove o scaglionare un nuovo formato di contenuto tra i mercati per un pubblico specifico per regione. Misurare costantemente l’attività di pubblicazione è il prerequisito, che è dove la cronologia di pubblicazione e coinvolgimento da una piattaforma di gestione come SocialBlaze diventa il libro mastro dell’attività da cui si legge l’analisi. Poiché gli effetti organici si costruiscono lentamente, utilizzare finestre più lunghe e aspettarsi un aumento delle metriche a monte prima: visite al profilo, ricerca di marca, iscrizioni alla newsletter.

Test di soppressione per i canali di proprietà

Newsletter e messaggi di ciclo di vita supportano veri e propri holdout randomizzati: trattenere il programma da una fetta casuale del cliente per un quarto e confrontare il comportamento di conservazione e acquisto. Questa è la misura di incrementalità più pulita in tutto il marketing, ed è quasi gratuita, il che rende strano quanto raramente viene eseguita.

Una lista di controllo pre-lancio

Prima che qualsiasi test di incrementalità vada in diretta, segui questa lista; quasi ogni esperimento fallito ha violato uno di questi elementi, e ogni oggetto è economico da verificare in anticipo.

Progettazione e controllo decisionale

La metrica primaria è scritta ed è una metrica. L’effetto minimo che vale la pena rilevare è indicato e un controllo di potenza dice che il test può risolverlo all’interno della finestra pianificata. La regola della decisione esiste in entrambe le direzioni: cosa succede su un risultato positivo e cosa succede su un null. Qualcuno con l’autorità di bilancio ha accettato, per iscritto, di onorare la regola, perché un test il cui perdente sarà rilitigato in seguito non è mai stato davvero un test.

Controlli operativi

Il gruppo di controllo è veramente protetto: retargeting esclusioni configurate, team di vendita informati sulle regioni di attesa, e nessuna campagna sovrapposta programmata nella finestra. La pipeline di misura viene verificata end to end prima del lancio, con i dati di risultato che scorrono per entrambi i gruppi alla stessa latenza. Un confronto pre-periodo conferma che i gruppi si incontrano; se divergono prima dell’inizio del trattamento, l’abbinamento non è riuscito e il lancio comunque brucia il calendario.

Igiene durante la corsa

Esiste un registro per qualsiasi cosa insolita: interruzioni, copertura della stampa, mosse dei concorrenti, eventi meteorologici nei test geografici. Gli sguardi intermedi, se presenti, sono per la sanità operativa piuttosto che per l’arresto anticipato, a meno che il design non supporti esplicitamente l’analisi sequenziale. E la data di fine è onorata, non estesa nella speranza o accorciata nell’eccitazione, perché la finestra faceva parte del design e il design è ciò che rende il numero significa qualcosa.

Taglia il programma al budget che governa

Lo sforzo di prova dovrebbe scalare con la spesa che informa. Un canale che consuma una grande quota di budget giustifica un rigoroso esperimento geologico con mercati abbinati e un pre-periodo; un canale minore può solo meritare una lettura o un’inclusione approssimativa nel prossimo aggiornamento del modello misto. Classificare gli esperimenti dal budget in gioco, volte l’incertezza circa l’efficacia di quel budget, mantiene il programma puntato sulle decisioni che contano e lo protegge dal spendere la sua credibilità su risposte eleganti a piccole domande.

Costruire l’abitudine di test

Un esperimento risponde a una domanda; una cadenza di esperimenti cambia il modo in cui un’organizzazione pensa. Mantenere un backlog classificato di domande di misurazione, eseguire il più alto-stakes uno ogni trimestre, e pubblicare i risultati internamente indipendentemente dal verdetto, compresi quelli scomodi. Abbina il programma con la modellazione mix in modo che l’ancoraggio causale di ogni test migliori il modello che guida l’allocazione tra i test. Aspettatevi resistenza culturale la prima volta che un canale preferito prova debole, e lasciate che il budget liberato da quella ricerca fondi qualcosa che funziona. Nel corso di alcuni cicli, gli argomenti nella pianificazione delle riunioni cambiano carattere: meno giudizio della dashboard corretta, più discussione su quale dovrebbe essere il prossimo test. Questo cambiamento, dalle controversie di credito alla curiosità causale, è il vero ritorno sui test di incrementalità.