Inkrementalitätstests für das Marketing

Die Zuordnung sagt Ihnen, welche Touchpoints in der Nähe von Conversions erschienen sind. Inkrementalität sagt Ihnen, welche Touchpoints Conversions verursacht haben, die sonst nicht existieren würden. Die Kluft zwischen diesen beiden Aussagen kann enorm sein: Ein Kanal kann die Nachfrage ernten, die sowieso ankam und in jedem Bericht heroisch aussieht, oder leise eine Nachfrage erzeugen, die andere Kanäle später behaupten. Testen ist, wie Sie herausfinden, welche Geschichte wahr ist, und es erfordert Mut, weil die Methode darin besteht, die Dinge absichtlich auszuschalten.

Das kontrafaktische Problem

Alle Marketing-Messungen ringen mit einer fehlenden Information.

Warum Kredit keine Ursache ist

Ein Kunde, der auf Ihren Link geklickt hat, war möglicherweise auf dem Weg; Der Klick hat eine Reise abgefangen, anstatt eine zu starten. Dies ist besonders schwerwiegend für Touchpoints, die sich an Personen richten, die bereits kurz vor der Konvertierung stehen: Sie sitzen neben vielen Konvertierungen, gerade weil sie auf wahrscheinliche Konverter abzielen. Die Attribution zählt die Adjazenz. Nur ein Experiment zählt die Ursache, denn nur ein Experiment beobachtet die Welt, in der der Touchpoint abwesend war.

Die Logik des Holdouts

Teilen Sie eine Population in vergleichbare Gruppen, setzen Sie eine dem Marketing aus und schützen Sie die andere, dann vergleichen Sie die Ergebnisse. Die Leistung der abgeschirmten Gruppe schätzt die kontrafaktische, und die Differenz ist inkrementelle Auftrieb. Alles im Testdesign existiert, um eine Eigenschaft zu schützen: dass sich die Gruppen ohne die Behandlung identisch verhalten hätten. Wenn das so ist, ist die Arithmetik fast trivial; wenn sie versagt, kann keine Statistik das Ergebnis retten.

Die wichtigsten experimentellen Designs

Unterschiedliche Kanäle erlauben unterschiedliche Ausgestaltungen. Kenne das Menü.

Geografische Experimente

Teilen Sie Märkte in Matched Sets, führen Sie die Aktivität in Testregionen aus, während Sie sie außerhalb der Kontrolle halten, und vergleichen Sie sie. Geo-Tests benötigen überhaupt kein Benutzer-Tracking, was sie zum Arbeitspferd der Datenschutz-Ära macht, und sie funktionieren für fast alles: einen Kanal, ein Budget, einen nachhaltigen Content-Push. Matching matters: Paarregionen auf historischen Outcome-Levels und Trends, und lassen Sie eine Vorperiode bestätigen, dass sich die Paare zusammen bewegen, bevor die Behandlung beginnt.

Zuschauer und Plattform Holdouts

Wo eine Plattform Einzelpersonen randomisieren kann, können Sie sauberere Splits ausführen: einen Geist oder einen Holdout für eine Kampagne oder ein Programm für ein zurückgehaltenes Publikum für ein zufälliges Stück Kunden. E-Mail- und Lifecycle-Programme sind natürlich dafür geeignet, da Sie die Sendeliste kontrollieren. Die klassische Offenbarung ist die Entdeckung, wie sehr ein Programm, das sich an bestehende Kunden richtet, lediglich Einkäufe neu arrangiert, die sowieso kommen.

Zeitbasierte und Blackout-Designs

Einen Kanal vollständig zu pausieren und die Gesamtreaktion zu beobachten, ist das blunteste Instrument: keine Kontrollgruppe, so dass Saisonalität und Rauschen das Lesen verunreinigen. Es ist vor allem dann gerechtfertigt, wenn nichts anderes machbar ist, verbessert durch das Ein- und Ausschalten des Kanals in mehreren Perioden und nicht einmal, und weiter verstärkt durch das Umschalten über gestaffelte Regionen, was es wieder in ein Geo-Design verwandelt.

Entwerfen eines Tests, der tatsächlich abgeschlossen wird

Die meisten gescheiterten Experimente waren in der Entwurfsphase und nicht in der Analysephase zum Scheitern verurteilt.

Schreiben Sie die Entscheidung vor dem Test

Es existiert ein Test, um eine Aktion zu ändern. Vorab angeben: die einzige primäre Metrik, der Mindestauftrieb, der die Kosten des Kanals rechtfertigen würde, die Entscheidung, wenn der Auftrieb diese Bar löscht, und die Entscheidung, wenn dies nicht der Fall ist. Wenn kein Ergebnis ein Verhalten ändern würde, stornieren Sie den Test und sparen Sie das Geld. Die Vorregistrierung verhindert auch das Post-hoc-Räubern durch sekundäre Metriken für eine schmeichelhafte Geschichte.

Größe und Dauer ehrlich

Kleine Effekte auf verrauschte Metriken erfordern große Samples und lange Fenster, um sie zu erkennen. Schätzen Sie vor dem Start ab, ob Ihr Traffic- und Conversion-Volumen die Effektgröße, die innerhalb einer tolerierbaren Dauer wichtig ist, auflösen kann; wenn nicht, testen Sie eine größere Intervention, eine Metrik mit höherem Volumen stromaufwärts oder akzeptieren Sie, dass diese Frage in Ihrer Größenordnung derzeit nicht beantwortbar ist. Ein untermotorischer Test ist schlimmer als keiner, weil er eine selbstbewusst klingende Null erzeugt.

Schutz der Kontrollgruppe

Verunreinigung ist der stille Killer: Retargeting, das in Holdout-Regionen ausläuft, Verkaufsteams, die am Kontrollmarkt arbeiten, eine Parallelkampagne, die jemand mitten im Test gestartet hat. Frieren Sie andere wichtige Änderungen während des Fensters ein, informieren Sie benachbarte Teams und führen Sie ein Protokoll über ungewöhnliche Dinge. Die Analyse kann nur so sauber sein wie die operative Disziplin darunter.

Lesen und Handeln nach Ergebnissen

Die Analyse ist ein Vergleich von Gruppen, aber die Interpretation hat Fallen.

Lift, Kosten pro inkrementellem Ergebnis und Intervalle

Geben Sie den absoluten Auftrieb, die Kosten pro inkrementeller Umwandlung und die Unsicherheit um beide herum an. Die Kosten pro Inkrement ist diejenige, die in Budgetsitzungen übernommen wird, da sie direkt über Kanäle hinweg vergleichbar ist, wie es die von der Plattform gemeldeten Kosten nie sind. Weite Intervalle bedeuten, dass die ehrliche Antwort “wahrscheinlich positiv, ungenau gemessen” ist, und das zu sagen, baut mehr Glaubwürdigkeit als falsche Präzision auf.

Nullen sind Befunde

Ein leistungsstarker Test, der keinen nachweisbaren Lift zeigt, gehört zu den wertvollsten Ergebnissen, die das Marketing erzielen kann: Es befreit das Budget. Widerstehen Sie der organisatorischen Immunantwort, die Null-Ergebnisse im Namen geliebter Kanäle angreift. Die richtige Nachverfolgung einer überraschenden Null ist die Replikation oder ein neu gestalteter Test, nicht die Entlassung.

Verallgemeinern Sie sorgfältig

Ein Ergebnis beschreibt den getesteten Zustand: dieses Budget, diese Saison, dieses kreative, dieses Publikum. Auftrieb gemessen auf einer Ausgabenebene verspricht nicht den gleichen Auftrieb bei doppelter Ausgaben; Sättigung ist real. Behandeln Sie jedes Ergebnis als Kalibrierpunkt und füttern Sie idealerweise ein Mischmodell, das zwischen getesteten Punkten interpoliert, und nicht als permanentes Gesetz.

Testen von Organic- und Content-Kanälen

Inkrementalitätsdenken geht über bezahlte Medien hinaus, mit Anpassungen.

Geo- und Kadenzdesigns für organische soziale

Organische Postings können nicht individuell randomisiert werden, aber sie können variiert werden: Erhöhen Sie die Posting-Tiefe und den Engagement-Aufwand für einen definierten Zeitraum, während Sie sich an anderer Stelle stabil halten, oder staggern Sie ein neues Inhaltsformat für ein regionalspezifisches Publikum über Märkte hinweg. Die konsistente Messung der Veröffentlichungsaktivität ist die Voraussetzung, und hier wird die Posting- und Engagement-Historie einer Managementplattform wie SocialBlaze zum Aktivitätsbuch, aus dem Ihre Analyse liest. Da organische Effekte langsam aufbauen, längere Fenster verwenden und zuerst einen Auftrieb in Upstream-Metriken erwarten: Profilbesuche, Markensuche, Newsletter-Anmeldungen.

Suppressionstests für eigene Kanäle

Newsletter und Lifecycle-Nachrichten unterstützen echte randomisierte Holdouts: Halten Sie das Programm ein Quartal lang von einem zufälligen Kundenteil zurück und vergleichen Sie das Aufbewahrungs- und Kaufverhalten. Dies ist die sauberste Inkrementalitätsmessung im gesamten Marketing, und es ist fast kostenlos, was es seltsam macht, wie selten es ausgeführt wird.

Eine Pre-Launch Checkliste

Bevor ein inkrementalitätstest live geht, gehen sie diese liste; fast jedes gescheiterte experiment hat gegen eines dieser gegenstände verstoßen, und jeder gegenstand ist billig, um im voraus zu überprüfen.

Entwurfs- und Entscheidungsprüfungen

Die primäre Metrik wird niedergeschrieben, und es ist eine Metrik. Der minimale Effekt, den es wert ist, erkannt zu werden, wird angegeben, und eine Leistungsüberprüfung besagt, dass der Test ihn innerhalb des geplanten Fensters lösen kann. Die Entscheidungsregel existiert in beiden Richtungen: Was passiert bei einem positiven Ergebnis und was passiert bei einer Null. Jemand mit Haushaltsbehörde hat schriftlich zugestimmt, die Regel einzuhalten, weil ein Test, dessen Verlierer danach relitigiert wird, nie wirklich ein Test war.

Betriebskontrollen

Die Kontrollgruppe ist wirklich abgeschirmt: Neuausschlüsse konfiguriert, Verkaufsteams über Holdout-Regionen informiert und keine überlappende Kampagne in das Fenster geplant. Die Messpipeline wird vor dem Start Ende an Ende verifiziert, wobei die Ergebnisdaten für beide Gruppen mit der gleichen Latenz fließen. Ein Vergleich vor der Periode bestätigt, dass die Gruppen zusammenverfolgen; Wenn sie vor Beginn der Behandlung auseinandergehen, ist das Matching fehlgeschlagen und der Start brennt sowieso nur den Kalender.

Hygiene während des Laufs

Ein Protokoll existiert für alles Ungewöhnliche: Ausfälle, Presseberichterstattung, Mitbewerberbewegungen, Wetterereignisse in Geotests. Interim-Looks, wenn überhaupt, sind eher für die betriebliche Gesundheit als für das frühzeitige Stoppen, es sei denn, das Design unterstützt explizit die sequentielle Analyse. Und das Enddatum wird geehrt, nicht in Hoffnung verlängert oder in Aufregung verkürzt, weil das Fenster Teil des Designs war und das Design macht die Zahl etwas bedeuten.

Größe des Programms auf das Budget, das es regelt

Der Testaufwand sollte mit den Ausgaben, die er informiert, skalieren. Ein Kanal, der einen großen Teil des Budgets verbraucht, rechtfertigt ein strenges Geo-Experiment mit abgestimmten Märkten und einer Vorperiode; Ein kleiner Kanal verdient möglicherweise nur eine grobe On-Off-Lesung oder Aufnahme in die nächste Mix-Modell-Aktualisierung. Die Rangfolge der Experimente nach dem Budget, die auf dem Spiel stehen, mal die Unsicherheit über die Wirksamkeit dieses Budgets, hält das Programm auf Entscheidungen ausgerichtet, die wichtig sind, und schützt es davor, seine Glaubwürdigkeit für elegante Antworten auf kleine Fragen auszugeben.

Die Testgewohnheit aufbauen

Ein Experiment beantwortet eine Frage; eine Kadenz von Experimenten verändert, wie eine Organisation denkt. Führen Sie einen Ranglistenbestand an Messfragen, führen Sie die höchsten Einsätze pro Quartal durch und veröffentlichen Sie die Ergebnisse intern unabhängig vom Urteil, einschließlich der unbequemen. Kombinieren Sie das Programm mit Mix-Modellierung, so dass der kausale Anker jedes Tests das Modell verbessert, das die Zuordnung zwischen Tests steuert. Erwarten Sie kulturellen Widerstand, wenn ein Lieblingskanal zum ersten Mal schwach getestet wird, und lassen Sie das Budget, das durch diese Suche freigesetzt wird, etwas finanzieren, das funktioniert. Über einige Zyklen hinweg ändern sich die Argumente in Planungsmeetings: weniger Urteile darüber, wessen Dashboard richtig ist, mehr Diskussionen darüber, was der nächste Test sein soll. Diese Verschiebung, von Kreditstreitigkeiten zu kausaler Neugier, ist die wirkliche Rückkehr auf Inkrementalitätstests.