Test d'incrémentation pour le marketing

L’attribution vous indique quels points de contact sont apparus près des conversions. L’incrémentalité vous indique quels points de contact ont provoqué des conversions qui autrement n’existeraient pas. L’écart entre ces deux déclarations peut être énorme : un canal peut récolter la demande qui arrivait de toute façon et avoir l’air héroïque dans chaque rapport, ou créer tranquillement une demande que d’autres canaux réclameront plus tard. Tester est la façon dont vous découvrez quelle histoire est vraie, et cela nécessite du courage, car la méthode consiste à désactiver les choses à dessein.

Le problème contrefactuel

Toutes les mesures marketing se battent avec une seule information manquante.

Pourquoi le crédit n’est pas une cause

Un client qui a cliqué sur votre lien peut avoir été sur leur chemin indépendamment; le clic a intercepté un voyage plutôt que de commencer un. Ceci est particulièrement grave pour les points de contact destinés aux personnes déjà proches de la conversion: ils sont adjacents à de nombreuses conversions précisément parce qu’ils ciblent les convertisseurs probables. L’attribution compte la contiguïté. Seule une expérience compte pour la causalité, car seule une expérience observe le monde où le point de contact était absent.

La logique du hold-out

Diviser une population en groupes comparables, exposer l’un à la commercialisation et de protéger l’autre, puis comparer les résultats. La performance du groupe blindé estime le contrefactuel, et la différence est une augmentation. Tout dans la conception du test existe pour protéger une propriété: que les groupes se seraient comportés de manière identique sans le traitement. Quand cela tient, l’arithmétique est presque triviale; quand elle échoue, aucune statistique ne peut sauver le résultat.

Les principaux modèles expérimentaux

Différents canaux permettent des conceptions différentes. Connaissez le menu.

Expériences géographiques

Divisez les marchés en ensembles appariés, exécutez l’activité dans les régions de test tout en la maintenant hors de contrôle, et comparez. Les tests géo n’ont pas besoin du tout de suivi des utilisateurs, ce qui en fait le cheval de bataille de la mesure de la vie privée, et ils fonctionnent pour presque tout: un canal, un niveau de budget, un contenu soutenu. Les points correspondants: les régions de paires sur les niveaux de résultats historiques et les tendances, et laissez une pré-période confirmer les paires se déplacent ensemble avant le début du traitement.

Public et plateforme

Lorsqu’une plateforme peut randomiser des individus, vous pouvez exécuter des splits plus propres : un fantôme ou une intention de traiter un standout pour une campagne, ou supprimer un programme d’audience retenue pour une tranche aléatoire de clients. Les programmes de messagerie et de cycle de vie sont naturellement adaptés à cela, puisque vous contrôlez la liste d’envoi. La révélation classique est de découvrir combien un programme destiné aux clients existants réorganise simplement les achats qui venaient de toute façon.

Conceptions basées sur le temps et blackout

Faire une pause sur un canal et regarder la réponse globale est l’instrument le plus direct : pas de groupe de contrôle, donc la saisonnalité et le bruit contaminent la lecture. Il est justifié principalement lorsque rien d’autre n’est possible, amélioré en allumant et en désactivant le canal en plusieurs périodes plutôt qu’une seule fois, et renforcé davantage en faisant la commutation entre des régions décalées, ce qui le transforme en une conception géographique.

Concevoir un test qui se terminera réellement

La plupart des expériences ratées ont été condamnées au stade de la conception, pas au stade de l’analyse.

Ecrire la décision avant le test

Il existe un test pour modifier une action. Préciser à l’avance : la mesure primaire unique, la portance minimale qui justifierait le coût du canal, la décision prise si la portance efface cette barre et la décision prise si elle ne le fait pas. Si aucun résultat ne change le comportement, annulez le test et économisez de l’argent. Le pré-enregistrement empêche également la fouille post-hoc à travers des mesures secondaires pour une histoire flatteuse.

Taille et durée honnêtement

Les petits effets sur les métriques bruyantes nécessitent de gros échantillons et de longues fenêtres pour être détectés. Avant de lancer, estimez si votre trafic et votre volume de conversion peuvent résoudre la taille d’effet qui compte dans une durée tolérable; sinon, testez une intervention plus importante, une mesure de volume plus élevé en amont ou acceptez que cette question soit sans réponse à votre échelle. Un test sous-alimenté est pire que rien, car il fabrique un zéro qui a l’air confiant.

Protéger le groupe de contrôle

La contamination est le tueur silencieux: le reciblage qui s’écoule dans les régions difficiles, les équipes de vente travaillant sur les prospects du marché du contrôle, une campagne parallèle lancée par quelqu’un en milieu de test. Congelez d’autres changements majeurs pendant la fenêtre, informez les équipes adjacentes et tenez un journal de tout ce qui est inhabituel. L’analyse ne peut être aussi propre que la discipline opérationnelle sous-jacente.

Lecture et mise en œuvre des résultats

L’analyse est une comparaison de groupes, mais l’interprétation a des pièges.

Ascenseur, coût par résultat incrémental et intervalles

Indiquez l’ascenseur absolu, le coût par conversion incrémentale et la plage d’incertitude autour des deux. Le chiffre du coût par incrément est celui à reporter aux réunions budgétaires, car il est directement comparable à travers les canaux d’une manière que les coûts déclarés par la plate-forme ne sont jamais. De larges intervalles signifient que la réponse honnête est « probablement positive, mesurée avec imprécision », et le dire renforce plus la crédibilité que la fausse précision.

Les nuls sont des découvertes

Un test bien alimenté ne montrant aucun ascenseur détectable est l’un des résultats les plus précieux que le marketing peut produire: il libère le budget. Résistez à la réponse immunitaire organisationnelle qui attaque les résultats nuls au nom des canaux bien-aimés. Le suivi correct d’un nul surprenant est la réplication ou un test redessiné, pas le rejet.

Généraliser soigneusement

Un résultat décrit la condition testée : ce niveau de budget, cette saison, cette créativité, ce public. Un ascenseur mesuré à un niveau de dépense ne promet pas le même ascenseur à un double de la dépense; la saturation est réelle. Traitez chaque résultat comme un point d’étalonnage, en alimentant idéalement un modèle de mélange qui interpole entre les points testés, plutôt que comme une loi permanente.

Tester les canaux organiques et de contenu

La pensée d’incrémentalité s’étend au-delà des médias payants, avec des adaptations.

Géo et cadence designs pour bio social

La publication organique ne peut pas être randomisée individuellement, mais elle peut être variée : augmenter la profondeur de la publication et l’effort d’engagement pendant une période définie tout en maintenant la stabilité ailleurs, ou échelonner un nouveau format de contenu sur tous les marchés pour des publics spécifiques à la région. Mesurer l’activité de publication de manière cohérente est la condition préalable, c’est à partir de là que l’historique de publication et d’engagement d’une plate-forme de gestion comme SocialBlaze devient le registre d’activité de votre analyse. Parce que les effets organiques se construisent lentement, utilisez des fenêtres plus longues et attendez-vous à une augmentation des mesures en amont en premier: visites de profil, recherche de marque, inscriptions à la newsletter.

Tests de suppression pour les chaînes possédées

Les bulletins d’information et les messages sur le cycle de vie prennent en charge de véritables blocages aléatoires : retenez le programme d’une tranche de clients aléatoires pendant un trimestre et comparez le comportement de rétention et d’achat. C’est la mesure d’incrémentalité la plus propre de tout le marketing, et elle est presque gratuite, ce qui rend étrange la rareté de sa gestion.

Une liste de contrôle pré-lancement

Avant que tout test d’incrémentalité ne soit mis en ligne, parcourez cette liste; presque chaque expérience ratée violait l’un de ces éléments, et chaque élément est bon marché à vérifier à l’avance.

Conception et contrôle des décisions

La métrique primaire est écrite, et c’est une métrique. L’effet minimum à détecter est indiqué, et un contrôle de puissance indique que le test peut le résoudre dans la fenêtre prévue. La règle de décision existe dans les deux sens : ce qui se passe sur un résultat positif et ce qui se passe sur un zéro. Quelqu’un avec l’autorité budgétaire a accepté, par écrit, d’honorer la règle, parce qu’un test dont le perdant sera religué par la suite n’a jamais vraiment été un test.

Contrôles opérationnels

Le groupe de contrôle est véritablement protégé : les exclusions de reciblage sont configurées, les équipes de vente sont informées des régions en attente et aucune campagne ne se chevauche n’est planifiée dans la fenêtre. Le pipeline de mesure est vérifié de bout en bout avant le lancement, avec des données de résultat circulant pour les deux groupes à la même latence. Une comparaison pré-période confirme que les groupes suivent ensemble; s’ils divergent avant le début du traitement, l’appariement a échoué et le lancement brûle tout simplement le calendrier.

Hygiène pendant la course

Un journal existe pour tout ce qui est inhabituel: pannes, couverture médiatique, déplacements des concurrents, événements météorologiques dans les tests géo. Les regards intermédiaires, le cas échéant, sont pour la santé mentale opérationnelle plutôt que pour l’arrêt précoce, à moins que la conception ne prenne explicitement en charge l’analyse séquentielle. Et la date de fin est honorée, pas prolongée dans l’espoir ou raccourcie dans l’excitation, parce que la fenêtre faisait partie du design et le design est ce qui rend le nombre signifie quelque chose.

Taille du programme au budget qu’il régit

L’effort de test doit être adapté aux dépenses qu’il informe. Un canal consommant une grande partie du budget justifie une expérience géographique rigoureuse avec des marchés appariés et une pré-période; un canal mineur peut ne mériter qu’une lecture approximative ou une inclusion dans le prochain rafraîchissement du modèle mixte. Le classement des expériences par le budget en jeu, multiplié par l’incertitude quant à l’efficacité de ce budget, maintient le programme orienté vers les décisions importantes et le protège de dépenser sa crédibilité sur des réponses élégantes à de petites questions.

Construire l’habitude de test

Une expérience répond à une question ; une cadence d’expériences change la façon dont une organisation pense. Maintenir un carnet de commandes de questions de mesure classées, exécuter les enjeux les plus élevés un chaque trimestre et publier les résultats en interne, quel que soit le verdict, y compris les plus inconfortables. Associez le programme à la modélisation de mélange pour que l’ancrage causal de chaque test améliore le modèle qui guide l’allocation entre les tests. Attendez-vous à une résistance culturelle la première fois qu’un canal préféré se révèle faible, et laissez le budget libéré par cette découverte financer quelque chose qui fonctionne. Sur quelques cycles, les arguments dans la planification des réunions changent de caractère : moins de jugement sur le tableau de bord qui est correct, plus de discussion sur ce que le prochain test devrait être. Ce passage, des différends de crédit à la curiosité causale, est le véritable retour sur les tests d’incrémentalité.