Mesurer le ROI de la personnalisation marketing

Les programmes de personnalisation sont exceptionnellement faciles à justifier avec de mauvaises mathématiques et inhabituellement difficiles à justifier avec de bonnes mathématiques. Le mauvais calcul compare les gens qui ont reçu des messages personnalisés à ceux qui n’ont rien reçu et déclare la victoire. Les bonnes mathématiques isolent ce que la personnalisation elle-même a changé, évaluent honnêtement l’effort total et rendent parfois un verdict inconfortable. Cet article est une ébauche concernant les mathématiques.

Définissez ce que vous mesurez réellement

La personnalisation n’est pas une chose

Un programme contient généralement de nombreuses règles indépendantes : une ligne d’objet segmentée ici, un flux déclenché là, un module de produit dynamique ailleurs. Chacun a son propre coût et son propre effet. Mesurez au niveau de la règle chaque fois que le volume le permet, car “notre retour sur investissement de personnalisation” cache la réalité habituelle – deux règles portent le programme et six sont décoratives.

Choisissez la mesure de résultat par règle, à l’avance

Chaque règle a été conçue pour déplacer quelque chose de spécifique : un flux de récupération de panier existe pour récupérer des revenus, une branche d’intégration existe pour améliorer l’activation, une série de réengagement existe pour réduire la désintégration de la liste. Notez la métrique prévue lorsque la règle est envoyée. Choisir des métriques après avoir vu les données est la façon dont chaque règle finit par « travailler » sur le nombre qui s’est déplacé.

Séparer les métriques d’engagement des métriques de valeur

Les ouvertures et les clics sont des diagnostics, pas des résultats. Ils vous disent si le mécanisme a fonctionné – la ligne d’objet a gagné l’ouverture, le contenu a gagné le clic – mais le retour sur investissement doit se régler en revenus, clients retenus, ou quelle que soit l’unité de vos banques d’affaires. Une règle peut augmenter les clics et ne rien changer en aval; Traitez cela comme un résultat nul avec de bonnes valeurs de production.

Le hold-out : votre non négociable

Pourquoi cibler vos chiffres actuels pollués

Les campagnes personnalisées ciblent généralement les contacts engagés et riches en données – exactement les personnes les plus susceptibles de convertir de toute façon. Les comparer au repos non ciblé mesure la sélection, pas la persuasion. L’écart flatteur que vous voyez est surtout qui ils étaient, pas ce que vous avez envoyé. Cette confusion unique explique la plupart des réclamations de personnalisation sur le retour sur investissement.

Comment en faire un correctement

À partir de l’audience éligible pour une règle, réservez au hasard une tranche qui reçoit l’expérience générique à la place – même timing, même canal, contenu générique. L’affectation aléatoire au sein du pool éligible est l’astuce complète : les deux groupes sont désormais également engagés et également ciblés, de sorte que la différence de résultat appartient à la personnalisation seule. Gardez le support à travers un cycle économique complet plutôt qu’un seul envoi, car les effets de nouveauté s’estompent et certaines remontées ne s’accumulent que sur une exposition répétée.

Taille et patience

Les petits publics ont besoin de plus grandes proportions et de plus longues fenêtres pour dire quelque chose de digne de confiance. Si une règle touche quelques centaines de personnes par mois, acceptez que vous la mesurez par trimestre, pas par semaine. Résistez à l’envie de mettre fin au test le premier jour, le tableau de bord semble bon; les premiers regards surestiment systématiquement les gagnants. Documenter la fenêtre prévue lorsque le hold-out commence, afin de se terminer tôt nécessite une décision explicite plutôt qu’un délai commode.

Comptage du coût total

Les coûts visibles

Les licences d’outils et les heures passées à construire des règles sont faciles à compter. Inclure le temps d’installation amorti sur la durée de vie prévue de la règle et le travail d’intégration qui a connecté les données – les heures d’ingénierie sont de l’argent réel même lorsqu’elles sont dans le budget d’un autre département.

La taxe sur le contenu récurrent

Chaque variation doit être écrite, conçue, mise à jour et QA’d pour toujours. Une campagne avec quatre versions de segment coûte environ quatre fois la production d’une version, chaque cycle. Cette taxe récurrente, et non la licence du logiciel, est généralement le plus grand élément de ligne, et c’est la plus ROI feuilles de calcul omettent tranquillement. Prix des heures de votre équipe dans chaque variante.

Entretien, erreurs et attention

Budget pour les audits d’entretien, le nettoyage occasionnel des ratés d’incendie et le coût d’opportunité: les heures passées à entretenir la variante douze ne sont pas des heures consacrées à un nouveau canal ou à une meilleure offre. Vous n’avez pas besoin de précision ici – une estimation cohérente et honnête bat une omission.

Mettre le nombre ensemble

Le calcul de base

Pour chaque règle sur la fenêtre de mesure : prenez le résultat par personne dans le groupe personnalisé, soustrayez le résultat par personne dans le standout, et multipliez la différence par le nombre de personnes traitées. C’est une valeur incrémentale. Diviser par le coût total de la règle sur la même fenêtre. Exprimez-le comme votre culture financière préfère – un ratio, une période de récupération – mais gardez le cadrage incrémental; revenu brut “touché par” la personnalisation est une figure de vanité.

Vue du portefeuille

Remplir les règles dans une simple table de portefeuille : valeur incrémentale, coût total et verdict par règle. La décision de gestion qui permet est l’élagage – retirer les règles en dessous de la ligne, réinvestir dans ceux au-dessus. Un programme mesuré rétrécit avant de grandir, et c’est un signe de santé, pas d’échec.

Effets de second ordre à surveiller

Certains effets réels échappent aux obstacles au niveau des règles: réduction de la fatigue de la liste, changements de taux de désabonnement, déviation des tickets de support d’une éducation mieux ciblée. Suivez-les au niveau du programme comme preuve directionnelle. Ils sauvent rarement une règle qui échoue à son propre soutien, mais ils peuvent rompre les liens.

Traduire des fenêtres temporelles en langage financier

Les règles sont différentes et les horloges sont différentes, et le rapport ROI devrait le dire. Un flux de récupération de panier se règle en quelques jours; une branche d’intégration montre sa valeur en rétention à l’échelle d’un trimestre; un programme de contenu basé sur les préférences peut prendre un an pour se séparer du bruit. Attachez un horizon de retour sur investissement attendu à chaque règle lors de son lancement et signalez les règles en fonction de leur propre horizon plutôt que du cycle de tableau de bord mensuel. Ce simple mouvement de cadrage empêche les deux échecs politiques classiques: tuer les règles de combustion lente pour ne pas rembourser en un mois, et laisser les effets de nouveauté de décroissance rapide se faire passer pour des victoires durables parce que personne n’a re-mesuré après le trimestre de lancement.

Des pièges qui flattent les chiffres

Attribution double comptage

Lorsqu’un client touche trois flux personnalisés avant d’acheter, les rapports naïfs attribuent l’achat complet à chaque flux, et les revenus réclamés par le programme dépassent les revenus réels de l’entreprise. L’incrémentalité basée sur le maintien évite largement cela; les rapports de règles de dernière touche ne le font pas. Si la valeur revendiquée au niveau des règles représente plus que la croissance totale, les rapports se trouvent quelque part.

Survivance dans les métriques d’engagement

Une série personnalisée peut montrer des taux d’ouverture en hausse simplement parce que les destinataires ennuyés se sont désabonnés en cours de route. L’engagement par envoi parmi les survivants n’est pas un soulagement. Ancrage sur les résultats de la cohorte – ce qui est arrivé à tous ceux qui sont entrés – plutôt que des mesures calculées sur celui qui est resté.

Le coût silencieux de la peur

Une règle peut gagner son support de conversion tout en soulevant tranquillement des désabonnements ou des plaintes de spam parmi les personnes qu’elle a déstabilisées. Inclure les résultats négatifs dans la carte de pointage de chaque règle, pas seulement la mesure pour laquelle elle a été construite. Confiez les composés endommagés à l’extérieur de la fenêtre de mesure.

Fenêtres cueillies

Une règle mesurée uniquement pendant son meilleur mois – la saison des fêtes pour une recommandation de cadeau, la semaine de lancement pour tout – indique un plafond comme si c’était une moyenne. Normaliser les fenêtres de mesure sur l’ensemble du portefeuille, ou au minimum annoter le résultat de chaque règle avec la période qu’elle couvre, de sorte que l’examen trimestriel se compare comme avec comme au lieu de laisser chaque règle soumettre son propre rouleau de surbrillance.

Mesurer où les hold-outs sont difficiles: social organique

La personnalisation au niveau des segments sur les réseaux sociaux – des pistes de contenu distinctes pour des publics distincts – ne peut pas randomiser les téléspectateurs, alors mesurez-la plutôt comparativement. Exécutez la piste spécifique à l’audience à côté de votre contenu générique pendant un cycle complet et comparez l’engagement, le trafic de liens et les conversions en aval par message entre les pistes; les files d’attente étiquetées et les analyses par message dans une plate-forme de gestion sociale comme SocialBlaze en font un exercice de reporting plutôt qu’un projet de recherche. C’est une preuve plus faible qu’un hold-out, alors tenez-le à une barre plus haute: une piste doit battre le contenu générique clairement et à plusieurs reprises, pas marginalement et une fois, pour justifier son coût de production continu.

À quoi ressemble le bien

Une pratique de mesure saine est ennuyeuse: chaque règle a une métrique déclarée, un support permanent ou une fenêtre de comparaison planifiée, une ligne à coût complet comprenant des heures de contenu et une révision trimestrielle de l’élagage avec des dents. Les équipes qui exécutent cette boucle se retrouvent généralement avec moins de règles de personnalisation qu’elles ne l’avaient prévu au départ et plus de valeur – car l’effort passe du maintien de la décoration à la mise à l’échelle de la poignée de règles que les mathématiques défendent réellement.

Une tâche pratique de départ, si votre programme n’a jamais été mesuré honnêtement: choisissez votre règle de personnalisation la plus élevée, découpez un support aléatoire de son public admissible cette semaine, notez la mesure prévue et le coût trimestriel complet de la règle sur une page, et définissez un rappel de calendrier pour la fin de la fenêtre de mesure. Quoi que ce premier verdict propre dise – et il vous surprendra dans un sens ou dans l’autre – vous aurez construit le modèle que toutes les autres règles auront traversé, et le programme aura franchi la ligne qui sépare la valeur crue de la valeur démontrée. Tout le reste dans cet article est cet exercice, répété.