Guide complet des tests A/B

Pourquoi les tests et pourquoi la plupart des tests mentent

Les opinions sur le courrier électronique sont bon marché et confiantes; le public est la seule autorité. Les tests remplacent le débat par des preuves, mais seulement lorsque la mécanique est saine. La plupart des « apprentissages » circulant dans les équipes marketing proviennent de tests sous-alimentés sur des listes minuscules, jugés sur des métriques ouvertes gonflées, et jamais répliqués, c’est-à-dire du bruit. Le but de ce guide est autant de vous protéger contre les fausses conclusions que de trouver les vraies.

Ce que les tests peuvent et ne peuvent pas répondre

Les tests A/B répondent à des questions comparatives étroites : la variante B a-t-elle battu la variante A pour ce public, ce contenu, ce moment ? Ils ne révèlent pas pourquoi, ils généralisent imparfaitement à d’autres contextes, et ils ne peuvent pas sauver une stratégie faible, la version la mieux testée d’un email dont personne n’a besoin est toujours un email dont personne n’a besoin. Jumeler le test avec le jugement sur ce qui vaut la peine d’être testé.

La hiérarchie des impacts

Les variables diffèrent énormément en effet de levier. Les offres et la sélection d’audience déplacent le plus les résultats; le cadrage et la structure du contenu viennent ensuite; les lignes d’objet comptent de manière significative; les couleurs des boutons et les phrases mineures importent rarement. Un programme de test qui dépense son budget statistique limité au sommet de cette hiérarchie apprend plus par mois qu’un anecdote de polissage.

Concevoir un test unique honnête

Commencez par une hypothèse, pas par un caprice

Une hypothèse utilisable nomme le changement, l’effet attendu et le raisonnement: “Le fait de diriger avec l’histoire du client au lieu de la liste des fonctionnalités augmentera les clics, car nos réponses montrent que les prospects font confiance aux pairs plutôt qu’aux réclamations.” L’écrire avant l’envoi empêche la rationalisation post-hoc qui transforme chaque résultat en confirmation.

Isoler une variable

Si les variantes diffèrent par le sujet, l’image du héros et l’offre simultanément, un gagnant ne vous apprend rien de réutilisable. Changer un élément par test. Lorsque vous avez vraiment besoin de comparer des approches entières, deux courriels complètement différents, exécutez-le comme un test de stratégie et acceptez que vous apprenez quel paquet a gagné, pas quel ingrédient.

Randomisez correctement et envoyez simultanément

Les variantes doivent être assignées au hasard à des tranches du même public en même temps. Tester A le lundi et B le jeudi, les jours de tests, pas les variantes; tester A sur un segment et B sur un autre segment de tests. L’outil split de votre plateforme gère correctement cela si vous le laissez faire.

Taille de l’échantillon, importance et décision

Taille du test avant envoi

Les petites différences nécessitent de grands échantillons pour être détectées de manière fiable. Avant le test, utilisez n’importe quelle calculatrice standard de taille d’échantillon avec votre taux de référence et la différence minimale qui vous intéresse; si votre liste ne peut pas prendre en charge la détection, testez quelque chose avec un effet attendu plus important au lieu de faire semblant. L’exécution des numéros par la suite ne corrige pas un design sous-alimenté.

Choisissez la métrique de décision à l’avance

Choisissez la mesure la plus proche de la valeur commerciale que votre volume peut supporter : clics pour les tests de contenu, conversions ou revenus pour les tests d’offre. Les ouvertures sont compromises par le pré-extraction automatique et devraient rarement décider de quoi que ce soit seul. Déclarer la métrique à l’avance exclut la tentation de couronner le nombre qui se déplace.

Résistez aux coups d’oeil et aux arrêts prématurés

La vérification des résultats toutes les heures et l’arrêt lorsqu’une variante se rapproche est la façon dont la fluctuation aléatoire est certifiée comme une connaissance. Fixez la durée du test ou de l’échantillon à l’avance, laissez-le compléter et appliquez une norme de signification cohérente. Pour la ligne d’objet commune qui envoie automatiquement le gagnant au reste, comprenez que le premier gagnant est mesuré sur un signal rapide et partiel, utilisez-le pour les gros envois, mais n’archivez pas ses verdicts comme vérité.

Que tester, par ordre de priorité

Audience et test d’offre

Les leviers les plus lourds : quel segment reçoit la campagne, incitatif contre zéro, encadrement discount contre encadrement de valeur, délai contre durée indéterminée. Ces tests touchent directement les revenus et produisent souvent des différences suffisamment importantes pour que les listes modestes puissent être détectées, c’est exactement pourquoi elles devraient venir en premier et généralement en dernier dans la pratique.

Tests d’architecture de message

Longue histoire contre annonce courte, grille éditoriale à colonne unique contre grille de produits, un appel à l’action contre plusieurs, modèle de ressenti en texte clair contre design. Les tests d’architecture redéfinissent la façon dont les futurs e-mails seront construits, de sorte que chaque verdict rapporte des dividendes à chaque envoi ultérieur.

Essais des composants

Sujets et pré-en-têtes, lignes d’ouverture, copie de bouton, envoi de calendrier, formats de nom d’expéditeur. Il vaut la peine de tester continuellement à faible effort, avec la mise en garde que les effets sont plus petits et exigent plus de volume; mettre en lot l’apprentissage à travers plusieurs envois plutôt que de s’attendre à une campagne pour régler quoi que ce soit.

Des tests à un programme de test

Tenir un journal de décision

Chaque test obtient un enregistrement : hypothèse, variantes, audience, dates, échantillon, mesure, résultat, décision. Le journal est la mémoire de l’institution, empêchant les nouveaux tests de questions réglées, exposant quand un ancien gagnant mérite une revanche dans de nouvelles conditions, et intégrant de nouveaux membres de l’équipe dans ce que ce public a déjà dit non.

Répliquer avant de canoniser

Un seul résultat significatif est une vérité candidate. Réexécutez des gagnants significatifs sur une nouvelle campagne avant de mettre à jour les modèles et les playbooks; les effets qui disparaissent lors de la réplication étaient la chance ou le contexte. La règle des deux gagnants filtre la doctrine la plus fausse au prix d’un peu de patience.

Répartir les apprentissages vérifiés sur plusieurs canaux

Un cadrage qui gagne de manière fiable dans l’e-mail est un candidat solide pour les pages de destination, les annonces et les liens sociaux organiques. Les équipes qui orientent les angles gagnants dans leur flux de travail de planification sociale, via une plate-forme comme le planificateur de médias sociaux SocialBlaze , multiplient le retour sur chaque test, et parfois la direction empruntée coule dans l’autre sens, d’un message qui a surperformé à un email qui vaut la peine d’être construit autour.

Pièges communs et comment les contourner

Le nouveau bounce

Tout changement visible peut brièvement lever l’engagement simplement en étant différent, une bosse qui s’estompe à mesure que le public s’habitue. Lorsque cela est possible, jugez des changements structurels sur plusieurs envois plutôt qu’un, et traitez l’enthousiasme de la première semaine pour les refontes avec suspicion.

Moyennes en aveugle

Une variante peut gagner globalement tout en perdant mal avec votre segment le plus précieux, les nouveaux abonnés et les clients fidèles préfèrent souvent des choses opposées. Lisez les résultats divisés par segments clés avant de lancer un gagnant à tout le monde, et soyez prêt à maintenir des valeurs par défaut différentes pour des publics véritablement différents.

Tester comme procrastination

Un calendrier rempli de micro-tests peut se substituer au travail plus difficile de meilleures offres, de meilleures listes et de meilleurs contenus. Vérification trimestrielle du programme : qu’est-ce que les tests ont changé dans notre façon de fonctionner et qu’est-ce que ces changements ont rapporté? Une pratique de test qui ne peut pas répondre est d’optimiser la mauvaise couche de l’entreprise.

Tester au-delà de la campagne

Groupes de discussion pour les questions au niveau du programme

Certaines questions qu’aucun partage de campagne ne peut répondre: la newsletter augmente-t-elle la fréquence des achats, la série de reconquête conserve-t-elle réellement les revenus, la cadence plus élevée brûle-t-elle la liste? Ceux-ci ont besoin de standing standouts, une petite tranche de l’auditoire exempté du traitement pendant des mois, comparés aux résultats commerciaux. Les hold-outs sont coûteux jusqu’à ce que la première fois que l’on révèle un programme bien-aimé ne faisant rien.

Test séquentiel entre les envois

Les expéditeurs à faible volume peuvent accumuler des preuves au lieu de forcer les verdicts de campagnes uniques : exécutez la même hypothèse sur quatre ou cinq envois consécutifs, alternez les affectations et lisez le résultat groupé. Plus lent, mais réel, et bien meilleur que l’alternative courante des tests monotones sous-puissants alimentant un document folklorique.

Effets de saison et de contexte

Un gagnant couronné dans la saison calme peut perdre pendant les semaines de promotion de pointe, lorsque les boîtes de réception et l’intention à la fois se transforment. Dater chaque résultat, re-tester les champions lorsque le contexte change, et traiter les résultats contradictoires au fil des saisons non pas comme du bruit, mais comme une découverte: le public se comporte différemment par période, et le calendrier devrait aussi.

Un budget comme un portefeuille

Allouer la capacité de test de la façon dont un investisseur alloue des fonds: la plupart du volume à des optimisations sûres des approches éprouvées, une tranche significative aux paris structurels audacieux, et une petite réserve pour des idées vraiment étranges qui pourraient recadrer le programme. Les portfolios sûrs apprennent lentement ; les portefeuilles audacieux voient le public. Passez en revue le mélange tous les trimestres ainsi que les résultats, car le bon ratio change à mesure que le programme mûrit et que les gains faciles sont récoltés.

Savoir quand ne pas tester

Certains envois devraient être expédiés sans être testés : communications de crise, annonces critiques en temps, segments minuscules où les divisions sont du bruit pur, et tout ce qui coûte plus cher qu’une variante perdante. Un programme discipliné est défini autant par les tests qu’il décline que par ceux qu’il exécute, et la rédaction des critères d’exemption empêche à la fois de sur-tester le sacré et de sous-tester le confortable.

Rendre les résultats impossibles à ignorer

Un test dont personne n’entend parler ne change rien. Fermez chaque expérience avec un résumé de trois lignes, ce que nous avons cru, ce qui s’est passé, ce que nous faisons différemment, affiché là où l’équipe planifie les campagnes. Le rituel maintient le programme honnête sur sa propre utilité et convertit régulièrement les tests du passe-temps d’un spécialiste en la façon dont l’équipe pense.

Exécutez moins de tests, concevez-les correctement, répliquez les gagnants et dites à tout le monde ce que vous avez appris. Un programme avec ces quatre habitudes accumule de vraies connaissances sur son public chaque trimestre, ce qui est le point essentiel, pas un cas de trophée de résultats significatifs, mais une équipe qui ne cesse de plus en plus difficile à tromper.