Mesurer le ROI du Chatbot Marketing

Les chatbots sont exceptionnellement faciles à justifier avec de mauvaises mathématiques. La plate-forme signale des milliers de « conversations traitées », le nombre est important et la facture est approuvée. Que ces conversations aient créé de la valeur, l’aient détruite ou simplement aient mélangé le travail sur une file d’attente différente est une question distincte – la question réelle du retour sur investissement – et y répondre nécessite des mesures que la plupart des tableaux de bord de robots ne font pas bénévolement. Cet article définit les quatre éléments importants, la base de référence qui les rend significatifs et les pièges qui font que les rapports de ROI des chatbots échouent aux audits.

Une clarification sur la portée avant l’arithmétique: ce cadre mesure les chatbots marketing – des robots dont le travail touche à l’acquisition, à la qualification ou à la réponse avant la vente. Les robots de support purs partagent des mécaniques mais répondent aux mathématiques de niveau de service, et mélangent les deux dans un rapport brouille les deux. Si votre bot chevauche la ligne, comme beaucoup le font, divisez ses conversations par intention au stade du marquage et exécutez la tranche marketing à travers ce cadre. La division prend un champ supplémentaire et enregistre chaque argument ultérieur sur le fait que le bot est une dépense de marketing ou un support – il est les deux, dans des proportions mesurables.

Commencer par la ligne de base ou ne pas commencer

Chaque métrique de chatbot est dénuée de sens sans savoir à quoi ressemblait le monde avant le bot.

Capturer le snapshot pré-bot

Avant le lancement – ou reconstruit à partir des enregistrements si vous avez déjà lancé – documentez : volume de questions entrantes par canal, temps de réponse humaine, taux de conversion sur les surfaces occupées par le bot et charge de support pour les sujets couverts par le bot. Cet instantané est le contrôle contre lequel chaque revendication ultérieure est testée. Les équipes qui l’ignorent finissent par créditer le bot pour la saisonnalité, la croissance du trafic et tout ce qui a bougé.

Si le bot est déjà en ligne et qu’il n’existe aucun instantané, reconstruisez-en un honnêtement plutôt que de sauter l’étape : retirez le quart des données avant le lancement de vos journaux de discussion, volumes de courrier électronique et analyses, et écrivez ce que vous ne pouvez plus savoir. Une ligne de base partielle avec des lacunes déclarées discipline encore chaque revendication ultérieure; l’alternative – mesurer contre rien – produit le rapport de bot gonflé caractéristique dans lequel chaque conversation que le bot a touchée est comptée comme une conversation que le bot a créée.

Définir ce que le bot est pour, en une phrase

“Répondre aux questions pré-vente en dehors des heures de bureau”, “qualifier les entrées avant le routage”, “détourner les sujets de support répétitifs” – choisissez le travail réel. Le travail détermine laquelle des quatre mesures ci-dessous est la principale. Un bot mesuré par rapport à tous les buts est également mesuré par rapport à aucun.

Mesure 1: confinement, compté honnêtement

Le confinement – les conversations que le bot termine sans intervention humaine – est la mesure de bot titre, et le plus joué.

Résolution séparée de l’abandon

Une conversation qui se termine parce que l’utilisateur a obtenu sa réponse et une qui se termine parce que l’utilisateur a abandonné dans la frustration sont toutes deux “contenues” sur des tableaux de bord naïfs. Divisez-les : comptez une conversation contenue comme résolue uniquement lorsqu’elle affiche un signal d’achèvement – l’utilisateur a obtenu la chose (réponse, lien, réservation), a dit merci ou a confirmé. Les fins silencieuses à mi-parcours sont des abandons et appartiennent au côté coût du registre, car chacune est une personne que votre bot a appris à se méfier de votre marque.

Vérification d’un échantillon de transcription mensuelle

Les chiffres se trouvent aux marges, alors lisez trente transcriptions de bot aléatoires par mois et étiquettez-les à la main résolues, abandonnées ou échappées à l’homme. L’écart entre le taux de confinement de votre tableau de bord et celui de votre tableau de bord étiqueté à la main est la correction d’honnêteté à appliquer à chaque rapport. Il est systématiquement grand.

Faites pivoter qui fait la lecture, et gardez un fichier partagé des pires transcriptions à côté des statistiques. Un seul échange de verbatim dans lequel le bot comprend avec confiance un client trois fois fait plus pour calibrer les attentes des parties prenantes que n’importe quel pourcentage, et il motive les correctifs qu’un pourcentage ne fera jamais. La lecture mensuelle est également l’endroit où vous remarquerez une dérive précoce – le nouveau nom du produit dont le robot n’a jamais entendu parler, la question saisonnière qu’il tâtonne – des mois avant que les chiffres agrégés ne se dégradent suffisamment pour alarmer quiconque.

Mesure 2 : qualité d’escalade

Le deuxième travail d’un robot marketing est d’améliorer les conversations humaines, et presque personne ne le mesure.

Comparer les fils transmis aux fils bruts

Lorsque le bot s’intensifie, il devrait fournir à un humain un fil pré-qualifié et riche en contexte: qui est la personne, ce qu’elle veut, ce qui a déjà été dit. Mesurez la différence – temps de résolution et taux de conversion des fils préparés par les robots par rapport aux conversations qui ont atteint les humains froids. Si les fils préparés par les robots ne se ferment pas plus rapidement ou ne convertissent pas mieux, le robot est un portier, pas un qualificatif, et son cas d’affaires se réduit à la couverture après les heures.

Regardez le taux de questions répétées

L’anti-métrique : à quelle fréquence l’humain doit-il demander à nouveau quelque chose que l’utilisateur a déjà dit au bot ? Chaque question répétée est la valeur de transfert qui fuit, et il est dénombrable à partir du même échantillon de transcription que vous lisez déjà mensuellement.

Mesure 3 : revenus influencés par les robots

Le confinement et l’escalade sont l’efficacité; l’influence des revenus est le marketing.

Marquer et tracer, puis fenêtre

Chaque conversation de bot doit être attachée à un enregistrement de contact où l’identité est connue, étiqueté comme bot-touché avec le sujet. Ensuite tracez : taux de conversion et délai d’achat des contacts touchés par un bot par rapport aux contacts comparables non touchés, dans une fenêtre d’attribution déclarée. Signaler les données provenant du bot (bot a capturé le plomb) séparément des données assistées par le bot (bot a répondu à mi-parcours); les mélanger est la façon dont les chiffres de ROI du bot sont ridiculisés dans les revues financières.

Créditer la tranche après les heures spécifiquement

La demande de revenus la plus propre qu’un bot puisse faire est la conversation qui s’est produite lorsqu’aucun humain n’était disponible – la question de tarification du soir a répondu, la réservation du week-end a été capturée. Segmenter les conversions influencées par les robots par heure de la journée. La tranche d’heures de fermeture est incrémentale presque par définition, ce qui en fait la plus forte exposition unique dans l’ensemble du rapport.

Traiter la couverture d’identité comme faisant partie de l’honnêteté de cette mesure. Une partie des conversations de bot sera anonyme – aucun e-mail capturé, aucun compte associé – et celles-ci ne pourront jamais apparaître dans le suivi des revenus. Signalez le taux de correspondance aux côtés des chiffres de revenus («nous pouvons retracer 40% des conversations de bots aux contacts; les chiffres de revenus ne couvrent que ceux») afin que les lecteurs comprennent que le chiffre est un plancher, pas un recensement. Déclarer le sol est clairement plus persuasif que de présenter silencieusement les revenus tracés comme si c’était le tableau d’ensemble, car tout examinateur compétent finira par poser des questions sur le reste anonyme.

Mesure quatre : coût par interaction à pleine charge

Le dénominateur, comme d’habitude, cache les péchés.

Compter plus que l’abonnement

Le coût mensuel réel du bot : les frais de plateforme, plus la construction amortie sur un an, plus – la ligne oubliée – les heures de maintenance. Quelqu’un met à jour les flux lorsque les prix changent, lit les transcriptions, reforme les intentions et corrige l’intégration après chaque mise à jour de la plate-forme. Les bots ne sont pas du feu et de l’oubli; ceux qui ne sont pas entretenus se décomposent en machines à réponse erronée, ce qui est pire que l’absence.

Calculer et comparer le coût unitaire

Divisez le coût chargé par les interactions résolues (votre nombre de confinement honnête, pas le tableau de bord) pour le coût par résolution automatisée. Mettez-le à côté de votre coût par conversation gérée par l’homme. L’écart entre ces deux chiffres, multiplié par le volume résolu, est la contribution de l’efficacité du bot – le noyau défendable de l’histoire de retour sur investissement, auquel s’ajoute l’influence du revenu de la mesure trois.

Les pièges qui invalident les revendications de bot ROI

Trois modèles d’échec expliquent la plupart des rapports de chatbot qui ne survivent pas à l’examen.

Le piège de la redistribution

Le bot «défléchit» les conversations, mais le volume de plaintes augmente dans les courriels et les DM sociaux – les utilisateurs qui ont fui le bot. Vérifiez les volumes des autres canaux par rapport à la ligne de base avant de réclamer la déviation; le travail qui a bougé n’est pas un travail qui a disparu. Une vue unifiée de vos boîtes de réception sociales rend cette fuite visible au lieu d’anecdote.

La satisfaction aveugle

Les bots peuvent atteindre un nombre élevé de confinement tout en érodant tranquillement la chaleur de la marque. Associez le système quantitatif à une évaluation post-chat légère et suivez sa tendance. Un gain de confinement acheté avec une baisse de satisfaction emprunte des revenus du trimestre prochain.

Le sentiment dans les transcriptions elles-mêmes est un supplément gratuit utile ici: l’échantillon de lecture mensuel que vous avez déjà tiré peut être noté pour les marqueurs de frustration – répétitions, lettres majuscules, le mot “humain” tapé avec une urgence croissante. La hausse de la densité de frustration est souvent visible un mois ou deux avant que la tendance de la notation ne le confirme, ce qui fait que la transcription lit un instrument d’alerte précoce ainsi qu’un audit.

Le piège à glace

Un bot mesuré uniquement sur son périmètre de lancement semble de plus en plus performant à mesure que le trafic augmente, tandis que les questions qu’il ne peut pas traiter – nouveaux produits, nouvelles objections – s’accumulent. Reprenez la question trimestrielle : quelles sont les intentions les plus mal gérées dans les transcriptions, et le budget de maintenance augmente-t-il le bot ou le préserve-t-il simplement ?

Le rapport d’une page de bot

Mensuel, sur une page : confinement honnête (avec la correction d’audit indiquée), qualité d’escalade par rapport aux fils froids, revenus influencés par les robots dans ses deux saveurs étiquetées avec la tranche après les heures mises en évidence, coût chargé par interaction résolue à côté de l’équivalent humain, et les trois contrôles de piège. La clôture avec le changement unique le mois prochain les chiffres seront testés. Un chatbot qui survit à cette page paie vraiment pour lui-même – et un chatbot qui ne peut pas être redimensionné ou retiré, qui est aussi le système de mesure qui fait son travail.