Medindo o ROI da Personalização de Marketing

Programas de personalização são extraordinariamente fáceis de justificar com matemática ruim e extraordinariamente difíceis de justificar com uma boa matemática. A matemática ruim compara pessoas que receberam mensagens personalizadas contra pessoas que não receberam nada e declaram vitória. A boa matemática isola o que a personalização em si mudou, precifica todo o esforço honestamente e, às vezes, dá um veredicto desconfortável. Este artigo percorre a boa matemática.

Defina o que você realmente está medindo

Personalização não é uma coisa

Um programa normalmente contém muitas regras independentes: uma linha de assunto segmentada aqui, um fluxo acionado lá, um módulo de produto dinâmico em outro lugar. Cada um tem seu próprio custo e seu próprio efeito. Medir no nível de regra onde quer que o volume permita, porque “nosso ROI de personalização” como um único número esconde a realidade usual — Duas regras carregam o programa e seis são decoração.

métrica de resultados por regra, antecipadamente

Cada regra foi construída para mover algo específico: um fluxo de recuperação de carrinho existe para recuperar receita, um ramo de integração existe para melhorar a ativação, uma série de reengajamento existe para reduzir a decadência da lista. Anote a métrica pretendida quando a regra for enviada. A escolha de métricas depois de ver os dados é como cada regra acaba “trabalhando” em qualquer número que aconteceu para mexer.

Metricas de engajamento separadas das métricas de valor

Aberturas e cliques são diagnósticos, não resultados. Eles dizem se o mecanismo funcionou — a linha de assunto ganhou o aberto, o conteúdo ganhou o clique — O ROI deve se estabelecer em receita, clientes retidos ou qualquer unidade que seus bancos de negócios. Uma regra pode aumentar os cliques e não mudar nada a jusante; trate isso como um resultado nulo com bons valores de produção.

O holdout: o seu um não negociável

Por que a segmentação poluiu seus números atuais

Campanhas personalizadas geralmente visam contatos engajados e ricos em dados — As pessoas mais propensas a converterem-se de qualquer maneira. Comparando-os com a seleção de medidas de descanso não direcionadas, não a persuasão. A diferença lisonjeira que você vê é principalmente quem eles eram, não o que você enviou. Esta confusão única é responsável pela maioria das reivindicações de ROI de personalização infladas.

Como executar um corretamente

Da audiência elegível para uma regra, reserve aleatoriamente uma fatia que recebe a experiência genérica em vez — mesmo tempo, mesmo canal, conteúdo genérico. A atribuição aleatória dentro da piscina elegível é o truque completo: ambos os grupos estão agora igualmente envolvidos e igualmente direcionados, de modo que a diferença de resultado pertence apenas à personalização. Mantenha o holdout em execução através de um ciclo de negócios completo em vez de um envio, porque os efeitos de novidade desaparecem e alguns elevadores só se acumulam sobre a exposição repetida.

Sizing and patience

Pequenas audiências precisam de maiores proporções de espera e janelas mais longas para dizer qualquer coisa confiável. Se uma regra tocar algumas centenas de pessoas por mês, aceite que você a medirá por trimestre, não por semana. Resista ao desejo de terminar o teste no primeiro dia em que o painel de controle parece bom; os primeiros olhares sistematicamente superestimam os vencedores. Documente a janela planejada quando o bloqueio começar, portanto, terminar cedo requer uma decisão explícita, em vez de um lapso conveniente.

Contando o custo total

The visible costs

As licenças de ferramentas e as horas gastas na construção de regras são fáceis de contar. Incluir o tempo de configuração amortizado sobre a vida esperada da regra e o trabalho de integração que conectou os dados — horas de engenharia são dinheiro real, mesmo quando eles se sentam no orçamento de outro departamento.

O imposto recorrente sobre o conteúdo

Cada variação deve ser escrita, projetada, atualizada e QA’d para sempre. Uma campanha com quatro versões de segmentos custa cerca de quatro vezes a produção de uma versão, a cada ciclo. Este imposto recorrente, não a licença de software, é geralmente o maior item de linha, e é a única planilhas de ROI que omite silenciosamente. O preço de sua equipe em cada variante.

Manutenção, erros e atenção

Orçamento para as auditorias de manutenção, a limpeza ocasional de incêndio e o custo de oportunidade: horas gastas mantendo a variante doze são horas não gastas em um novo canal ou uma oferta melhor. Você não precisa de precisão aqui — Uma estimativa consistente e honesta supera uma omissão.

Juntando o número

The core calculation

Para cada regra sobre a janela de medição: pegue o resultado por pessoa no grupo personalizado, subtraia o resultado por pessoa no holdout e multiplique a diferença pelo número de pessoas tratadas. Isso é um valor incremental. Divida pelo custo total da regra sobre a mesma janela. Expresse isso, no entanto, sua cultura financeira prefere — um período de retorno, um período de retorno — mas manter o enquadramento incremental; receita bruta “tocada por” personalização é uma figura de vaidade.

Portfolio view

Role as regras em uma tabela de portfólio simples: valor incremental, custo total e veredicto por regra. A decisão de gestão que isso permite é poda — Retire as regras abaixo da linha, reinvesta nas regras acima dela. Um programa medido encolhe antes de crescer, e isso é um sinal de saúde, não de fracasso.

Efeitos de segunda ordem que vale a pena assistir

Alguns efeitos reais escapam a restrições de nível de regra: redução da fadiga na lista, alterações na taxa de cancelamento de inscrição, deflexão de tickets de suporte de educação mais direcionada. Acompanhe-os no nível do programa como evidência direcional. Raramente resgatam uma regra que falha em seu próprio domínio, mas podem romper laços.

Traduzir janelas de tempo para a linguagem financeira

Regras diferentes pagam de volta em relógios diferentes, e o relatório de ROI deve dizer isso. Um fluxo de recuperação de carrinho se instala dentro de dias; um ramo de integração mostra seu valor em retenção em escala de trimestre; um programa de conteúdo baseado em preferência pode levar um ano para se separar do ruído. Anexe um horizonte de retorno esperado a cada regra quando for lançado e relate regras contra seu próprio horizonte, em vez de contra o ciclo mensal do painel. Este único movimento de enquadramento impede as duas falhas políticas clássicas: matar regras de queima lenta por não pagar em um mês e deixar que os efeitos da novidade de rápida decadência se mascaram como vitórias duráveis porque ninguém remedido após o trimestre de lançamento.

Armadilhas que lisonjeiam os números

Attribution double-counting

Quando um cliente toca três fluxos personalizados antes de comprar, a ingenuidade que relata credita a compra completa a cada fluxo, e a receita reivindicada do programa excede a receita real da empresa. A incrementalidade baseada em Holdout evita isso em grande parte; os relatórios de regras de última hora não. Se o nível de regra reivindicado valor soma mais do que o crescimento total, os relatórios estão em algum lugar.

Sobrevivência em métricas de engajamento

Uma série personalizada pode mostrar taxas de abertura crescentes simplesmente porque os destinatários entediados cancelaram a inscrição ao longo do caminho. O engajamento entre os sobreviventes não é elevador. Ancora âncora nos resultados da coorte — O que aconteceu com todos os que entraram — Em vez de métricas calculadas sobre quem permaneceu.

O silencioso custo da arrepia

Uma regra pode ganhar sua suspensão de conversão enquanto levanta silenciosamente as queixas de spam ou cancelamento de inscrição entre as pessoas que ela não conseguiu. Inclua resultados negativos no scorecard de todas as regras, não apenas na métrica que foi construída para se mover. Compostos de dano de confiança fora da janela de medição.

Cherry-picked windows

Uma regra medida apenas durante o seu melhor mês — a temporada de férias para uma recomendação de presente, semana de lançamento para qualquer coisa — relata um teto como se fosse uma média. Padronizar janelas de medição em todo o portfólio, ou pelo menos anotar o resultado de cada regra com o período que cobre, de modo que a revisão trimestral se compara com o mesmo em vez de deixar cada regra enviar seu próprio movimento cambaleante.

Medindo onde os holdouts são difíceis: social orgânico

Personalização de nível de segmento em social — faixas de conteúdo distintas para públicos distintos — não pode randomizar os espectadores, então meça-o comparativamente em vez disso. Execute a faixa específica do público-alvo ao lado do seu conteúdo genérico para um ciclo completo e compare engajamento, tráfego de link e conversões a jusante por postagem entre as faixas; as filas rotuladas e análises por post em uma plataforma de gerenciamento social como SocialBlaze tornar este um exercício de relatório em vez de um projeto de pesquisa. É uma evidência mais fraca do que um holdout, então segure-o em uma barra mais alta: uma faixa deve superar o conteúdo genérico de forma clara e repetida, não marginalmente e uma vez, para justificar seu custo de produção contínuo.

O que é bom parece

Uma prática de medição saudável é chata: cada regra tem uma métrica declarada, um holdout sempre ligado ou uma janela de comparação agendada, uma linha de custo total, incluindo horas de conteúdo, e uma revisão de poda trimestral com dentes. As equipes que executam esse loop geralmente acabam com menos regras de personalização do que começaram e mais valor do que esperavam. — porque o esforço migra da manutenção da decoração para a escalação do punhado de regras que a matemática realmente defende.

Uma tarefa prática de início, se o seu programa nunca foi medido honestamente: escolha sua regra de personalização de maior volume, esculpe um reduto aleatório de seu público elegível esta semana, anote o custo métrico e trimestral total da regra em uma página e defina um lembrete de calendário para o final da janela de medição. O que quer que o primeiro veredicto limpo diga — e te surpreenderá em uma direção ou outra — você terá construído o modelo de todas as outras regras é executado através de, eo programa terá cruzado a linha que separa o valor acreditado do valor demonstrado. Tudo o resto neste artigo é aquele exercício, repetido.