Guia completo de testes A/B

Por que testar e por que a maioria dos testes mente

Opiniões sobre e-mail são baratas e confiantes; o público é a única autoridade. O teste substitui o debate por evidências, mas somente quando a mecânica é sólida. A maioria dos “aprendizado” circulando nas equipes de marketing vem de testes com pouca potência em listas minúsculas, julgados por métricas abertas infladas e nunca replicados, ou seja, do ruído. O propósito deste guia é protegê-lo de conclusões falsas, assim como encontrar as verdadeiras.

O que os testes podem e não podem responder

Os testes A/B respondem a perguntas comparativas estreitas: a variante B bateu a variante A para esse público, esse conteúdo, esse momento. Eles não revelam o porquê, eles generalizam imperfeitamente para outros contextos, e eles não podem resgatar uma estratégia fraca, a versão mais bem testada de um e-mail que ninguém precisa ainda é um e-mail que ninguém precisa. Testes em pares com julgamento sobre o que vale a pena testar.

A hierarquia do impacto

Variáveis diferem enormemente em alavancagem. Ofertas e seleção de público mover resultados mais; estrutura de mensagens e estrutura de conteúdo vêm em seguida; linhas de assunto são relevantes significativamente; cores de botão e fraseado menor raramente importam. Um programa de testes que gasta seu orçamento estatístico limitado no topo dessa hierarquia aprende mais por mês do que uma trívia de polimento.

Projetando um único teste honesto

Comece a partir de uma hipótese, não de um capricho

Uma hipótese útil nomeia a mudança, o efeito esperado e o raciocínio: “Liderar com a história do cliente em vez da lista de recursos aumentará os cliques, porque nossas respostas mostram que os prospects confiam nos pares sobre as reivindicações.” Escrevendo-o antes do envio impede a racionalização pós-hoc que transforma todos os resultados em uma confirmação.

Isolate one variable

Se as variantes diferem em assunto, imagem do herói e oferta simultaneamente, um vencedor não ensina nada reutilizável. Mude um elemento por teste. Quando você realmente precisa comparar abordagens inteiras, dois e-mails completamente diferentes, execute-o como um teste de estratégia e aceite que você aprende qual pacote ganhou, não qual ingrediente.

randomize corretamente e envie simultaneamente

As variantes devem ir para fatias aleatoriamente atribuídas da mesma audiência ao mesmo tempo. Testes A na segunda-feira e B na quinta-feira testam dias, não variantes; testes A em um segmento e B em outros segmentos de testes. A ferramenta dividida da sua plataforma lida com isso corretamente se você permitir.

Tamanho da amostra, significado e decisão

Tamanho do teste antes de enviar

Pequenas diferenças exigem grandes amostras para detectar de forma confiável. Antes do teste, use qualquer calculadora padrão de tamanho de amostra com sua taxa de referência e a diferença mínima que você gosta; se sua lista não puder suportar detectá-la, teste algo com um efeito esperado maior em vez de fingir. Executar os números depois não corrige um design subpoderoso.

Escolha a métrica de decisão com antecedência

Escolha a métrica mais próxima do valor comercial que seu volume pode suportar: cliques para testes de conteúdo, conversões ou receita para testes de oferta. As aberturas são comprometidas por pré-busca automatizada e raramente devem decidir nada sozinhas. Declarar a métrica antecipadamente exclui a tentação de coroar qualquer número que aconteceu de se mover.

Paradas e paradas prematuras

Verificar os resultados por hora e parar quando uma variante avança é como a flutuação aleatória é certificada como insight. Corrigir a duração do teste ou amostra com antecedência, deixá-lo completar e aplicar um padrão de significância consistente. Para a divisão de assunto comum que envia automaticamente o vencedor para o restante, entenda que o vencedor inicial é medido em um sinal parcial rápido, use-o para grandes envios, mas não arquive seus veredictos como verdade.

O que testar, em ordem prioritária

Testes de audiência e oferta

As alavancas mais pesadas: qual segmento recebe a campanha, incentivo versus nenhum, enquadramento de desconto versus enquadramento de valor, prazo versus aberto. Estes testes tocam diretamente a receita e muitas vezes produzem diferenças grandes o suficiente para listas modestas para detectar, e é exatamente por isso que eles devem vir em primeiro lugar e geralmente vêm em último lugar na prática.

Message architecture tests

História longa versus anúncio curto, editorial de coluna única versus grade de produtos, uma chamada à ação versus vários, texto simples sentir versus modelo projetado. Os testes de arquitetura remodelam a forma como os futuros e-mails são construídos, de modo que cada veredicto paga dividendos em cada envio subsequente.

Component tests

Assuntos e preheaders, linhas de abertura, cópia do botão, enviar tempo, formatos de nome do remetente. Vale a pena testar continuamente a baixo esforço, com a ressalva de que os efeitos são menores e exigem mais volume; lote o aprendizado em vários envios, em vez de esperar que uma campanha resolva qualquer coisa.

De testes a um programa de testes

Mantenha um registro de decisão

Cada teste recebe um registro: hipótese, variantes, público, datas, amostra, métrica, resultado, decisão. O log é a memória da instituição, impedindo retestes de questões resolvidas, expondo quando um vencedor antigo merece uma revanche sob novas condições e integrando novos membros da equipe no que esse público já disse não.

Replicar antes de canonizar

Um único resultado significativo é uma verdade candidata. Re-executar vencedores significativos em uma nova campanha antes de atualizar modelos e playbooks; efeitos que desaparecem na replicação foram sorte ou contexto. A regra de duas vitórias filtra a doutrina mais falsa ao custo de um pouco de paciência.

Divulgue aprendizagens verificadas em todos os canais

Um enquadramento que ganha de forma confiável no e-mail é um forte candidato para landing pages, anúncios e ganchos sociais orgânicos. Equipes que encaminham ângulos vencedores para seu fluxo de trabalho de agendamento social, através de uma plataforma como o agendador de redes sociais do SocialBlazeMultiplique o retorno em cada teste, e às vezes a direção emprestada flui para o outro lado, de um post que superou a um e-mail que vale a pena construir em torno dele.

Armadilhas comuns e como contornar elas

The novelty bounce

Qualquer mudança visível pode brevemente levantar o engajamento simplesmente por ser diferente, um solavanco que desaparece à medida que o público se acostuma. Sempre que possível, julgue as mudanças estruturais em vários envios em vez de um, e trate o entusiasmo da semana um para redesenhar com suspeita.

Segment-blind averages

Uma variante pode ganhar no geral, enquanto perde mal com o seu segmento mais valioso, novos assinantes e clientes fiéis muitas vezes preferem coisas opostas. Leia os resultados divididos por segmentos-chave antes de lançar um vencedor para todos, e estar disposto a manter diferentes padrões para audiências genuinamente diferentes.

Testing as procrastination

Um calendário cheio de micro-testes pode substituir o trabalho mais árduo de melhores ofertas, melhores listas e melhor conteúdo. Auditar o programa trimestralmente: o que os testes mudaram sobre como operamos e o que essas mudanças ganharam? Uma prática de teste que não pode responder é otimizar a camada errada do negócio.

Testes para além da campanha única

Grupos de Holdout para perguntas de nível de programa

Algumas perguntas que nenhuma divisão de campanha pode responder: a newsletter aumenta a frequência de compra, a série de retorno realmente retém receita, a cadência maior queima a lista. Estes precisam de esperas permanentes, uma pequena fatia da audiência isenta do tratamento por meses, em comparação com os resultados dos negócios. Os holofotes parecem caros até a primeira vez que se revela um programa amado não fazendo nada.

Testes sequenciais em envios

Os remetentes de baixo volume podem acumular evidências em vez de forçar veredictos de campanhas individuais: executar a mesma hipótese em quatro ou cinco envios consecutivos, alternando a atribuição e lendo o resultado combinado. Mais lento, mas real, e muito melhor do que a alternativa comum de testes de um tiro com pouco poder alimentando um documento folclórico.

Efeitos de temporada e contexto

Um vencedor coroado na época tranquila pode perder durante as semanas de promoção de pico, quando as caixas de entrada e a intenção se transformam. Data de cada resultado, re-teste campeões quando o contexto muda, e tratar resultados conflitantes ao longo das estações não como ruído, mas como uma descoberta: o público se comporta de forma diferente por período, eo calendário deve também.

Testes de orçamento como um portfólio

Alocar a capacidade de teste da maneira como um investidor aloca fundos: a maior parte do volume para otimizações seguras de abordagens comprovadas, uma fatia significativa para apostas estruturais ousadas e uma pequena reserva para ideias genuinamente estranhas que podem reformular o programa. Portfólios seguros aprendem devagar; os mais ousados viram o público. Reveja a mistura trimestralmente juntamente com os resultados, porque a proporção certa muda à medida que o programa amadurece e as vitórias fáceis são colhidas.

Saiba quando não testar

Alguns envios devem enviar não testados: comunicações de crise, anúncios críticos de tempo, segmentos minúsculos onde as divisões são ruído puro e qualquer coisa onde o custo de uma variante perdedora excede o valor do aprendizado. Um programa disciplinado é definido tanto pelos testes que ele declina quanto os que ele executa, e escrever os critérios de isenção para baixo impede tanto o excesso de testes do sagrado quanto o sub-teste do confortável.

Tornando impossível ignorar resultados

Um teste que ninguém ouve sobre mudanças nada. Feche cada experimento com um resumo de três linhas, o que acreditamos, o que aconteceu, o que estamos fazendo de forma diferente, postado onde a equipe planeja campanhas. O ritual mantém o programa honesto sobre sua própria utilidade e converte constantemente o teste do hobby de um especialista em como a equipe pensa.

Execute menos testes, projete-os corretamente, replique os vencedores e diga a todos o que aprendeu. Um programa com esses quatro hábitos acumula conhecimento real sobre seu público a cada trimestre, que é o ponto principal, não um troféu de resultados significativos, mas uma equipe que continua ficando mais difícil de enganar.