Testes de Incrementalidade para Marketing

A atribuição diz-lhe quais pontos de contacto apareceram perto de conversões. A incrementalidade diz quais pontos de contato causaram conversões que de outra forma não existiriam. A diferença entre essas duas declarações pode ser enorme: um canal pode colher a demanda que estava chegando de qualquer maneira e parecer heróico em cada relatório, ou criar silenciosamente a demanda que outros canais reivindicam mais tarde. Testar é como você descobre qual história é verdadeira, e isso requer coragem, porque o método é desligar as coisas de propósito.

The Counterfactual Problem

Toda a medição de marketing luta com uma informação que falta.

Por que o crédito não é causa

Um cliente que clicou no seu link pode ter estado a caminho independentemente; o clique interceptou uma viagem em vez de iniciar uma. Isto é especialmente grave para pontos de contato destinados a pessoas já próximas de converter: elas ficam ao lado de muitas conversões precisamente porque visam conversores prováveis. A atribuição conta adjacência. Apenas um experimento conta a causação, porque apenas um experimento observa o mundo onde o ponto de contato estava ausente.

A lógica do holdout

Divida uma população em grupos comparáveis, exponha um ao marketing e proteja o outro, depois compare os resultados. O desempenho do grupo blindado estima o contrafactual, e a diferença é o aumento incremental. Tudo no projeto de teste existe para proteger uma propriedade: que os grupos teriam se comportado de forma idêntica ausente do tratamento. Quando isso acontece, a aritmética é quase trivial; quando falha, nenhuma estatística pode resgatar o resultado.

Os principais projetos experimentais

Canais diferentes permitem diferentes designs. Conheça o menu.

Geographic experiments

Divida os mercados em conjuntos combinados, execute a atividade em regiões de teste, mantendo-a fora de controle e compare. Os testes geo não precisam de rastreamento de usuários, o que os torna o cavalo de trabalho da medição da era da privacidade, e eles trabalham para quase qualquer coisa: um canal, um nível de orçamento, um impulso de conteúdo sustentado. Assuntos correspondentes: par regiões em níveis de resultados históricos e tendências, e deixe um pré-período confirmar os pares se movem juntos antes do início do tratamento.

Audiência e plataformas de espera

Onde uma plataforma pode randomizar indivíduos, você pode executar divisões mais limpas: um fantasma ou intenção de tratar a espera para uma campanha, ou suprimir um programa de audiência retida para uma fatia aleatória de clientes. Programas de e-mail e ciclo de vida são naturalmente adequados para isso, uma vez que você controla a lista de envio. A revelação clássica é descobrir o quanto um programa destinado a clientes existentes simplesmente reorganiza as compras que estavam chegando de qualquer maneira.

Designs baseados no tempo e blackout

Pausar um canal inteiramente e observar a resposta agregada é o instrumento mais contundente: nenhum grupo de controle, então a sazonalidade e o ruído contaminam a leitura. Justifica-se principalmente quando nada mais é viável, melhorado ao ligar e desligar o canal em vários períodos, em vez de uma vez, e reforçado ainda mais ao fazer a comutação em regiões escalonadas, o que o transforma em um design geo.

Um teste que realmente concluirá

A maioria dos experimentos fracassados foram condenados na fase de projeto, não na fase de análise.

Escreva a decisão antes do teste

Existe um teste para mudar uma ação. Especifique com antecedência: a métrica primária única, o elevador mínimo que justificaria o custo do canal, a decisão tomada se o elevador limpar essa barra e a decisão se não o fizer. Se nenhum resultado mudar qualquer comportamento, cancele o teste e economize o dinheiro. O pré-registro também impede que o pós-hoc se espreite através de métricas secundárias para uma história lisonjeira.

Tamanho e duração honestamente

Pequenos efeitos em métricas barulhentas precisam de grandes amostras e janelas longas para detectar. Antes de lançar, estime se o seu volume de tráfego e conversão pode resolver o tamanho do efeito que importa dentro de uma duração tolerável; se não, teste uma intervenção maior, uma métrica de maior volume a montante, ou aceite que esta questão é irrespondível em sua escala agora. Um teste com pouco poder é pior do que nenhum, porque fabrica um nulo de som confiante.

Proteger o grupo de controle

A contaminação é o assassino silencioso: retargeting que vaza para regiões de espera, equipes de vendas que trabalham líderes de mercado de controle, uma campanha paralela que alguém lançou no meio do teste. Congelar outras grandes mudanças durante a janela, informar equipes adjacentes, e manter um registro de qualquer coisa incomum. A análise só pode ser tão limpa quanto a disciplina operacional por baixo dela.

Leitura e Atuação nos Resultados

A análise é uma comparação de grupos, mas a interpretação tem armadilhas.

Custo por resultado incremental e intervalos

Relate o levantamento absoluto, o custo por conversão incremental e a faixa de incerteza em torno de ambos. O valor custo por incremento é o que deve ser levado a reuniões orçamentárias, porque é diretamente comparável entre os canais de uma forma que os custos relatados pela plataforma nunca são. Intervalos amplos significam que a resposta honesta é “provavelmente positiva, medida imprecisamente”, e dizer isso constrói mais credibilidade do que falsa precisão.

Nulls are findings

Um teste bem-powered mostrando nenhum elevador detectável está entre os resultados mais valiosos que o marketing pode produzir: ele libera o orçamento. Resista à resposta imune organizacional que ataca resultados nulos em nome dos canais amados. O seguimento correto para um nulo surpreendente é replicação ou um teste redesenhado, não demissão.

Generalize carefully

Um resultado descreve a condição testada: esse nível de orçamento, essa temporada, esse criativo, esse público. O elevador medido em um nível de gasto não promete o mesmo elevador com o dobro do gasto; a saturação é real. Tratar cada resultado como um ponto de calibração, idealmente alimentando um modelo de mistura que interpola entre pontos testados, e não como uma lei permanente.

Testes de canais orgânicos e de conteúdo

O pensamento de incrementalidade se estende além da mídia paga, com adaptações.

Geo e cadência desenhos para organic social

A postagem orgânica não pode ser aleatória individualmente, mas pode ser variada: aumente a profundidade da postagem e o esforço de engajamento por um período definido, mantendo-se estável em outro lugar, ou escale um novo formato de conteúdo em todos os mercados para públicos específicos da região. A atividade de medição de publicação consistentemente é o pré-requisito, que é onde o histórico de postagem e engajamento de uma plataforma de gerenciamento como SocialBlaze torna-se o livro de atividades do qual sua análise lê. Porque os efeitos orgânicos se acumulam lentamente, use janelas mais longas e espere levantar em métricas upstream primeiro: visitas de perfil, pesquisa de marca, inscrições de boletins informativos.

Testes de supressão para canais próprios

Newsletters e mensagens de ciclo de vida suportam verdadeiros bloqueios aleatórios: reter o programa de uma fatia aleatória de cliente por um quarto e comparar o comportamento de retenção e compra. Esta é a medida de incrementalidade mais limpa em todo o marketing, e é quase gratuita, o que torna estranho o quão raramente é executada.

A Pre-Launch Checklist

Antes de qualquer teste de incrementalidade entrar em operação, caminhe nesta lista; quase todos os experimentos fracassados violaram um desses itens, e cada item é barato para verificar com antecedência.

Verificação de projeto e decisão

A métrica primária é anotada e é uma métrica. O efeito mínimo que vale a pena detectar é indicado, e uma verificação de potência diz que o teste pode resolvê-lo dentro da janela planejada. A regra de decisão existe em ambas as direções: o que acontece em um resultado positivo e o que acontece em um nulo. Alguém com autoridade orçamentária concordou, por escrito, em honrar a regra, porque um teste cujo perdedor será relitigado depois nunca foi realmente um teste.

Operational checks

O grupo de controle é genuinamente blindado: exclusões de redirecionamento configuradas, equipes de vendas informadas sobre regiões de espera e nenhuma campanha sobreposta agendada na janela. O pipeline de medição é verificado de ponta a ponta antes do lançamento, com os dados de resultados fluindo para ambos os grupos com a mesma latência. Uma comparação pré-período confirma que os grupos se acompanham; se eles divergem antes do início do tratamento, a correspondência falhou e o lançamento, de qualquer maneira, queima o calendário.

Higiene durante a corrida

Existe um log para qualquer coisa incomum: interrupções, cobertura da imprensa, movimentos de concorrentes, eventos climáticos em testes geo. A aparência provisória, se houver, é para a sanidade operacional, em vez de parada precoce, a menos que o projeto suporte explicitamente a análise sequencial. E a data final é honrada, não estendida na esperança ou encurtada em excitação, porque a janela fazia parte do design e o design é o que faz o número significar algo.

Tamanho do programa para o orçamento que governa

O esforço de teste deve ser dimensionado com os gastos que informa. Um canal que consome uma grande parte do orçamento justifica um rigoroso experimento geo com mercados combinados e um pré-período; um canal menor só pode merecer uma leitura ou inclusão on-off áspera na próxima atualização do modelo de mistura. A classificação de experiências pelo orçamento em jogo, por vezes a incerteza sobre a eficácia desse orçamento, mantém o programa apontado para decisões que importam e protege-o de gastar sua credibilidade em respostas elegantes para pequenas perguntas.

Construindo o Hábito de Teste

Um experimento responde a uma pergunta; uma cadência de experimentos muda a forma como uma organização pensa. Mantenha um backlog de questões de medição, execute as apostas mais altas um a cada trimestre e publique resultados internamente, independentemente do veredicto, incluindo os desconfortáveis. Emparelhe o programa com modelagem de mistura para que a âncora causal de cada teste melhore o modelo que orienta a alocação entre os testes. Espere resistência cultural na primeira vez que um canal favorito testar fraco, e deixe o orçamento liberado por esse encontrar financiar algo que funcione. Ao longo de alguns ciclos, os argumentos no planejamento de reuniões mudam de caráter: menos julgamento de cujo painel está certo, mais discussão sobre qual deve ser o próximo teste. Essa mudança, de disputas de crédito para curiosidade causal, é o retorno real sobre os testes de incrementalidade.