Pruebas de Incrementalidad para Marketing

La atribución te indica qué puntos de contacto aparecieron cerca de las conversiones. La incrementalidad te dice qué puntos de contacto causaron conversiones que de otro modo no existirían. La brecha entre esas dos declaraciones puede ser enorme: un canal puede cosechar la demanda que estaba llegando de todos modos y parecer heroico en cada informe, o crear silenciosamente la demanda que otros canales afirman más adelante. La prueba es cómo se descubre qué historia es verdadera, y requiere coraje, porque el método es desactivar las cosas a propósito.

El problema contrafactual

Toda la medición de marketing lucha con una pieza de información que falta.

Por qué el crédito no es causalidad

Un cliente que hizo clic en su enlace puede haber estado en camino sin importar; el clic interceptó un viaje en lugar de comenzar uno. Esto es especialmente grave para los puntos de contacto dirigidos a personas que ya están cerca de la conversión: se sientan adyacentes a muchas conversiones precisamente porque se dirigen a convertidores probables. La atribución cuenta la adyacencia. Sólo un experimento cuenta la causalidad, porque sólo un experimento observa el mundo donde el punto de contacto estaba ausente.

La lógica del holdout

Dividir una población en grupos comparables, exponer uno a la comercialización y proteger al otro, a continuación, comparar los resultados. El rendimiento del grupo protegido estima el contrafactual, y la diferencia es la elevación incremental. Todo en el diseño de prueba existe para proteger una propiedad: que los grupos se habrían comportado idénticamente ausentes del tratamiento. Cuando eso se cumple, la aritmética es casi trivial; cuando falla, ninguna estadística puede rescatar el resultado.

Los principales diseños experimentales

Diferentes canales permiten diferentes diseños. Conoce el menú.

Experimentos geográficos

Divida los mercados en conjuntos coincidentes, ejecute la actividad en las regiones de prueba mientras la mantiene fuera de los controles y compare. Las pruebas de geolocalización no necesitan ningún seguimiento del usuario, lo que las convierte en el caballo de batalla de la medición de la era de la privacidad, y funcionan para casi cualquier cosa: un canal, un nivel de presupuesto, un empuje de contenido sostenido. Coincidencia de asuntos: par de regiones en los niveles de resultados históricos y tendencias, y dejar que un pre-período confirmar los pares se mueven juntos antes de que comience el tratamiento.

Audiencia y plataformas holdouts

Cuando una plataforma puede aleatorizar a individuos, puede ejecutar divisiones más limpias: un fantasma o un intento de tratar el holdout para una campaña, o suprimir un programa de audiencia retenida para una porción aleatoria de clientes. Los programas de correo electrónico y ciclo de vida son naturalmente adecuados para esto, ya que controla la lista de envío. La revelación clásica es descubrir cuánto un programa dirigido a los clientes existentes simplemente reorganiza las compras que estaban llegando de todos modos.

Diseños basados en el tiempo y apagón

Detener un canal por completo y observar la respuesta agregada es el instrumento más contundente: ningún grupo de control, por lo que la estacionalidad y el ruido contaminan la lectura. Se justifica principalmente cuando nada más es factible, mejorado al encender y apagar el canal en múltiples períodos en lugar de una vez, y fortalecido aún más al hacer la conmutación a través de regiones escalonadas, lo que lo convierte de nuevo en un diseño geográfico.

Diseñando una prueba que realmente concluirá

La mayoría de los experimentos fallidos estaban condenados en la etapa de diseño, no en la etapa de análisis.

Escribe la decisión antes de la prueba

Existe una prueba para cambiar una acción. Especifique con anticipación: la métrica primaria única, la elevación mínima que justificaría el costo del canal, la decisión tomada si la elevación borra esa barra y la decisión si no lo hace. Si ningún resultado cambiaría ningún comportamiento, cancele la prueba y ahorre el dinero. La preinscripción también evita que el post hoc hurgue en métricas secundarias para una historia halagadora.

Tamaño y duración honestamente

Los efectos pequeños en las métricas ruidosas necesitan muestras grandes y ventanas largas para detectar. Antes de lanzar, estime si su tráfico y volumen de conversión pueden resolver el tamaño del efecto que importa dentro de una duración tolerable; si no, pruebe una intervención más grande, una métrica de mayor volumen en sentido ascendente o acepte que esta pregunta no se puede responder en su escala en este momento. Una prueba con poca potencia es peor que ninguna, porque fabrica un nulo que suena seguro.

Proteger el grupo de control

La contaminación es el asesino silencioso: retargeting que se filtra en las regiones de retención, equipos de ventas que trabajan en el mercado de control de clientes potenciales, una campaña paralela que alguien lanzó a mitad de la prueba. Congele otros cambios importantes durante la ventana, informe a los equipos adyacentes y mantenga un registro de cualquier cosa inusual. El análisis solo puede ser tan limpio como la disciplina operativa que hay debajo.

Leer y actuar sobre los resultados

El análisis es una comparación de grupos, pero la interpretación tiene trampas.

Elevación, costo por resultado incremental e intervalos

Reporte el aumento absoluto, el costo por conversión incremental y el rango de incertidumbre alrededor de ambos. La cifra de costo por incremento es la que se debe llevar a las reuniones presupuestarias, ya que es directamente comparable a través de los canales de una manera que los costos informados por la plataforma nunca son. Intervalos amplios significan que la respuesta honesta es "probablemente positiva, medida de manera imprecisa", y decir eso genera más credibilidad que falsa precisión.

Los nulos son hallazgos

Una prueba bien impulsada que no muestra un aumento detectable es uno de los resultados más valiosos que puede producir el marketing: libera presupuesto. Resiste la respuesta inmune de la organización que ataca los resultados nulos en nombre de los canales queridos. El seguimiento correcto de un nulo sorprendente es la replicación o una prueba rediseñada, no el despido.

Generaliza con cuidado

Un resultado describe la condición probada: ese nivel de presupuesto, esa temporada, esa creatividad, esa audiencia. El levantamiento medido en un nivel de gasto no promete el mismo aumento al doble del gasto; la saturación es real. Trata cada resultado como un punto de calibración, idealmente alimentando un modelo de mezcla que interpola entre los puntos probados, en lugar de como una ley permanente.

Prueba de canales orgánicos y de contenido

El pensamiento incremental se extiende más allá de los medios pagados, con adaptaciones.

Diseños de geo y cadencia para redes sociales orgánicas

La publicación orgánica no puede ser aleatoria individualmente, pero puede ser variada: aumentar la profundidad de publicación y el esfuerzo de participación durante un período definido mientras se mantiene estable en otro lugar, o escalonar un nuevo formato de contenido en los mercados para audiencias específicas de la región. Medir la actividad editorial de manera consistente es el requisito previo, que es donde el historial de publicación y participación de una plataforma de gestión como SocialBlaze se convierte en el libro mayor de actividad del que lee su análisis. Debido a que los efectos orgánicos se acumulan lentamente, use ventanas más largas y espere primero un aumento en las métricas ascendentes: visitas de perfil, búsqueda de marca, suscripciones a boletines.

Pruebas de supresión para canales propios

Los boletines y los mensajes del ciclo de vida admiten verdaderos rechazos aleatorios: retenga el programa de un segmento de cliente aleatorio durante un trimestre y compare el comportamiento de retención y compra. Esta es la medida de incrementalidad más limpia en todo el marketing, y es casi gratuita, lo que hace que sea extraño lo rara que se ejecuta.

Una lista de verificación previa al lanzamiento

Antes de que cualquier prueba de incrementalidad se ponga en marcha, camina esta lista; casi todos los experimentos fallidos violaron uno de estos elementos, y cada elemento es barato de verificar por adelantado.

Verificaciones de diseño y decisión

La métrica primaria se escribe hacia abajo, y es una métrica. Se indica el efecto mínimo que vale la pena detectar, y una comprobación de energía dice que la prueba puede resolverlo dentro de la ventana planificada. La regla de decisión existe en ambas direcciones: lo que sucede en un resultado positivo y lo que sucede en un nulo. Alguien con autoridad presupuestaria ha acordado, por escrito, cumplir la regla, porque una prueba cuyo perdedor será religado después nunca fue realmente una prueba.

Controles operacionales

El grupo de control está realmente protegido: se configuran las exclusiones de retargeting, los equipos de ventas reciben información sobre las regiones de retención y no se programa ninguna campaña superpuesta en la ventana. La canalización de medición se verifica de extremo a extremo antes del lanzamiento, con datos de resultados que fluyen para ambos grupos con la misma latencia. Una comparación previa al período confirma que los grupos siguen juntos; si divergen antes de que comience el tratamiento, el emparejamiento falló y el lanzamiento de todos modos solo quema el calendario.

Higiene durante la carrera

Existe un registro para cualquier cosa inusual: interrupciones, cobertura de prensa, movimientos de competidores, eventos climáticos en pruebas geográficas. Las apariencias provisionales, si las hay, son para la cordura operativa en lugar de parar temprano, a menos que el diseño admita explícitamente el análisis secuencial. Y la fecha de finalización es honrada, no extendida en esperanza ni acortada en emoción, porque la ventana era parte del diseño y el diseño es lo que hace que el número signifique algo.

Dimensión del programa según el presupuesto que rija

El esfuerzo de prueba debe escalar con el gasto que informa. Un canal que consume una gran parte del presupuesto justifica un riguroso experimento geográfico con mercados emparejados y un pre-período; un canal menor solo puede merecer una lectura o inclusión aproximada en la próxima actualización del modelo de mezcla. La clasificación de los experimentos por presupuesto en juego, multiplicado por la incertidumbre sobre la efectividad de ese presupuesto, mantiene el programa apuntado a las decisiones que importan y lo protege de gastar su credibilidad en respuestas elegantes a preguntas pequeñas.

Construyendo el hábito de prueba

Un experimento responde a una pregunta; una cadencia de experimentos cambia la forma en que una organización piensa. Mantenga una acumulación de preguntas de medición clasificadas, ejecute las apuestas más altas una cada trimestre y publique los resultados internamente independientemente del veredicto, incluidos los incómodos. Emparejar el programa con el modelado de mezcla para que el anclaje causal de cada prueba mejore el modelo que guía la asignación entre pruebas. Espere resistencia cultural la primera vez que un canal favorito se muestre débil, y deje que el presupuesto liberado por ese hallazgo financie algo que funcione. Durante unos pocos ciclos, los argumentos en la planificación de reuniones cambian de carácter: menos adjudicación de cuyo tablero es correcto, más discusión de cuál debería ser la próxima prueba. Ese cambio, de las disputas de crédito a la curiosidad causal, es el verdadero retorno de las pruebas de incrementalidad.