Maioria dos testes A/B não produz resultados significativos

Parem as máquinas porque a maioria dos testes A/B não produz resultados significativos. É o que revela estudo da Econsultancy e da Red Eye. O levantamento indica que embora experimentar seja parte crucial da mídia e do marketing, muitos testes internos não produzem efeitos tangíveis.

O estudo mostra que cerca de dois terços dos profissionais de marketing usam testes A/B para melhorar as taxas de conversão e otimizar páginas de destino de anúncios. E os editores usam testes A/B para personalizar conteúdo para usuários e encontrar manchetes e imagens que direcionem melhor o tráfego.

Embora o teste A/B seja comum nas áreas de Marketing e Conteúdo, a maioria dos testes A/B não consegue produzir resultados estatisticamente significativos. De acordo com a pesquisa feita com 3,9 mil profissionais em todo o mundo por UserTesting, menos de 20% dos entrevistados relataram que seus testes A/B produzem resultados significativos 80% do tempo.

Uma análise similar da Appsumo concluiu que apenas um de cada oito testes A/B leva a mudanças significativas. Embora muitos testes A/B não produzam resultados significativos, seria irresponsável para os profissionais de marketing eliminá-los de seus planos, de acordo com John Donahue, diretor de produto da plataforma programática Sonobi. Segundo ele, os benefícios do teste A/B são inegáveis. “Desenvolver qualquer projeto criativo requer muitos pressupostos e o teste A/B permite que você remova esses pressupostos”, avalia.

Em alguns casos, testes A/B para recursos de chamada para ação e manchetes de anúncios podem economizar 40% do orçamento de mídia em plataformas de anúncios como o Facebook, de acordo com Donahue. Parte da razão pela qual o publicador Ranker é capaz de ganhar dinheiro com a compra de tráfego fora do Facebook é porque ele frequentemente testa o objetivo da audiência que pode atingir a um preço baixo.

Claro, não seria realista esperar que cada teste A/B gere resultados significativos. E, de acordo com a forma como os cientistas aprendem com as experiências erradas, os profissionais de marketing podem aprender com os testes A/B que não renderam nada.

Enquanto alguns testes falham devido a um design inadequado é o tráfego de amostragem que está alimentando o teste, muitas vezes não suficientemente grande para levar a evidências conclusivas, de acordo com Mani Gandham, CEO do conteúdo da empresa de marketing Instintiva.

Gandham aponta que se o tamanho da amostra do teste não for adequadamente colocado em contexto, profissionais da área podem acabar com experiências que “geram resultados bastante difusos, e uma pequena diferença relativa no desempenho pode ser facilmente confundida com um sinal claro”.