Teste A/B para email marketing: como começar

Teste A/B. A própria frase parece complicada e complexa, algo que realmente pode deixa para outro dia. Mas não precisa ser assim. As modernas ferramentas web para empresários, geralmente são equipadas com recursos que tornam o Teste A/B tão simples como programar uma campanha ou personalizar um modelo.

Embora existam todos os tipos de teste A/B para e-mail marketing que você pode executar – principalmente nas páginas do seu site – esta publicação se concentra em ajustar o que acaba na caixa de entrada de seus clientes.

Antes de começarmos com as 10 regras de teste A/B para e-mail marketing, vamos examinar os conceitos básicos do Teste A/B: o que é e como ele funciona.

O que é o teste A/B?

Imagine que você possua um restaurante e depois de alguns meses de receita estabilizada você está tentado a mudar seu menu para ver se tem um impacto nas vendas. Você cria um novo menu e em vez de apenas texto, você inclui cinco fotos dos itens mais vendidos. Essa é a única mudança – tudo mais sobre o menu permanece o mesmo. Em seguida, você faz 25 cópias do novo menu, colocando-as ao lado das 25 cópias do menu original de texto completo e, em seguida, divide seu café para que um lado obtenha o novo menu, e o outro receba o menu antigo.

Depois de dois dias, você calcula a receita e compara os dois lados, achando agradavelmente que os menus com as cinco imagens aumentaram 15% o ticket médio das mesas. Você tem um vencedor. Próxima parada: repetir.

Isso é um teste A/B. Você tem a variante “A” (o menu com texto apenas) e a variante “B” (o menu com as cinco imagens). A variante “A” também é frequentemente referida como o “controle” – a variante que você está usando e mantendo as estatísticas. Voltando ao exemplo acima, é só porque você conheceu as vendas históricas do menu de controle do seu café, que você conseguiu dizer com confiança que o novo menu de imagens aumentou as vendas em 15%.

Esse exemplo é um teste A/B em um café, provavelmente o último lugar que os profissionais de marketing da Internet pensariam em aplicar um teste A/B hoje. Você provavelmente está mais familiarizado com o teste da home page da sua empresa – alterando ligeiramente a cor da fonte, da imagem ou do call-to-action – com o objetivo de aumentar as inscrições ou pedidos de orçamento. Você também pode rodar teste A/B para e-mail marketing, e não é tão complicado ou trabalhoso quanto parece.

Como funciona um teste A/B para e-mail marketing.

Você pode estar pensando que rodar testes A/B com sua ferramenta de e-mail marketing é criar a campanha, segmentar um público, dispará-la e depois preparar a segunda campanha e selecionar um outro segmento a ser alvo. Mas a grande maioria das ferramentas de e-mail marketing hoje lida com essa tarefa sozinha – basta você selecionar a opção “quero disparar um teste A/B”, que deve existir em algum lugar no momento da criação da sua campanha.

Rodar um teste A/B para e-mail marketing demanda criar um pouco de texto extra para o corpo do e-mail, usar uma nova linha de assunto extra ou configurar um segundo e-mail e marcando como variante “B”. Depois de fazer isso, seu serviço de e-mail marketing cuida do resto.

10 regras de teste A/B para e-mail marketing:

Na sua documentação de teste A/B, o Campaign Monitor enfatiza que é melhor testar seus e-mails, quer visualizando uma pré-visualização ou enviando para si mesmo um e-mail da campanha.

“É muito importante testar e verificar erros de qualquer tipo antes de iniciar um teste A/B porque você não pode fazer nenhuma mudança na campanha quando um teste A/B está em andamento”, diz sua documentação. Com o Active Campaign, é um fácil para prestar atenção, pois antes de permitir que você envie os e-mails, eles mostram uma captura de tela da campanha.

Esta é uma boa regra a seguir quando estiver fazendo um teste A/B, mas não é a única. Aqui estão as 10 regras de teste A/B para e-mail marketing que você deve considerar antes de soltar o seu próprio teste.

1) Saiba o que você está testando e o porquê.

O que você está tentando melhorar em seus e-mails marketing? Pergunte a si mesmo essa pergunta simples antes de prosseguir. A Polímatas, gostaria de aumentar a taxa de cliques em seus e-mails semanais. Se atingir esses objetivos, provavelmente terá mais visitas nas páginas do blog. Então, o “o que” é aumentar as taxas de abertura e clique, e o “porquê” é aumentar o número de visitas em nosso site.

Para a pergunta “o que você está testando”, você tem duas opções – cada uma foi mencionada no parágrafo anterior, mas vamos defini-las claramente:

Taxa de abertura: Esta estatística informa quantos de seus assinantes abrem um e-mail específico. É expresso como uma porcentagem e calculado dividindo o número de e-mails abertos pelo número de e-mails enviados menos o número de e-mails rejeitados, o que significa que o e-mail do assinante não é mais válido. Uma taxa de abertura de 30%, por exemplo, significaria que se 102 e-mails forem enviados e 2 rejeitados, 30 foram abertos.

Preste atenção à taxa de abertura quando estiver testando linhas de assunto, nomes de remetentes e antevisão de mensagens. O título de e-mail marketing é responsável por 80% do motivo de abertura.

Taxa de cliques: Olhe para este número para saber quantos de seus inscritos clicaram em um link em seu corpo de seu e-mail para visitar um site. Esse número também é expresso como uma porcentagem e é calculado dividindo o número de assinantes que clicaram em um link pelo número de e-mails enviados menos o número de e-mails rejeitados.

Alguns softwares de e-mail marketing oferecem um passo adiante no quesito de teste A/B para e-mail marketing e otimizam um link específico. Isso pode ser útil se você tiver vários links, como um link de texto na introdução e um link de botão na parte inferior, para a mesma página de destino – agora você pode ver qual link é mais eficaz. Se o seu serviço de e-mail marketing não oferecer esse recurso, confie no Google Analytics para lhe dizer qual o link que obtém o maior número de cliques, fornecendo cada link parâmetros UTM exclusivos.

Preste atenção à taxa de cliques quando você está testando texto para sua chamada à ação e botões junto com o texto no corpo do e-mail.

Por que você está rodando testes?

Para a pergunta “por que você está testando”, aí é contigo e sua empresa. Uma taxa de clique mais alta em uma chamada para ação em seu e-mail de onboarding pode significar uma receita mais alta no próximo trimestre. Uma melhor taxa de abertura de seus e-mails pode se transformar em uma contagem de usuários ativos mais alta, levando a mais comentários sobre o seu produto.

Também é importante certificar-se de que a métrica realmente melhore seu negócio se for influenciada. Ou seja, se não houver correlação entre mais e-mails abertos e/ou mais clicados e algum resultado positivo em seu negócio, talvez você precise pensar na sua estratégia de e-mail marketing.

Pergunte-se também o que você gostaria de aprender com seus testes. Esta lista de resultados oferecidos pelo Campaign Monitor em um estudo de caso de teste A/B oferece algumas ótimas perguntas para começar:

• Os assuntos longos ou curtos funcionam melhor para o meu público?
• Incluir um número no assunto faz com que meu público abra mais os e-mails?
• A personalização da linha de assunto funciona para o meu público?
• Devo colocar o assunto como uma pergunta ou como uma frase?

Não importa o objetivo, apenas certifique-se de identificá-lo no início do teste. Veja os padrões por indústria para taxas abertas e de clique no relatório “E-mail Marketing Benchmarks” do MailChimp.

2) Concentre-se em e-mails enviados com frequência.

Aguarde, você deseja fazer um teste A/B com seu e-mail de “Boas festas!”? Pense novamente: você aguardará 12 meses até que você possa colocar seus resultados em prática.

O teste A/B funciona melhor para o aperfeiçoamento de e-mails enviados com frequência –  nossos e-mails frequentes incluem nosso resumão semanal e os e-mails de onboarding. Enviamos milhares desses e-mails mensalmente; se podemos aumentar a taxa de abertura ou clique em apenas 5%, é uma grande vitória.

Então, de volta a essa ideia de votos de felicidades de festas, com certeza você pode enviá-lo para sua lista de e-mails completa de 55.000 endereços, mas o que você vai fazer com os resultados? Os serviços de e-mail e os clientes mudam com tanta frequência que é improvável que o que você aprenda possa ser aplicado ao que você enviar no ano que vem.

O desafio-chave com e-mails frequentes é garantir que os tamanhos de amostra sejam suficientes para a mudança que você está tentando fazer.

3) Divida sua lista aleatoriamente.

Se o seu software de e-mail marketing não oferecer testes A/B ,ou queira rodar um teste manual por conta própria, lembre-se de dividir seus inscritos aleatoriamente. Uma maneira de fazer isso é baixar sua lista como um CSV e ordená-los aleatoriamente usando o Excel. Ou você pode simplesmente ordená-lo ordem alfabética com qualquer software de planilha, dividindo a partir daí. Felizmente, a maioria dos aplicativos de e-mail marketing irá lidar com este passo para você.

Por que isso? Não divida seu público em categorias, como sexo, localização, dispositivos, entre outros parâmetros. A menos que você queira testar de propósito a receptividade deles com seu e-mail, mas aí deixa de ser um teste A/B.

4) Faça alterações bruscas.

O pior ponto com o teste A/B para e-mail marketing em geral é ter um tamanho de amostra suficientemente grande e relevante. No entanto, existe um atalho que pode ser aplicado para remediar este problema.

Quanto maior a diferença entre os e-mails, menor será o tamanho da amostra. Portanto, teste variantes altamente divergentes. Por exemplo, e-mails em texto simples versus HTML, ou “um link proeminente” versus “tudo é um link”. Apenas tente entender onde que mais altera a eficácia dos seus e-mails antes de fazer aqueles testes muito sutis se sua lista é pequena.

5) Teste apenas duas variantes.

Como o tamanho da amostra é o nosso maior desafio, queremos evitar coisas que irão explodir o número de participantes necessários. Os requisitos de tamanho de amostra aumentarão à medida que forem adicionadas variantes, portanto, a menos que esteja testando consistentemente mais de 100.000 em cada variante, mantenha em duas variantes.

6) Aguarde de 4 a 5 dias.

Na nossa experiência, o efeito de um único e-mail diminui acentuadamente, perdendo-se ao redor do dia 3 a 5 depois de ser enviado. Se o seu e-mail não tiver efeito após 5 dias de espera, não é provável que tenha alguma diferença significativa. 4 a 5 dias é uma boa regra de ouro, caso contrário você pode destruir sua experiência.

7) Verifique se os resultados são estatisticamente significativos.

Você dispara seu teste A/B para seus 65 mil assinantes e, na volta, descobre que 5.400 abriram a versão “A” e 5.500 deles abriram a versão “B”. B é o vencedor, certo? Não tão rápido.

O melhor passo para verificar se seus resultados são estatisticamente significativos é usar uma das muitas calculadoras gratuitas online. A Resultados Digitais possui uma ótima calculadora de resultados de testes A/B para e-mail marketing.

8) Certifique-se de que é um efeito significativo.

A relevância estatística é uma declaração sobre a repetibilidade do seu resultado, não a medida em que ele impacta seu negócio. É muito importante se perguntar, esta mudança realmente afetará um aspecto do negócio que você se preocupa? É possível ter significância estatística sem ter um efeito real em seu negócio. Isso pode significar novas landing pages com maior relevância para os clientes ou um melhor UX na página de destino.

9) Atue sobre seus resultados.

E a calculadora de estatística diz … “sim”, seus resultados são estatisticamente significativos. Além disso, eles são significativos porque você teve o cuidado de verificar que eles poderiam estar à frente do tempo. Ponto! Como esperamos que suas variantes fossem divergentes, você pode ter aprendido algo grande sobre e-mail marketing.

Agora sugerimos tentar replicar o experimento para ver se o efeito é repetível. Se você chegar a este ponto, você realmente chegou em alguma coisa. Você pode trazer sua variante divergente para o padrão – este é agora o seu “campeão”. Agora, repita com um novo “desafiante” que é novamente divergente para o novo campeão. Você está no caminho.

10) Faça um teste A/B novamente.

O comportamento do cliente nunca para de mudar, nem o hábito de rodar teste A/B para e-mail marketing deve ser parado. Se você aumentou sua taxa de cliques, desafie-se a aumentar sua taxa de abertura. Se você bateu sua taxa aberta com um assunto melhor, considere alterar a visualização da mensagem. Se a visualização da sua mensagem for aperfeiçoada, altere o remetente; e assim por diante.

A lição aqui é não se contentar com um teste A/B vencedor (ou perdedor) e achar que você já está no topo. Sem contar que, pode ser interessante para seus assinantes verem alguma mudança em seus e-mails de vez em quando, só para respirarem um ar fresco.

Se você dispara e-mails com frequência, você deve criar uma identidade de marca para e-mail marketing e fortalecer sua marca e conversão das suas mensagens.