O teste A/B é um experimento controlado e randomizado em que os visitantes são divididos aleatoriamente entre duas versões de uma página, e-mail ou recurso, o controle (A) e uma variante (B), e uma métrica definida de antemão é comparada para ver se a diferença entre elas é maior do que o acaso explicaria. É a forma padrão de saber se uma mudança causou uma melhoria, e não apenas coincidiu com ela.
O método é bem estabelecido em produtos online; o guia prático de Kohavi e colegas continua sendo uma referência padrão (Kohavi et al., "Controlled experiments on the web", Data Mining and Knowledge Discovery, 2009).
Como funciona o teste A/B
- Hipótese e métrica. Descreva a mudança, o efeito esperado e uma métrica principal, como a taxa de solicitação de demo.
- Randomização. Cada visitante é atribuído aleatoriamente a A ou B e permanece nele nas visitas seguintes, para que os grupos se diferenciem apenas pela mudança.
- Tamanho da amostra. Decida com antecedência quantos visitantes cada versão precisa, com base na taxa de referência, no menor aumento que vale a pena detectar (efeito mínimo detectável), no nível de significância e no poder estatístico.
- Rode. Deixe o teste atingir essa amostra, de preferência em semanas completas. Não pare antes porque um dos lados parece estar na frente.
- Analise. Compare as taxas. Um resultado é estatisticamente significativo a 5% quando, se realmente não houvesse diferença, uma diferença desse tamanho apareceria menos de 5% das vezes.
Duas configurações importam. O nível de significância (geralmente 5%, muitas vezes chamado de 95% de confiança) controla os falsos positivos. O poder (geralmente 80%) é a chance de detectar o efeito se ele for real; um teste com pouco poder geralmente termina em “sem resultado”.
Exemplo
Exemplo: uma página de demo converte 3%. Você quer detectar um aumento relativo de 20% (de 3,0% para 3,6%) com um teste bicaudal a 5% de significância e 80% de poder. A fórmula padrão para duas proporções é:
n por variante = [zα/2 x √(2 p̄(1 − p̄)) + zβ x √(p₁(1 − p₁) + p₂(1 − p₂))]² / (p₂ − p₁)²
- p₁ = 0,030, p₂ = 0,036, p̄ = 0,033, zα/2 = 1,96, zβ = 0,84
- Primeiro termo: 1,96 x √(2 x 0,033 x 0,967) = 1,96 x 0,2526 = 0,495
- Segundo termo: 0,84 x √(0,0291 + 0,0347) = 0,84 x 0,2526 = 0,213
- Numerador: (0,495 + 0,213)² = 0,501; denominador: 0,006² = 0,000036
- n ≈ 13.900 visitantes por variante, cerca de 27.800 no total
Com 2.000 visitantes por semana nessa página, o teste precisa de cerca de 14 semanas. Esse é o resultado útil: antes de construir qualquer coisa, você sabe que essa página não comporta um teste para um aumento de 20% em um prazo razoável, então você testa uma mudança mais ousada, usa uma página com mais tráfego ou lança e monitora. Você pode reproduzir o número com a nossa calculadora de teste A/B ou com a calculadora de tamanho de amostra de Evan Miller.
Teste A/B vs A/B/n vs multivariado
| A/B | A/B/n | Multivariado (MVT) | |
|---|---|---|---|
| O que varia | Um controle vs uma variante | Um controle vs. várias variantes | Vários elementos ao mesmo tempo, todas as combinações |
| Tráfego necessário | Mais baixa | Cresce a cada variante | Mais alta: o tráfego se divide entre todas as combinações |
| Respostas | B é melhor que A? | Qual de várias versões é a melhor? | Qual combinação de elementos funciona, e eles interagem entre si? |
| Indicado para | A maioria das páginas B2B | Títulos ou ofertas com tráfego real | Só páginas de alto tráfego |
O Nielsen Norman Group resume a contrapartida: testes multivariados servem para refinamentos incrementais em páginas de alto tráfego, enquanto testes A/B conseguem comparar designs radicalmente diferentes (NN/g, "Multivariate vs. A/B Testing").
Como times B2B usam testes A/B
- Testar o tamanho e o texto dos formulários de demo e de contato.
- Comparar propostas de valor e títulos em landing pages com muito tráfego.
- Validar a personalização: conteúdo específico do segmento vs. a página genérica, com um grupo de controle.
- Layout da página de preços e apresentação dos planos.
- Assuntos de e-mail e conteúdo de nutrição, quando o volume permitir.
Perguntas frequentes
Quanto tempo um teste A/B deve durar?
Até atingir o tamanho de amostra calculado antes do lançamento, e por pelo menos uma semana inteira, de preferência duas, para que todos os dias da semana estejam representados. Divida os visitantes necessários por variante pelo tráfego semanal por variante para estimar a duração. Se a resposta for vários meses, o teste não é viável do jeito que foi desenhado.
O que é um bom efeito mínimo detectável?
O menor aumento que valeria a pena colocar em prática, considerando o custo da mudança. Páginas B2B com pouco tráfego costumam precisar de um efeito mínimo detectável maior, muitas vezes de 20% relativo ou mais, para terminar em um prazo razoável. Efeitos menores podem ser reais, mas exigem muito mais tráfego, porque o tamanho da amostra cresce aproximadamente com o inverso do quadrado do efeito.
Dá para fazer teste A/B com pouco tráfego?
Sim, mas teste mudanças maiores, use a etapa do funil com mais tráfego e escolha uma métrica que aconteça com frequência, como cliques para a página de demo em vez de negócios fechados. Quando nem isso for rápido o bastante, faça a mudança com base em pesquisa e monitore o antes e o depois, aceitando que a evidência é mais fraca.
Relacionados
Planeje testes com o modelo de plano de teste A/B, leia o passo a passo mais aprofundado sobre tamanho de amostra de teste A/B e escolha um desenho de teste com teste A/B vs. teste multivariado. Para o processo mais amplo, veja otimização da taxa de conversão.