Como a calculadora funciona
A aba de tamanho de amostra usa a fórmula padrão para comparar duas taxas de conversão com um teste z bicaudal de duas proporções:
n por variante = [ zα/2 × √(2p̄(1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
- p1 é a sua taxa de conversão de base para a página e o objetivo exatos que você está testando.
- p2 é a taxa base multiplicada por (1 + efeito mínimo detectável).
- p̄ é a média de p1 e p2.
- zα/2 é 1,96 com 95% de confiança, e zβ é 0,84 com 80% de poder.
Com mais de uma variante, a calculadora divide o alfa pelo número de comparações com o controle (uma correção de Bonferroni), o que mantém a taxa geral de falsos positivos no nível de confiança escolhido. Nosso guia de tamanho de amostra para teste A/B explica a fórmula passo a passo, com tabelas para taxas de conversão B2B comuns.
Exemplo prático
Números ilustrativos: uma página de solicitação de demonstração converte 3% e recebe 2.000 visitantes por semana. Você quer saber se um novo título aumenta a conversão em pelo menos 20%, então p2 é 3,6%. A calculadora retorna cerca de 13.900 visitantes por variante, 27.800 no total, o que equivale a 14 semanas de tráfego. Essa é a resposta honesta para muitas páginas B2B, e é por isso que a ferramenta sinaliza qualquer teste com duração maior que um trimestre.
Três formas de reduzir a duração: testar uma mudança mais ousada e elevar o efeito mínimo detectável para 30% ou mais, medir um evento mais frequente, como cliques para a página de demo, ou rodar o teste em uma página de maior tráfego. Se você está escolhendo entre um teste A/B e um teste de vários elementos ao mesmo tempo, leia primeiro teste A/B vs teste multivariado, porque testes multivariados precisam de muito mais tráfego.
Como ler um resultado de significância
A aba de significância compara dois braços já concluídos. Suponha que o controle teve 5.000 visitantes e 150 conversões (3,0%) e a variante, 5.000 visitantes e 190 conversões (3,8%). O aumento relativo é de 26,7%, o p-valor é de cerca de 0,027 e o intervalo de confiança de 95% da diferença vai de cerca de 0,1 a 1,5 ponto percentual. O resultado é significativo, mas o intervalo é amplo: o aumento real pode ser pequeno. Trate o aumento medido como uma estimativa que tende para cima, especialmente quando o teste foi interrompido antes da hora.
Para saber o que testar primeiro em um site B2B com pouco tráfego, veja a seção de testes do nosso guia de otimização da taxa de conversão. Se você testa experiências personalizadas em vez de mudanças isoladas na página, o teste A/B do Markettailor roda grupos de controle por segmento de visitantes.
Perguntas frequentes
De quantos visitantes eu preciso para um teste A/B?
Depende da sua taxa de conversão de base e do menor aumento que você quer detectar. Com uma base de 3%, detectar um aumento relativo de 20% com 95% de confiança e 80% de poder estatístico exige cerca de 13.900 visitantes por variante. Reduzir pela metade o aumento que você quer detectar praticamente quadruplica a amostra.
Como é calculada a significância estatística de um teste A/B?
Esta calculadora usa um teste z bicaudal para duas proporções. Ela agrupa os dois braços para estimar o ruído esperado se não houvesse diferença real, divide a diferença observada entre as taxas de conversão por esse erro padrão e converte o escore z resultante em um valor p. Um valor p abaixo de 0,05 é significativo com 95% de confiança.
Quanto tempo um teste A/B deve durar?
Até atingir o tamanho de amostra calculado antes do lançamento, e por pelo menos uma semana inteira, para incluir o comportamento dos dias úteis e do fim de semana. A estimativa de duração acima divide a amostra total pelo seu tráfego semanal na página testada.
Posso parar um teste A/B assim que ele ficar significativo?
Não. Conferir os resultados repetidamente e parar na primeira leitura significativa eleva a taxa de falsos positivos bem acima de 5%. Defina o tamanho da amostra antecipadamente e leia o resultado quando ele for atingido, ou use um método feito para monitoramento contínuo, como um teste sequencial.
E se o meu site B2B não tiver tráfego suficiente para testes A/B?
Teste mudanças maiores, escolha um evento de conversão mais frequente (como cliques para a página de demo em vez de demos agendadas), teste no seu template de maior tráfego ou aceite um teste mais longo. Se um teste fosse levar mais de um trimestre, use pesquisa qualitativa e comparações com grupo de controle.