Um modelo de plano de experimento força as decisões que a maioria dos testes A/B pula: o que exatamente você espera que aconteça, qual métrica única define o vencedor, de quantos visitantes você precisa e quando pode parar. Registrar isso antes do lançamento é a proteção mais barata contra interpretar ruído como resultado. O modelo abaixo tem uma página por teste. Copie-o para a sua ferramenta de documentos ou baixe o modelo em CSV para ter um backlog de testes em uma planilha.
Ele foi pensado para os níveis de tráfego B2B, em que um único teste pode levar semanas. Se você nunca planejou um teste, leia primeiro nosso guia de otimização da taxa de conversão para saber o que vale a pena testar com pouco tráfego.
O template de plano de teste A/B
Preencha todas as linhas antes de o teste entrar no ar. Uma linha em branco é uma decisão que você acabará tomando depois de ver os dados, exatamente o que o plano pretende evitar.
| Seção | Campo | O que escrever |
|---|---|---|
| 1. Contexto | Nome e ID do teste | Nome curto e fácil de buscar, por exemplo "DEMO-07 formulário de cinco campos" |
| Responsável | Uma pessoa que lança, monitora e reporta o teste | |
| Evidências por trás | O dado, a gravação ou a fala de cliente que levou você a escolher este teste | |
| 2. Hipótese | Mudança | Exatamente o que muda entre o controle e a variante |
| Efeito esperado | Qual métrica se move e em que direção | |
| Motivo | Por que você acha que vai acontecer, em uma frase sobre o comportamento do comprador | |
| 3. Métricas | Métrica principal | A única métrica que decide o resultado, com a definição exata do evento |
| Métricas de proteção | Métricas que não podem piorar (qualidade dos leads, taxa de rejeição, velocidade da página) | |
| Métricas secundárias | Interessante, mas não decisivo (profundidade de rolagem, cliques para preços) | |
| 4. Público | Página(s) | URLs incluídas no teste |
| Quem está incluído | Todos os visitantes ou um segmento, como tráfego pago ou uma faixa de porte de empresa | |
| Quem fica de fora | Clientes atuais, tráfego interno, bots | |
| Divisão do tráfego | Geralmente 50/50 para dois braços | |
| 5. Estatística | Taxa de conversão de base | Últimas 4 a 8 semanas para esta página e esta métrica |
| Efeito mínimo detectável | Menor ganho relativo que justifica uma ação | |
| Confiança e poder estatístico | Normalmente 95% e 80% | |
| Tamanho de amostra por variante | Da calculadora de teste A/B | |
| Duração planejada | Tamanho da amostra dividido pelo tráfego semanal, arredondado para semanas inteiras | |
| 6. Regras | Regra de parada | Quando você vai ler o resultado (amostra atingida, nunca antes) |
| Regra de encerramento | O que faria você parar antes (variante quebrada, queda em métrica de proteção) | |
| Regra de decisão | O que você lança se o resultado for uma vitória, uma derrota ou inconclusivo | |
| 7. Resultados | Período de execução | Data de início e de término |
| Resultado por braço | Visitantes, conversões, taxa de conversão | |
| Significância e intervalo | Valor-p e intervalo de confiança da diferença | |
| Decisão e aprendizado | O que você lançou e o que isso ensinou sobre os compradores |
Como preencher
- Parta de evidências, não de ideias. A seção 1 pergunta por que este teste existe. Boas fontes: uma etapa do funil com uma queda incomum, gravações de sessões, anotações de chamadas de vendas, um achado do checklist de auditoria de CRO. “O CEO quer um novo hero” não é evidência.
- Escreva uma hipótese refutável. “Se reduzirmos o formulário de demo de nove para cinco campos, os envios de demo por visitante vão aumentar, porque os compradores abandonam quando o orçamento é pedido antes de verem o produto.” Uma hipótese sem um motivo não ensina nada quando falha.
- Escolha uma métrica principal. Se você escolher três, uma delas provavelmente vai variar por acaso e você vai querer chamar isso de vitória.
- Dimensione o teste antes de construí-lo. Coloque a linha de base e o efeito mínimo detectável na calculadora. Se o teste precisar de mais de um trimestre, mude o plano: teste uma mudança maior, use uma métrica mais frequente ou escolha uma página com mais tráfego. Nosso guia de tamanho de amostra para teste A/B explica os prós e contras.
- Combine a regra de decisão com antecedência. Decida o que "inconclusivo" significa para você. Muitos times B2B lançam a variante mais simples quando os resultados ficam estáveis, o que é uma boa regra se estiver por escrito antes do lançamento.
Plano preenchido ilustrativo
Números ilustrativos de uma empresa fictícia de software B2B.
| Campo | Entrada |
|---|---|
| Nome do teste | DEMO-07 formulário de demo com cinco campos |
| Evidências | O analytics de formulário mostra a maior parte do abandono no campo “Orçamento”; vendas confirma que não o utiliza na primeira ligação |
| Hipótese | Reduzir o formulário de nove para cinco campos aumenta os envios de demonstração por visitante, porque os compradores não compartilham o orçamento antes de ver o produto |
| Métrica principal | Envios do formulário de demonstração divididos pelos visitantes únicos de /demo |
| Proteções | A parcela de envios aceitos por vendas como qualificados não pode cair mais de um quarto |
| Público | Todos os visitantes de /demo, excluindo clientes logados e IPs internos; divisão 50/50 |
| Linha de base | 8% dos visitantes de /demo enviam o formulário |
| Efeito mínimo detectável | 20% relativo (de 8,0% para 9,6%) |
| Tamanho da amostra | Cerca de 4.900 visitantes por variante com 95% de confiança e 80% de poder estatístico |
| Duração | /demo recebe cerca de 1.500 visitantes por semana, então cerca de 9.800 visitantes no total levam 7 semanas |
| Regra de parada | Leia o resultado depois de 7 semanas completas ou quando os dois braços passarem de 4.900 visitantes, o que acontecer por último |
| Regra de encerramento | Interrompa se o formulário da variante não enviar ou se a taxa de qualificação cair pela metade nas duas primeiras semanas |
| Regra de decisão | Vitória: publicar cinco campos. Derrota: manter nove. Inconclusivo: publicar cinco campos, já que é mais simples e o enriquecimento preenche a lacuna |
O backlog de testes
O download em CSV também inclui uma aba de backlog para você priorizar os testes antes de escrever os planos completos. Uma linha por ideia:
| ID | Página | Ideia | Evidências | Impacto (1 a 3) | Confiança (1-3) | Facilidade (1-3) | Score | Semanas necessárias | Status |
|---|---|---|---|---|---|---|---|---|---|
| DEMO-07 | /demo | Formulário de cinco campos | Abandono por campo | 3 | 2 | 3 | 8 | 7 | Planejado |
| HOME-03 | / | Hero específico do setor | Visitantes do ICP têm mais rejeição | 3 | 2 | 2 | 7 | 10 | Ideia |
Ideias com pontuação alta, mas que precisam de mais de 12 semanas, são melhores candidatas a uma comparação com grupo de controle ou a uma regra de personalização do que a um teste A/B clássico. Veja teste A/B vs teste multivariado para saber quando cada método se encaixa.
Perguntas frequentes
O que um plano de teste A/B deve incluir?
Uma hipótese com justificativa, uma métrica principal com definição exata, métricas de proteção, o público e a divisão, a taxa de linha de base, o efeito mínimo detectável, o tamanho da amostra, a duração e as regras de parada, de encerramento e de decisão. Acrescente uma seção de resultados para que o plano vire o registro do teste.
Qual é a diferença entre um plano de experimento e um briefing de teste?
Os termos são usados como sinônimos. Alguns times usam “briefing” para o pedido de design e texto enviado a um designer, e “plano” para a configuração estatística. Este modelo cobre os dois, com a mudança criativa descrita na seção de hipótese.
Quanto tempo um teste A/B B2B deve durar?
Até atingir o tamanho de amostra que você calculou e por pelo menos uma semana completa. Muitas páginas B2B precisam de quatro a doze semanas. Se as contas indicarem mais de um trimestre, mude o teste em vez de pará-lo antes da hora.
Devo escrever um plano para cada teste pequeno?
Sim, embora, para um teste de texto de botão, o plano possa ter cinco linhas. A regra de parada e a métrica principal são as duas partes que você nunca deve pular, porque são elas que impedem você de chamar uma oscilação aleatória de vitória.