A diferença entre teste A/B e teste multivariado está no que cada um compara. Um teste A/B compara duas versões de uma página. Um teste A/B/n compara três ou mais versões completas. Um teste multivariado (MVT) muda vários elementos ao mesmo tempo, como título, imagem principal e CTA, e testa todas as combinações (às vezes chamado de teste A/B multivariado) para descobrir quais elementos e qual combinação geram conversões.
Em sites B2B, o tráfego geralmente decide por você. Cada variante ou combinação adicional divide ainda mais os seus visitantes, e a amostra necessária cresce mais rápido do que a intuição sugere. A seguir estão os quatro tipos de teste que as equipes B2B realmente fazem (A/B, A/B/n, multivariado e testes de personalização direcionados por segmento), quanto cada um custa em tráfego em um exemplo calculado, uma tabela de decisão e exemplos de testes adequados a cada tipo.
Os quatro tipos de teste em resumo
| Tipo de teste | O que compara | Pergunta que responde | Custo do tráfego |
|---|---|---|---|
| A/B | Controle vs. uma variante | Esta versão é melhor do que a que temos? | Mais baixa |
| A/B/n | Controle vs 2 ou mais variantes completas | Qual dessas abordagens distintas é a melhor? | Cresce com cada braço, mais uma penalidade por comparações múltiplas |
| Multivariado (MVT) | Todas as combinações de vários elementos | Quais elementos importam e eles interagem entre si? | Mais alta, especialmente para interações |
| Teste segmentado (de personalização) | Experiência personalizada vs grupo de controle, dentro de um segmento | Adaptar esta página a este segmento funciona? | Depende do tráfego do segmento e do tamanho do grupo de controle |
A matemática do tráfego por trás do teste A/B vs teste multivariado
Todos os números abaixo usam a fórmula padrão de tamanho de amostra para duas proporções (variância agrupada) com 95% de confiança, bicaudal, e 80% de poder, calculados em Node.js. O método e as tabelas completas estão no nosso post sobre tamanho de amostra para teste A/B. Você pode fazer as mesmas contas para a sua página com a nossa calculadora de tamanho de amostra para teste A/B, que aplica a correção de Bonferroni para testes A/B/n.
Exemplo (números ilustrativos): uma página de demo converte a 3% e você quer detectar um aumento relativo de 20% (de 3,0% para 3,6%). Um teste A/B simples precisa de 13.914 visitantes por variante, ou 27.828 no total.
A/B/n: mais braços, limites mais rígidos
Com três desafiantes contra um controle, você faz três comparações, e a chance de pelo menos um falso vencedor aumenta. A correção mais simples (Bonferroni) divide o alfa pelo número de comparações, então cada comparação é testada a 0,05 / 3 = 0,0167. Isso eleva a amostra por braço de 13.914 para 18.559, e o total de 27.828 para 74.236 nos quatro braços, cerca de 2,7 vezes o tráfego do teste A/B.
Multivariado: as combinações se multiplicam
Agora teste três elementos com duas versões cada (título A ou B, imagem A ou B, CTA A ou B). Um desenho fatorial completo tem 2 × 2 × 2 = 8 células. Se você quer comparar cada combinação com o controle, como a maioria dos relatórios de MVT faz implicitamente, cada célula precisa de uma amostra completa: 8 × 13.914 = 111.312 visitantes sem nenhuma correção, ou 8 × 22.112 = 176.896 visitantes com uma correção de Bonferroni para sete comparações.
Esse é o pior caso. Um desenho fatorial na verdade é eficiente para efeitos principais. Para estimar o efeito do título, você compara as quatro células com o título A com as quatro com o título B, o que usa todo o seu tráfego. Se os elementos não interagem, 27.828 visitantes informam sobre os três elementos de uma vez. Nesse caso, você efetivamente rodou três testes A/B em paralelo. Útil, mas não é o motivo pelo qual a maioria das equipes escolhe o MVT.
As equipes geralmente rodam MVT para encontrar interações ("este título só funciona com aquela imagem") e a melhor combinação. Interações são caras. A nota muito citada de Andrew Gelman, You need 16 times the sample size to estimate an interaction than to estimate a main effect, mostra o porquê: a estimativa de uma interação tem o dobro do erro padrão de um efeito principal e, se a interação tiver metade do tamanho do efeito principal (a premissa declarada por ele), você precisa de 16 vezes a amostra para o mesmo poder. Aplicado ao nosso exemplo, isso dá cerca de 445.000 visitantes.
O que isso significa em meses
| Desenho (linha de base de 3%, MDE de 20%) | Total de visitantes | Meses com 5.000/mês | Meses a 20.000/mês |
|---|---|---|---|
| A/B | 27,828 | 5.6 | 1.4 |
| A/B/n com 4 braços (Bonferroni) | 74,236 | 14.8 | 3.7 |
| MVT 2×2×2, cada célula vs. controle (sem correção) | 111,312 | 22.3 | 5.6 |
| MVT 2×2×2, cada célula vs. controle (Bonferroni) | 176,896 | 35.4 | 8.8 |
| Interação em MVT, metade do tamanho (regra de 16x) | 445,248 | 89.0 | 22.3 |
Em uma página com 20.000 visitantes mensais, um MVT 2×2×2 que lê cada combinação leva boa parte de um ano com correção. Com 5.000, leva anos. Nossa visão: o teste multivariado raramente é viável em sites B2B, e uma afirmação como “rodamos um MVT e a combinação 6 venceu” com alguns milhares de visitantes por mês merece um exame rigoroso da amostra antes de qualquer ação.
Onde a maioria das equipes erra
O erro comum é escolher o tipo de teste pela ambição, e não pela pergunta. As equipes escolhem MVT porque têm muitas ideias, não porque precisam saber se as ideias interagem. Escolhem A/B/n com cinco variantes porque ninguém conseguiu concordar em uma só. As duas escolhas dividem um tráfego limitado em fatias finas demais para serem lidas.
O segundo é testar elementos quando a verdadeira questão é sobre públicos. Em um site B2B, o que converte muitas vezes depende mais de quem está olhando do que de qual título aparece. Um comprador da indústria e um fundador de SaaS querem provas diferentes. Testar o título A contra o B para todo mundo faz a média desses públicos e pode esconder uma variante que vence com folga em um segmento e perde em outro. Esse é o argumento a favor de testes de personalização segmentados.
Tabela de decisão: qual teste executar
| Situação | Visitantes mensais da página | Elementos alterados | Teste recomendado |
|---|---|---|---|
| Uma hipótese clara, mudança grande | Qualquer um, inclusive abaixo de 5.000 | Um conceito (pode envolver vários elementos) | A/B |
| Duas ou três abordagens realmente diferentes | 15,000+ | Conceitos de página inteira | A/B/n com no máximo 3 braços |
| Precisa saber se os elementos interagem entre si | 100,000+ | 2 a 3 elementos, 2 versões cada | Multivariado (fatorial completo) |
| Públicos diferentes provavelmente querem coisas diferentes | Tráfego suficiente dentro do segmento | Conteúdo adaptado ao segmento | Teste segmentado vs. grupo de controle |
| Tráfego insuficiente para qualquer uma das opções acima | Menos de 2.000 | Qualquer | Pesquisa qualitativa, depois um teste A/B com uma mudança maior |
Os limites de tráfego são referências aproximadas para uma taxa base de 3%. Calcule os seus com a fórmula de tamanho de amostra antes de se comprometer.
Exemplos de bons testes para cada tipo
Testes A/B
- Formulário de demo vs agendamento instantâneo no calendário na página de demo.
- Hero focado em funcionalidades vs hero focado em resultados na home.
- Página de preços com um plano "fale com vendas" vs. preços publicados para todos os planos.
Agrupar vários elementos em um único conceito não tem problema em um teste A/B. Você descobre se o conceito vence, não qual elemento foi responsável, e geralmente essa é a decisão que você realmente precisa tomar. Nosso guia de otimização da taxa de conversão B2B mostra como priorizar essas ideias.
Testes A/B/n
- Três propostas de valor em uma landing page paga de alto tráfego: velocidade, economia de custos, redução de risco.
- Três ofertas de CTA: demo, avaliação de ROI, tour do produto. Veja nosso guia de CTAs personalizados orientados por dados para saber como o tipo de oferta muda conforme o estágio.
Limite os testes A/B/n a três braços (controle mais dois), a menos que o tráfego seja excepcionalmente alto, e faça cada braço ser realmente diferente, para que os efeitos sejam grandes o bastante para serem separados.
Testes multivariados
- Título (2 versões) × tipo de prova social (logos vs. citação de um case) em uma home com tráfego muito alto, quando você tem um motivo específico para esperar que os dois interajam.
Se você não consegue citar a interação que espera, provavelmente não precisa de um teste multivariado.
Testes de personalização direcionados por segmento
- Hero da página inicial específico para visitantes de empresas de serviços financeiros vs o hero padrão.
- Prova focada em enterprise (segurança, escala) na página de preços para empresas com mais de 1.000 funcionários vs a página padrão.
- Saudação e case para contas-alvo de ABM vs. a página genérica.
Como testar a personalização contra um grupo de controle
Um teste de personalização é um teste A/B rodado só dentro de um segmento. O controle é um grupo de controle desse segmento que vê a página padrão. Sem esse grupo, você não consegue separar o efeito da personalização do fato de que o segmento pode simplesmente converter de forma diferente.
- Defina o segmento com precisão, por exemplo "visitantes identificados como empresas de serviços financeiros com mais de 200 funcionários". Só esses visitantes entram no teste.
- Meça o tráfego do segmento nas páginas testadas por mês. É isso, e não o tráfego total do site, que define a duração.
- Escolha o tamanho do grupo de controle. Uma divisão 50/50 é a mais rápida de ler. Grupos de controle menores expõem menos visitantes à experiência padrão, mas custam tempo.
- Escolha uma conversão que o segmento realmente faz, medida ao longo da visita ou das visitas da conta, e mantenha o pipeline como métrica de proteção.
- Defina o tamanho da amostra e a duração antes do lançamento e leia o resultado apenas para aquele segmento.
Exemplo (números ilustrativos): um segmento traz 3.000 visitantes por mês, converte a 3%, e você quer detectar um ganho relativo de 30%. Calculado com uma versão da fórmula para alocação desigual (não agrupada), com os mesmos 95% de confiança e 80% de poder:
| Parcela do grupo de controle | Total de visitantes necessários | Meses a 3.000/mês |
|---|---|---|
| 50% | 12,903 | 4.3 |
| 20% | 18,639 | 6.2 |
| 10% | 32,234 | 10.7 |
Um grupo de controle de 10% leva cerca de 2,5 vezes mais tempo para dar uma leitura do que uma divisão 50/50. Nossa recomendação: rode o primeiro teste de cada segmento em 50/50 para obter uma resposta limpa e depois mantenha um pequeno grupo de controle permanente (10 a 20%) após a implantação, para acompanhar se o efeito se mantém ao longo do tempo. O roadmap de testes de personalização mostra como sequenciar esses testes entre os segmentos. Comece pelo segmento com mais tráfego e a lacuna de mensagem mais clara, já que ele dá leitura mais rápido. Dispense totalmente os testes por segmento quando o segmento traz só algumas centenas de visitantes por mês; com esse volume, nem uma divisão 50/50 dará uma resposta legível em um ano.
Rodar esses testes com grupo de controle exige identificar o segmento antes de a página ser renderizada e dividir apenas esse segmento. O teste A/B da Markettailor faz isso por segmento, usando a segmentação no nível da empresa para decidir quem entra em cada teste, então um teste para fintechs só recebe visitantes de fintechs.
Perguntas frequentes
Qual é a diferença entre teste A/B e teste multivariado?
O teste A/B compara duas versões completas de uma página. O teste multivariado altera vários elementos ao mesmo tempo e testa todas as combinações, então pode mostrar quais elementos importam e se interagem entre si, ao custo de muito mais tráfego.
O que é teste A/B/n?
O teste A/B/n compara um controle com duas ou mais variantes completas ao mesmo tempo. É útil quando você tem algumas abordagens realmente diferentes, mas cada braço extra precisa da sua própria amostra e de um limite de significância mais rigoroso.
Quanto tráfego você precisa para um teste multivariado?
Em um teste 2×2×2 em uma página que converte 3%, ler cada uma das 8 combinações contra o controle para um aumento de 20% exige aproximadamente de 111.000 a 177.000 visitantes, dependendo da correção para comparações múltiplas. Detectar interações pode exigir várias vezes mais.
O teste multivariado vale a pena para sites B2B?
Raramente. A maioria das páginas B2B não tem tráfego para analisar combinações ou interações em poucos meses. Testes A/B de conceitos maiores e testes de personalização direcionados por segmento costumam dar respostas mais claras e mais rápidas.
Dá para combinar teste A/B e teste multivariado?
Sim. Uma sequência comum é primeiro fazer teste A/B de conceitos e depois, apenas em páginas com tráfego muito alto, rodar um pequeno teste fatorial com dois elementos dentro do conceito vencedor, se houver uma interação específica a verificar.