El A/B testing es un experimento controlado y aleatorizado en el que los visitantes se reparten al azar entre dos versiones de una página, un email o una funcionalidad, el control (A) y una variante (B), y se compara una métrica definida de antemano para ver si la diferencia entre ellas es mayor de lo que explicaría el azar. Es la forma estándar de saber si un cambio causó una mejora o simplemente coincidió con ella.
El método está bien asentado en los productos online; la guía práctica de Kohavi y sus colegas sigue siendo una referencia estándar (Kohavi et al., "Controlled experiments on the web", Data Mining and Knowledge Discovery, 2009).
Cómo funciona el A/B testing
- Hipótesis y métrica. Indica el cambio, el efecto esperado y una métrica principal, como la tasa de solicitud de demo.
- Aleatorización. Cada visitante se asigna a A o B al azar y se mantiene ahí en sus siguientes visitas, de modo que los grupos solo se diferencian por el cambio.
- Tamaño de muestra. Decide de antemano cuántos visitantes necesita cada versión, según la tasa base, la mejora mínima que merece la pena detectar (efecto mínimo detectable), el nivel de significación y la potencia.
- Ejecuta. Deja que la prueba alcance esa muestra, a ser posible en semanas completas. No la detengas antes de tiempo porque una de las versiones parezca ir por delante.
- Analiza. Compara las tasas. Un resultado es estadísticamente significativo al 5 % cuando, si de verdad no hubiera diferencia, una brecha así de grande aparecería menos del 5 % de las veces.
Hay dos ajustes que importan. El nivel de significación (normalmente el 5 %, a menudo llamado 95 % de confianza) controla los falsos positivos. La potencia (normalmente el 80 %) es la probabilidad de detectar el efecto si es real; una prueba con poca potencia suele producir "ningún resultado".
Ejemplo
Ejemplo: una página de demo convierte al 3 %. Quieres detectar una mejora relativa del 20 % (del 3,0 % al 3,6 %) con una prueba bilateral con un 5 % de significación y un 80 % de potencia. La fórmula estándar de dos proporciones es:
n por variante = [zα/2 x √(2 p̄(1 − p̄)) + zβ x √(p₁(1 − p₁) + p₂(1 − p₂))]² / (p₂ − p₁)²
- p₁ = 0,030, p₂ = 0,036, p̄ = 0,033, zα/2 = 1,96, zβ = 0,84
- Primer término: 1,96 x √(2 x 0,033 x 0,967) = 1,96 x 0,2526 = 0,495
- Segundo término: 0,84 x √(0,0291 + 0,0347) = 0,84 x 0,2526 = 0,213
- Numerador: (0,495 + 0,213)² = 0,501; denominador: 0,006² = 0,000036
- n ≈ 13.900 visitantes por variante, unos 27.800 en total
Con 2.000 visitantes a la semana en esa página, el test necesita unas 14 semanas. Ese es el resultado útil: antes de construir nada, sabes que esta página no puede sostener un test para una mejora del 20 % en un plazo razonable, así que testas un cambio más audaz, usas una página con más tráfico o lanzas y monitorizas. Puedes reproducir la cifra con nuestra calculadora de tests A/B o con la calculadora de tamaño de muestra de Evan Miller.
A/B frente a A/B/n frente a test multivariante
| A/B | A/B/n | Multivariante (MVT) | |
|---|---|---|---|
| Qué varía | Un control frente a una variante | Un control frente a varias variantes | Varios elementos a la vez, todas las combinaciones |
| Tráfico necesario | La más baja | Crece con cada variante | La más alta: el tráfico se reparte entre todas las combinaciones |
| Respuestas | ¿Es B mejor que A? | ¿Cuál de varias versiones es la mejor? | ¿Qué combinación de elementos funciona y hay interacción entre ellos? |
| Encaja | La mayoría de las páginas B2B | Titulares u ofertas con tráfico real | Solo páginas con mucho tráfico |
Nielsen Norman Group resume el equilibrio: los tests multivariantes sirven para ajustes incrementales en páginas con mucho tráfico, mientras que los A/B tests pueden comparar diseños radicalmente distintos (NN/g, "Multivariate vs. A/B Testing").
Cómo usan los equipos B2B el A/B testing
- Testar la longitud y la redacción de los formularios de demo y contacto.
- Comparar propuestas de valor y titulares en landing pages con mucho tráfico.
- Validar la personalización: contenido específico por segmento frente a la página genérica, con un grupo de exclusión.
- Diseño de la página de precios y presentación de los planes.
- Asuntos de email y contenido de nurturing, cuando el volumen lo permita.
Preguntas frecuentes
¿Cuánto tiempo debe durar un A/B test?
Hasta que alcance el tamaño de muestra calculado antes del lanzamiento, y durante al menos una semana completa, preferiblemente dos, para que estén representados todos los días de la semana. Divide los visitantes necesarios por variante entre el tráfico semanal por variante para estimar la duración. Si la respuesta son varios meses, el test no es viable tal como está diseñado.
¿Cuál es un buen efecto mínimo detectable?
La menor mejora por la que merecería la pena actuar, dado el coste del cambio. Las páginas B2B con poco tráfico suelen necesitar un efecto mínimo detectable mayor, a menudo del 20 % relativo o más, para terminar en un plazo razonable. Los efectos más pequeños pueden ser reales, pero necesitan muchísimo más tráfico, porque el tamaño de muestra crece aproximadamente con el inverso del cuadrado del efecto.
¿Se pueden hacer tests A/B con poco tráfico?
Sí, pero prueba cambios más grandes, usa el paso del embudo con más tráfico y elige una métrica que ocurra a menudo, como los clics hacia la página de demo en lugar de los acuerdos cerrados. Cuando incluso eso es demasiado lento, haz el cambio basándote en la investigación y monitoriza el antes y el después, asumiendo que la evidencia es más débil.
Relacionado
Planifica los tests con la plantilla de plan de A/B test, lee la explicación más detallada sobre el tamaño de muestra de un A/B test y elige un diseño de test con A/B testing vs. test multivariante. Para el proceso general, consulta optimización de la tasa de conversión.