La fórmula del tamaño de muestra para A/B testing te dice cuántos visitantes necesita cada variante antes de que una diferencia en la tasa de conversión signifique algo. Para un test bilateral estándar con un 95 % de confianza y un 80 % de potencia, necesitas aproximadamente n = (1,96 + 0,84)² × (p1(1−p1) + p2(1−p2)) / (p2 − p1)² visitantes por variante, donde p1 es tu tasa de partida y p2 la tasa que esperas detectar.
Aplica esa fórmula a cifras B2B reales y el resultado es incómodo. Una página que convierte al 3 % necesita unos 14.000 visitantes por variante para detectar de forma fiable una mejora relativa del 20 %. Muchas páginas B2B no reciben tantos visitantes en un trimestre. A continuación: la fórmula variable por variable, tablas calculadas para distintas tasas base, cuánto dura una prueba con un nivel de tráfico dado y qué hacer cuando la respuesta es "ocho meses".
Nuestra postura: la mayoría de los tests A/B B2B no tienen potencia suficiente
Primero, la opinión que respaldan las matemáticas. Creemos que la mayoría de los A/B tests B2B se detienen mucho antes de tener datos suficientes, y que muchos de los "ganadores" que producen son ruido. El patrón es este: una prueba de tres semanas, una variante que va un 25 % por delante, una insignia verde, un cambio implementado y, seis meses después, ninguna mejora visible en el pipeline.
Los tests con poca potencia no detectan efectos reales, lo que desperdicia el hueco del test. Peor aún, cuando un test con poca potencia sí supera el umbral de significación, la mejora medida tiende a estar sobreestimada, porque solo los resultados afortunados pasan el listón. Los estadísticos lo llaman error de magnitud (tipo M). El equipo lanza un cambio que puede no hacer nada y además anota una cifra inflada en sus informes de CRO. Calcular el tamaño de muestra antes del lanzamiento es la protección más barata.
La fórmula del tamaño de muestra en A/B testing
La fórmula estándar para comparar dos tasas de conversión (un test z de dos proporciones) es:
n por variante = [ zα/2 × √(2 × p̄ × (1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
Cada input tiene un significado sencillo:
- p1 (tasa de conversión base): la tasa de conversión actual de la página y el objetivo que estás testando. Usa la tasa del evento de conversión exacto y de la página exacta de las últimas 4 a 8 semanas, no una media de todo el sitio.
- p2 (tasa objetivo): la tasa de referencia multiplicada por (1 + MDE). Con una tasa de referencia del 3 % y un MDE relativo del 20 %, p2 = 3,6 %.
- MDE (efecto mínimo detectable): el menor incremento relativo que te interesa detectar. Es una decisión de negocio, no estadística. Los MDE más pequeños necesitan muchísimo más tráfico, porque la diferencia (p2 − p1) está elevada al cuadrado en el denominador. Si reduces el MDE a la mitad, la muestra se multiplica aproximadamente por cuatro.
- p̄ (tasa combinada): la media de p1 y p2. Describe el ruido bajo el supuesto de que no hay una diferencia real.
- zα/2 = 1,96: corresponde a una tasa de falsos positivos del 5 % (alfa 0,05), repartida entre las dos colas porque la variante podría ser mejor o peor.
- zβ = 0,8416: corresponde a una potencia del 80 %, lo que significa que, si el incremento real es igual a tu MDE, el test lo detecta el 80 % de las veces. El otro 20 % de las veces se te escapa una variante ganadora real.
Muchas calculadoras usan la versión simplificada sin agrupar que se muestra en el primer párrafo. Con las tasas de conversión B2B, las dos difieren en apenas unos pocos visitantes. Nuestra calculadora de A/B testing usa la fórmula agrupada anterior y también estima la duración de la prueba.
Ejemplo resuelto, paso a paso
Ejemplo (cifras ilustrativas): una página de solicitud de demo convierte al 3 %. Quieres detectar una mejora relativa del 20 %.
- Fija las tasas: p1 = 0,030, p2 = 0,030 × 1,2 = 0,036. La diferencia absoluta es 0,006.
- Tasa combinada: p̄ = (0,030 + 0,036) / 2 = 0,033.
- Primer término: √(2 × 0,033 × 0,967) = √0,06382 = 0,2526. Multiplicado por 1,96: 0,4951.
- Segundo término: p1(1−p1) = 0,0291 y p2(1−p2) = 0,0347. √(0,0638) = 0,2526. Multiplica por 0,8416: 0,2126.
- Suma y eleva al cuadrado: (0,4951 + 0,2126)² = 0,7077² = 0,5009.
- Divide entre la diferencia al cuadrado: 0,5009 / 0,006² = 0,5009 / 0,000036 = 13.914 visitantes por variante.
Así que el test necesita unos 27.800 visitantes en total, y aproximadamente 417 conversiones solo en el grupo de control (13.914 × 3 %), antes de leer el resultado. Como comprobación, la fórmula simplificada no agrupada da 13.911 por variante, y una aproximación por arcoseno (h de Cohen) da unos 13.890. Los tres métodos coinciden con un margen del 0,2 %.
Tabla de tamaños de muestra para tasas de conversión B2B
La tabla siguiente aplica la fórmula agrupada anterior (alfa 0,05 bilateral, potencia 0,8) a tasas base desde el 1 % (por ejemplo, solicitudes de demo como proporción de todas las visitas a una página con mucho tráfico) hasta el 10 % (por ejemplo, una microconversión como un clic en un CTA). Usa tu propia tasa base; estas filas son solo puntos de referencia. Los valores son visitantes por variante, calculados en Node.js y redondeados hacia arriba.
| Tasa de conversión base | MDE relativo del 10 % | MDE relativo del 20 % | MDE relativo del 30 % | MDE relativo del 50 % |
|---|---|---|---|---|
| 1% | 163,095 | 42,693 | 19,827 | 7,750 |
| 2% | 80,682 | 21,109 | 9,798 | 3,826 |
| 3% | 53,211 | 13,914 | 6,455 | 2,518 |
| 5% | 31,234 | 8,158 | 3,780 | 1,471 |
| 10% | 14,751 | 3,841 | 1,774 | 686 |
Pasar de un MDE del 10 % a uno del 50 % reduce la muestra necesaria unas 20 veces. Duplicar la tasa base la reduce aproximadamente a la mitad. No puedes cambiar el tráfico rápidamente, pero sí puedes elegir el tamaño del cambio que pruebas y la conversión que mides, y en un sitio pequeño esas son las dos palancas que importan.
¿Cuánto durará el test?
La duración es el total de visitantes necesarios (ambas variantes) dividido entre los visitantes mensuales que realmente llegan a la página probada. La tabla muestra los meses para un reparto 50/50 con tres niveles de tráfico.
| Visitantes mensuales de la página | Referencia | MDE del 10 % | MDE del 20 % | MDE del 30 % | MDE del 50 % |
|---|---|---|---|---|---|
| 2,000 | 2% | 80.7 | 21.1 | 9.8 | 3.8 |
| 2,000 | 3% | 53.2 | 13.9 | 6.5 | 2.5 |
| 2,000 | 5% | 31.2 | 8.2 | 3.8 | 1.5 |
| 5,000 | 2% | 32.3 | 8.4 | 3.9 | 1.5 |
| 5,000 | 3% | 21.3 | 5.6 | 2.6 | 1.0 |
| 5,000 | 5% | 12.5 | 3.3 | 1.5 | 0.6 |
| 20,000 | 2% | 8.1 | 2.1 | 1.0 | 0.4 |
| 20,000 | 3% | 5.3 | 1.4 | 0.6 | 0.3 |
| 20,000 | 5% | 3.1 | 0.8 | 0.4 | 0.1 |
Diga lo que diga la tabla, ejecuta cada test durante al menos dos semanas completas para que el comportamiento entre semana y en fin de semana, así como cualquier pico de campaña, esté representado en ambos grupos. Y considera cualquier duración superior a tres meses como un test que probablemente no deberías ejecutar tal como está planteado: el contenido de la página, las campañas y la mezcla de tráfico cambian en ese tiempo, y el resultado describe una web que ya no existe.
Con 5.000 visitantes al mes y una tasa base del 3 %, una mejora del 50 % se puede leer en un mes aproximadamente, y una del 10 % tarda casi dos años. Nadie deja una página sin cambios durante dos años, así que la segunda prueba se detendrá antes de tiempo y se interpretará como si significara algo.
Lo que la mayoría de los equipos hacen mal
- Usar el tráfico de todo el sitio para estimar la duración. Solo cuentan los visitantes que llegan al elemento que se prueba. Un test en la página de precios de una web con 20.000 visitantes puede ver solo 2.000 visitantes elegibles al mes.
- Elegir el MDE después del test. Si fijas el MDE en el 30 % antes del lanzamiento y el test muestra un 12 %, no tienes una variante ganadora con un 12 %. Tienes un test no concluyente.
- Mirar los resultados antes de tiempo y parar en el primer indicador verde. El análisis de Evan Miller, How Not To Run an A/B Test, muestra que hacer pruebas de significación repetidas siempre aumenta la tasa de falsos positivos. En su ejemplo (una base del 50 %, un cambio que no hace nada y parar en cuanto el resultado alcanza un 5 % de significación o tras 150 observaciones), la tasa de falsos positivos es del 26,1 % en lugar del 5 % nominal.
Cuando las cifras hablan de meses: siete opciones
1. Prueba cambios más grandes
La forma más barata de reducir el tamaño de muestra es subir el MDE con honestidad, lo que implica probar cambios lo bastante grandes como para que puedan producirlo de forma plausible: una nueva propuesta de valor, una oferta distinta (reserva instantánea frente a un formulario de contacto), una página adaptada a un sector en lugar de una genérica. Nuestra guía de optimización de la tasa de conversión B2B explica cómo priorizar las ideas de test según el tamaño de efecto esperado.
2. Testa en páginas con más tráfico
La home, los artículos del blog más leídos y las landing pages con mucho volumen te dan más visitantes al mes (consulta nuestras notas sobre optimización de landing pages B2B para saber qué páginas suelen concentrar más tráfico en etapa de decisión). Una prueba sobre una plantilla compartida por muchas páginas (todas las páginas de soluciones, todos los artículos del blog) agrupa su tráfico en un único experimento.
3. Usa las microconversiones con cuidado
Las microconversiones, como los clics en CTA o los formularios empezados, tienen bases más altas, así que se aplica la fila del 10 % de la tabla en lugar de la del 2 %. El problema: una variante puede aumentar los clics y reducir las demos cualificadas. Usa la microconversión como métrica de decisión solo cuando tengas pruebas de que se mueve junto con el objetivo macro, y reporta siempre la macroconversión a su lado como salvaguarda.
4. Agrupa segmentos y divídelos después
Hacer tests separados por segmento divide tu tráfico. Haz un único test entre segmentos y considera los resultados por segmento solo como orientativos. Si necesitas una respuesta específica para un segmento, el test tiene que dimensionarse solo con el tráfico de ese segmento. La hoja de ruta de 90 días para testar la personalización muestra cómo secuenciar los tests por segmento para que cada uno reciba tráfico suficiente.
5. Usa tests secuenciales
Los diseños secuenciales (pruebas secuenciales por grupos con revisiones intermedias planificadas, o métodos siempre válidos integrados en algunas herramientas de testing) te permiten consultar los resultados durante la prueba y detenerla antes cuando el efecto es grande, sin inflar los falsos positivos. La contrapartida es una muestra máxima algo mayor si la prueba llega hasta el final. Es la versión legítima de mirar antes de tiempo. Si una prueba fuera a durar meses, invierte primero el presupuesto en herramientas de CRO de diagnóstico, como las grabaciones de sesiones y la analítica de formularios.
6. Plantéate un enfoque bayesiano, con expectativas claras
El A/B testing bayesiano indica la probabilidad de que B supere a A y la pérdida esperada si eliges la opción equivocada. Es más fácil actuar a partir de eso que de un p-valor, y te permite tomar decisiones explícitas como "lanzar si la probabilidad de ser mejor supera el 90 % y la pérdida esperada es inferior a 0,1 puntos porcentuales". En cambios reversibles, aceptar ese riesgo suele ser racional.
Lo que los métodos bayesianos no hacen es crear información. Con priors débiles, los datos necesarios para tener confianza en un incremento del 20 % son más o menos los mismos que en la tabla frecuentista. Una "probabilidad de superar" del 90 % con una muestra minúscula sigue siendo frágil, y consultarla a diario con una regla de parada sigue aumentando la tasa de error en la práctica. El testing bayesiano cambia cómo expresas la incertidumbre y tomas decisiones. No reduce la incertidumbre.
7. No mires los resultados antes de tiempo, o planifica cuándo mirarlos
Fija el tamaño de muestra antes del lanzamiento, anótalo en el brief de la prueba y no des la prueba por concluida hasta alcanzarlo. Si los stakeholders necesitan actualizaciones intermedias, usa un diseño secuencial desde el principio en lugar de comprobaciones improvisadas. Nuestra plantilla de plan de experimentos tiene un campo para cada una de estas decisiones.
Checklist previa al lanzamiento
- Obtén la tasa base y los visitantes mensuales elegibles para la página y la conversión exactas (últimas 4 a 8 semanas).
- Elige el MDE según el tamaño del cambio y anótalo.
- Calcula n por variante con la fórmula o la tabla anterior y después la duración.
- Si la duración supera unos tres meses, rediseña el test (un cambio mayor, una página con más tráfico o una métrica con una tasa base más alta con una salvaguarda).
- Fija la regla de parada: muestra fija o un plan secuencial con revisiones previstas de antemano.
En los equipos B2B, los mayores efectos suelen venir de mostrar contenido distinto a distintos visitantes en lugar de pulir una página para todos, porque un mensaje escrito para un segmento es un cambio mayor que un nuevo color de botón. Si estás decidiendo entre una prueba A/B simple y una prueba con varias variantes o factores, lee nuestra comparación entre A/B testing y test multivariante, que aplica los mismos cálculos de tamaño de muestra a los diseños A/B/n y multivariantes.
Cuando estés listo para probar experiencias específicas por segmento, el A/B testing para páginas personalizadas de Markettailor te permite enfrentar cada segmento a un grupo de control y seguir el resultado por segmento, para que el tamaño de muestra que planificaste sea el que obtienes.
Preguntas frecuentes
¿Cuál es la fórmula del tamaño de muestra de un A/B test?
Para dos tasas de conversión, n por variante = [1,96 × √(2p̄(1−p̄)) + 0,8416 × √(p1(1−p1) + p2(1−p2))]² / (p2 − p1)², donde p1 es la tasa de referencia, p2 la tasa objetivo y p̄ su media. Esto supone un 95 % de confianza (bilateral) y un 80 % de potencia.
¿Cuántos visitantes necesito para un A/B test con una tasa de conversión del 2 %?
Unos 21.100 visitantes por variante para detectar un uplift relativo del 20 %, unos 9.800 para un uplift del 30 % y unos 3.800 para un uplift del 50 %, con un 95 % de confianza y un 80 % de potencia. Duplica estas cifras para obtener el tráfico total del test.
¿El A/B testing bayesiano necesita un tamaño de muestra menor?
No de forma significativa, salvo que tengas un prior sólido y justificado. Los tests bayesianos ofrecen resultados más intuitivos (probabilidad de superar al control, pérdida esperada) y permiten decisiones basadas en el riesgo, pero la cantidad de datos necesaria para tener confianza en una mejora concreta es similar a la del cálculo frecuentista.
¿Qué efecto mínimo detectable debería usar un sitio B2B?
Elige el MDE en función de tu tráfico, no de tus deseos. Calcula qué se puede detectar en seis a ocho semanas con el tráfico de tu página y prueba solo cambios lo bastante grandes como para producir esa mejora de forma plausible. En la tabla de duración anterior, una página con 5.000 visitantes mensuales y una tasa de referencia del 3 % solo puede detectar mejoras de alrededor del 30 % o más en tres meses.
¿Puedo detener un test A/B antes de tiempo si ya es significativo?
No con un test estándar de muestra fija, porque las comprobaciones repetidas inflan los falsos positivos. Si necesitas poder parar antes, usa un diseño de test secuencial con análisis intermedios planificados antes del lanzamiento.