Cómo funciona la calculadora
La pestaña de tamaño de muestra usa la fórmula estándar para comparar dos tasas de conversión con un z-test bilateral de dos proporciones:
n por variante = [ zα/2 × √(2p̄(1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
- p1 es tu tasa de conversión base para la página y el objetivo exactos que estás testeando.
- p2 es la tasa base multiplicada por (1 + efecto mínimo detectable).
- p̄ es la media de p1 y p2.
- zα/2 es 1,96 con un 95 % de confianza, y zβ es 0,84 con un 80 % de potencia.
Con más de una variante, la calculadora divide alfa entre el número de comparaciones frente al control (una corrección de Bonferroni), lo que mantiene la tasa global de falsos positivos en el nivel de confianza que elegiste. Nuestra guía de tamaño de muestra para A/B testing explica la fórmula paso a paso, con tablas para tasas de conversión B2B habituales.
Ejemplo práctico
Cifras ilustrativas: una página de solicitud de demo convierte al 3 % y recibe 2.000 visitantes a la semana. Quieres saber si un nuevo titular aumenta la conversión al menos un 20 %, así que p2 es 3,6 %. La calculadora devuelve unos 13.900 visitantes por variante, 27.800 en total, lo que equivale a 14 semanas de tráfico. Esa es la respuesta honesta para muchas páginas B2B, y por eso la herramienta avisa de cualquier test de más de un trimestre.
Tres formas de reducir la duración: prueba un cambio más audaz y sube el efecto mínimo detectable al 30 % o más, mide un evento más frecuente, como los clics hacia la página de demo, o haz la prueba en una página con más tráfico. Si estás eligiendo entre un A/B test y una prueba de varios elementos a la vez, lee primero A/B testing vs test multivariante, porque los tests multivariantes necesitan mucho más tráfico.
Cómo leer un resultado de significación
La pestaña de significación compara dos variantes terminadas. Supón que el control tuvo 5.000 visitantes y 150 conversiones (3,0 %) y la variante 5.000 visitantes y 190 conversiones (3,8 %). La mejora relativa es del 26,7 %, el p-valor ronda 0,027 y el intervalo de confianza del 95 % de la diferencia va de unos 0,1 a 1,5 puntos porcentuales. El resultado es significativo, pero el intervalo es amplio: la mejora real podría ser pequeña. Toma la mejora medida como una estimación tirando a alta, sobre todo si el test se detuvo antes de tiempo.
Para saber qué probar primero en una web B2B con poco tráfico, consulta la sección de pruebas de nuestra guía de optimización de la tasa de conversión. Si pruebas experiencias personalizadas en lugar de cambios aislados en una página, el A/B testing de Markettailor aplica grupos de control por segmento de visitantes.
Preguntas frecuentes
¿Cuántos visitantes necesito para un A/B test?
Depende de tu tasa de conversión de partida y del menor incremento que quieras detectar. Con una tasa base del 3 %, detectar un incremento relativo del 20 % con un 95 % de confianza y un 80 % de potencia requiere unos 13.900 visitantes por variante. Reducir a la mitad el incremento que quieres detectar multiplica la muestra aproximadamente por cuatro.
¿Cómo se calcula la significación estadística de un A/B test?
Esta calculadora usa una prueba z bilateral de dos proporciones. Agrupa ambas variantes para estimar el ruido que cabría esperar si no hubiera una diferencia real, divide la diferencia observada entre las tasas de conversión por ese error estándar y convierte el valor z resultante en un p-valor. Un p-valor inferior a 0,05 es significativo con un 95 % de confianza.
¿Cuánto tiempo debe durar un A/B test?
Hasta que alcance el tamaño de muestra calculado antes del lanzamiento, y durante al menos una semana completa para incluir el comportamiento de días laborables y de fin de semana. La estimación de duración anterior divide la muestra total entre tu tráfico semanal a la página testada.
¿Puedo parar un A/B test en cuanto sea significativo?
No. Revisar los resultados repetidamente y parar en la primera lectura significativa dispara la tasa de falsos positivos muy por encima del 5 %. Decide el tamaño de muestra de antemano y lee el resultado cuando se alcance, o usa un método diseñado para la monitorización continua, como un test secuencial.
¿Y si mi web B2B no tiene suficiente tráfico para hacer A/B testing?
Prueba cambios más grandes, elige un evento de conversión que ocurra con más frecuencia (como los clics hacia la página de demo en lugar de las demos reservadas), haz la prueba en tu plantilla con más tráfico o acepta una prueba más larga. Si una prueba fuera a durar más de un trimestre, usa en su lugar investigación cualitativa y comparaciones con grupos de control.