Significancia estadística en test A/B: cómo calcularla

PublicadoHerramientaCalculadora de significancia estadística para test A/B

Contenido
  1. Que la conversión sea más alta no significa que sea el «ganador real»
  2. Significancia estadística: el criterio que te da la matemática
  3. Mecanismo técnico clave: la prueba Z para dos proporciones y la fórmula del contraste estadístico
  4. Matriz comparativa de criterios de interpretación según el nivel de confianza
  5. Los 5 errores graves que debes evitar al analizar un test A/B
  6. Flujo de trabajo en 5 pasos para validar un test A/B sin fallos
  7. 7 consejos prácticos para tus tests A/B
  8. Árbol de decisión final: ¿qué hacer con los resultados del experimento?
  9. Chuleta de términos clave sobre test A/B y contrastes estadísticos
  10. Preguntas frecuentes

Que la tasa de conversión de una de las dos variantes nuevas, A o B, salga un poco más alta no basta para declararla ganadora sin más. Es arriesgado: puede que el volumen de impresiones y conversiones sea pequeño, o que la diferencia se deba simplemente al azar.

El criterio que te permite decidirlo con firmeza y no equivocarte es la «significancia estadística».

Resumen clave ① Para interpretar el resultado de un test A/B no basta con comparar tasas de conversión: hay que validar estadísticamente el conjunto de los datos, impresiones y conversiones incluidas. ② La significancia estadística se determina comprobando si el p-value (valor de significancia) es menor que el nivel de significancia fijado (normalmente 5%, es decir, un nivel de confianza del 95%). ③ Consultar los resultados a cada rato y detener el test antes de tiempo (el peeking problem) puede hacer que un sesgo casual se interprete como una victoria, así que es una práctica que hay que evitar de forma estricta.

Que la conversión sea más alta no significa que sea el «ganador real»

Un error habitual al hacer tests A/B es quedarse sin dudarlo con la variante que muestra una diferencia, aunque sea de decimales.

Pongamos un ejemplo: imagina que en la variante A convierten 3 de cada 100 usuarios (tasa de conversión del 3%) y en la variante B convierten 4 de cada 100 (tasa de conversión del 4%). En cifras simples parece que B mejora un 33%, pero esa diferencia se decide por un único clic afortunado.

Entonces, ¿cuántos usuarios tienen que ver la página y cuántos tienen que convertir para poder afirmar que esa diferencia es un «resultado real y no azar»?

Significancia estadística: el criterio que te da la matemática

Para eso, la estadística utiliza la prueba Z para dos proporciones (Two-Proportion Z-Test), que contrasta la diferencia de proporciones entre dos grupos independientes.

El concepto central aquí es el p-value (valor de significancia). El p-value expresa la probabilidad de observar una diferencia igual o mayor que la obtenida cuando en realidad no existe ninguna diferencia entre las dos variantes (hipótesis nula) y todo se debe al azar del muestreo.

En las decisiones de producto digital y de marketing se suele tomar como estándar un nivel de confianza del 95% (nivel de significancia α = 0.05). Es decir, si el p-value es menor que 0.05, se concluye que «la probabilidad de que esta diferencia sea puro azar es inferior al 5%, por lo tanto es una victoria real y estadísticamente significativa».

Calculadora de significancia estadística para test A/B

Gratis · sin registro · solo introduces impresiones y conversiones y en 1 segundo tienes el p-value y el ganador

Al consultar los resultados, la interpretación es la siguiente:

  • ¡Ganador! Mejora significativa del rendimiento (Statistically Significant): demuestra estadísticamente que la variante B ha logrado un resultado claramente superior al de la A según el nivel de confianza elegido (95% o 99%).
  • Sin diferencias (Inconclusive / Not Significant): la variación entre las variantes A y B se debe solo al error de muestreo o al ruido, así que no se puede confirmar un ganador significativo. Hay que seguir acumulando datos.

Mecanismo técnico clave: la prueba Z para dos proporciones y la fórmula del contraste estadístico

Desglosamos la matemática estadística que la calculadora de test A/B ejecuta en segundo plano.

1. Proporción agrupada (Pooled Proportion) y cálculo del Z-Score

Si llamamos NA y NB al total de impresiones de cada grupo y XA y XB al número de conversiones:

  • Proporción combinada (Pooled Proportion): P = (XA + XB) / (NA + NB)
  • Error estándar (Standard Error): SE = sqrt(P(1 - P)(1/NA + 1/NB))
  • Estadístico Z (Z-Score): Z = (PB - PA) / SE
  • Cálculo del p-value: se integra la función de distribución acumulada (CDF) de la normal estándar N(0, 1) y se calcula, con contraste bilateral (Two-tailed test), p = 2 * (1 - Phi(|Z|)).

2. Error de tipo I (Type I Error) frente a error de tipo II (Type II Error)

  • Error de tipo I (alfa, falso positivo): probabilidad de concluir por error que hay un ganador cuando en realidad no existe diferencia (estándar del 5%).
  • Error de tipo II (beta, falso negativo): probabilidad de no detectar una diferencia que sí existe y dejarla pasar (estándar del 20%).
  • Potencia estadística (Statistical Power, 1 - beta): probabilidad de encontrar correctamente a un ganador real cuando existe; para que el experimento sea fiable debe alcanzar al menos el 80%.

Matriz comparativa de criterios de interpretación según el nivel de confianza

Nivel de confianza (Confidence)Nivel de significancia (umbral de p-value)Valor crítico de Z-scoreEntorno de negocio en el que aplicarlo
Confianza del 90%p < 0.10Z
Confianza del 95% (estándar global)p < 0.05Z
Confianza del 99%p < 0.01Z

Los 5 errores graves que debes evitar al analizar un test A/B

  1. El problema de mirar a escondidas (Peeking Problem): revisar el panel todos los días durante el experimento y detenerlo en el momento en que el p-value baja de 0.05 (la probabilidad de falso positivo se dispara del 5% hasta el 30%).
  2. Test sin potencia suficiente (Underpowered Test): tomar decisiones precipitadas sin completar el tamaño de muestra mínimo necesario (Sample Size).
  3. Abuso del contraste unilateral (One-tailed): aplicar un contraste unilateral descartando la posibilidad de que la variante B sea peor que la A y recortar así artificialmente el p-value a la mitad.
  4. Interferencia entre experimentos simultáneos: dos o más tests A/B independientes se muestran al mismo usuario a la vez y contaminan los resultados.
  5. Sesgo por estacionalidad y día de la semana (Seasonality Bias): generalizar los datos de periodos especiales como el día de pago, los fines de semana o el Black Friday.

Flujo de trabajo en 5 pasos para validar un test A/B sin fallos

  1. Paso 1 (formular la hipótesis y calcular el tamaño de muestra por adelantado): a partir de la tasa de conversión base (Baseline) y del efecto mínimo detectable (MDE, Minimum Detectable Effect), calcula antes de empezar el número mínimo de muestras necesario.
  2. Paso 2 (lanzar el experimento y mantenerlo un ciclo completo de al menos 7 días): divide el tráfico al 50:50 de forma aleatoria (Randomized Split) durante al menos una semana (de 7 a 14 días) para eliminar el sesgo de comportamiento según el día de la semana.
  3. Paso 3 (una única medición final cuando termine la recogida de datos): extrae los datos cuando se hayan cumplido el tamaño de muestra y el periodo definidos de antemano.
  4. Paso 4 (validar con esta calculadora de significancia): introduce el total de impresiones y de conversiones de A y B y revisa el p-value y el intervalo de confianza (Confidence Interval).
  5. Paso 5 (decidir y compartir el aprendizaje con toda la empresa): si se alcanza p < 0.05, publica la variante ganadora; si el resultado no es significativo, documenta desde el punto de vista de la hipótesis por qué falló el experimento y aplícalo en el siguiente.

7 consejos prácticos para tus tests A/B

  1. Fija un MDE (efecto mínimo detectable) realista del 5% al 10%: perseguir una diferencia tan fina como un 1% exige millones de usuarios, así que en la práctica conviene un MDE del 5% al 10%.
  2. Regla inquebrantable del ciclo semanal completo (Full Week Cycle): aunque tengas tanto tráfico que alcances la muestra objetivo en 2 días, completa siempre los 7 días para corregir el efecto del día de la semana.
  3. Revisa la amplitud del intervalo de confianza (Confidence Interval): además de si gana o pierde, mira el rango de mejora de la variante B (por ejemplo, de +5% a +12%) para prever el impacto en el negocio.
  4. Verifica la integridad de la propia plataforma con un test A/A: expón la misma variante A al 50:50 y comprueba de antemano si el p-value sigue una distribución uniforme, para detectar fallos en la lógica de reparto de tráfico.
  5. Segmentación a posteriori (Post-hoc Segmentation): aunque el resultado global no sea significativo, comprueba de forma cruzada si aparece una significancia fuerte en un segmento concreto, como «visitantes nuevos» o «usuarios móviles».
  6. Usa las microconversiones (Micro-conversion) como métricas de apoyo: si no tienes suficientes conversiones finales de compra (macro), analiza también la significancia de métricas intermedias como «añadir al carrito» o «scroll en la página de detalle».
  7. Vigila las métricas de control (Guardrail Metric): aunque la conversión de B suba, verifica al mismo tiempo que no hayan empeorado indicadores de salud del producto como la tasa de abandono, la velocidad de carga o las solicitudes de reembolso.

Árbol de decisión final: ¿qué hacer con los resultados del experimento?

  • Situación A (p < 0.05 y tasa de conversión al alza y intervalo de confianza positivo) ➔ Despliegue total de la alternativa B (Winner Rollout)
  • Situación B (p >= 0.05 y tamaño de muestra ya completado) ➔ Rechazar la hipótesis y mantener la versión original A (Inconclusive - No Effect)
  • Situación C (p >= 0.05 y tamaño de muestra aún insuficiente) ➔ Ampliar la duración del experimento y seguir recopilando datos (Continue Experiment)
  • Situación D (p < 0.05 y tasa de conversión a la baja) ➔ Detener de inmediato la alternativa B y volver a la versión original (Statistically Significant Loss)

Chuleta de términos clave sobre test A/B y contrastes estadísticos

  • p-value (valor p): probabilidad de obtener un resultado tan extremo como los datos observados, o más, suponiendo que la hipótesis nula es cierta.
  • Nivel de confianza (Confidence Level): probabilidad de que el valor real quede dentro del intervalo de confianza al repetir el mismo experimento 100 veces (habitualmente, 95 %).
  • Hipótesis nula (Null Hypothesis, H0): premisa de partida según la cual "no existe ninguna diferencia de rendimiento entre la opción A y la opción B".
  • Hipótesis alternativa (Alternative Hypothesis, H1): afirmación de que "sí existe una diferencia de rendimiento significativa entre la opción A y la opción B".
  • Prueba Z (Z-Test): técnica de contraste paramétrico que, basándose en la distribución normal, verifica si la diferencia de proporciones entre dos grupos es estadísticamente significativa.

Preguntas frecuentes

¿Se puede hacer el contraste aunque el tráfico (impresiones) de la opción A y de la opción B no sea exactamente 50:50?

Sí. La fórmula del Two-Proportion Z-Test que usa esta calculadora calcula el error estándar de cada grupo y los pondera, de modo que obtiene el Z-score y el valor p con exactitud aunque los tamaños de muestra de los dos grupos sean distintos. Así que puedes analizarlo sin problema.

¿Qué hago si el valor p se queda justo por encima, por ejemplo en 0.051?

0.05 es un umbral convencional. Un 0.051 no basta para declarar una victoria estadísticamente rotunda, pero apunta a una tendencia fuerte, así que puedes alargar el experimento unos días para reunir más datos o revisar en conjunto los indicadores de protección (guardrail metrics) y decidir con flexibilidad.

¿Se filtran fuera los datos de impresiones y conversiones de mi empresa que introduzco en la calculadora?

En esta herramienta todos los cálculos se ejecutan localmente, en el motor JavaScript de tu propio navegador. No se envía ningún dato a servidores externos, así que puedes validar con tranquilidad las cifras clave de tus KPI internos.

Este artículo está adaptado de nuestro original en coreano. Leer el original en coreano

Artículos relacionados

  1. Cómo citar en APA 7, MLA 9 y Chicago 17: guía de referenciasAprende las diferencias entre APA 7.ª, MLA 9.ª y Chicago 17.ª ed.: apellidos, año, cursivas, puntuación y DOI, y genera tus referencias sin errores.
  2. ROAS vs ROI: diferencias y cálculo del punto de equilibrioEntiende en qué se diferencian el ROAS y el ROI, cómo calcular el ROAS de punto de equilibrio según tu margen y cómo evitar anuncios que generan pérdidas.
  3. Calculadora de ritmo para maratón y 10 km: tabla de parcialesAprende a calcular tu ritmo por kilómetro para terminar un maratón o un 10 km, usa la tabla de parciales cada 5 km y aplica el split negativo.
  4. Cuánto tarda en eliminarse el alcohol: fórmula de Widmark y tiemposCalcula cuánto tarda tu cuerpo en eliminar el alcohol según sexo, peso y bebida con la fórmula de Widmark, y cómo evitar conducir con alcohol al día siguiente.
  5. Conversor de unidades de ángulo: grados y radianes con fórmulasAprende a convertir grados, radianes, gradianes y vueltas, por qué Math.sin usa radianes y cómo ver el tamaño real del ángulo con un sector SVG en vivo.
  6. 100 días de pareja: cómo se calculan y diferencia con el D-DayAprende a calcular los 100 y 1000 días, el primer aniversario y el D-Day, con la fórmula exacta y el tratamiento de los años bisiestos.

Herramientas relacionadas