Pruebas A/B

Calculadora de pruebas A/B — Significación estadística de su prueba dividida

Introduzca los visitantes y las conversiones de sus dos variantes y descubra, con estadística real y no con intuición, si su prueba tiene realmente un ganador.

Qué tan seguro necesita estar antes de declarar un ganador.
Veredicto de la prueba
—
 
0%
Tasa de la variante A
0%
Tasa de la variante B
0%
Mejora relativa
—
Valor p / confianza
Consejo: un resultado «significativo» solo significa que la diferencia probablemente es real; no significa que sea lo bastante grande como para importar. Fíjese en el tamaño de la mejora, no solo en las estrellas.

Esta calculadora de pruebas A/B gratuita toma las cifras en bruto de su prueba dividida (visitantes y conversiones de ambas variantes) y le indica si la diferencia que observa es un resultado genuino y estadísticamente fiable o simple ruido. Introduzca el tráfico y las conversiones de la variante A, el tráfico y las conversiones de la variante B, elija el nivel de confianza que necesita y obtendrá al instante un veredicto: un ganador con su confianza declarada, o «todavía no significativo». Todos los cálculos se realizan en su navegador mediante una prueba z de dos proporciones estándar, la misma matemática que hay detrás de las comprobaciones de significación de la mayoría de las plataformas profesionales de pruebas.

Creamos esta calculadora de pruebas A/B porque muchos equipos detienen las pruebas en cuanto una variante «parece» ir por delante, sin comprobar si la diferencia podría deberse al azar. En Arb Digital realizamos pruebas divididas en páginas de destino y creatividades de anuncios de forma constante, y el hábito que separa a los equipos que crecen de verdad de los que solo reparten el tráfico de otra manera cada mes es este: comprueban la significación antes de tomar una decisión, no después.

Qué hace esta calculadora de pruebas A/B

Usted está ejecutando una prueba dividida clásica: dos versiones de una página, un correo, un anuncio o un proceso de pago, cada una mostrada a una parte distinta del tráfico. La variante A suele ser su control, es decir, la versión actual. La variante B es la aspirante: su nuevo titular, diseño, precio o color de botón. Cada variante acumula su propio número de visitantes y de conversiones, y esas cuatro cifras son todo lo que esta calculadora necesita.

A partir de ellas calcula la tasa de conversión de cada variante, la mejora relativa de B frente a A, el error estándar de la diferencia entre ambas tasas, una puntuación z y un valor p; después compara ese valor p con el nivel de confianza que usted eligió. Si el resultado supera su umbral, la herramienta declara un ganador e indica con qué confianza puede afirmarlo. Si no lo supera, le dice con claridad que todavía no hay resultado, algo tan valioso de saber como una victoria.

Cómo usarla

  1. Introduzca los visitantes y las conversiones de la variante A. Casi siempre es su control actual, la página o versión con la que compara.
  2. Introduzca los visitantes y las conversiones de la variante B. Su aspirante: la nueva versión que espera que supere al control.
  3. Elija su nivel de confianza. El 95% es el valor estándar para la mayoría de las decisiones de marketing; use el 99% en cambios de alto riesgo, como los precios o el proceso de pago, donde un falso positivo sale caro.
  4. Lea el veredicto. El resultado grande le indica con claridad si hay un ganador estadísticamente significativo y cuál es.
  5. Revise la mejora, no solo las estrellas. Un resultado significativo con una mejora relativa mínima puede no valer el esfuerzo técnico de implementarlo. La significación responde a «¿es real?», no a «¿vale la pena?».

La fórmula y cómo se calcula

Esta calculadora aplica una prueba z de dos proporciones estándar, el método clásico para comparar dos tasas de conversión. Primero calcula la tasa de cada variante: conversiones divididas entre visitantes. Después combina ambas muestras en una tasa conjunta y usa esa tasa para calcular el error estándar de la diferencia entre A y B. Al dividir la diferencia observada entre ese error estándar se obtiene una puntuación z, y al pasarla por la función de distribución acumulada de la normal se obtiene un valor p: la probabilidad de ver una diferencia así de grande (o mayor) solo por azar si en realidad no existiera diferencia entre las variantes.

  1. Tasa de cada variante: pA = conversiones A / visitantes A, y pB de forma análoga.
  2. Tasa conjunta: p = (conversiones A + conversiones B) / (visitantes A + visitantes B).
  3. Error estándar: SE = √( p × (1 − p) × (1/visitantes A + 1/visitantes B) ).
  4. Puntuación z: z = (pB − pA) / SE.
  5. Valor p bilateral: 2 × (1 − Φ(|z|)), donde Φ es la distribución normal estándar acumulada. La «confianza» mostrada es (1 − valor p) × 100.
  6. El veredicto es «significativo» cuando el valor p es inferior a 1 menos el nivel de confianza elegido (0,05 al 95%). La mejora relativa es (pB − pA) / pA.

Ejemplo resuelto (las cifras por defecto)

Variante A: 150 conversiones de 5.000 visitantes = 3,00%. Variante B: 185 de 5.000 = 3,70%. La mejora relativa es (3,70 − 3,00) / 3,00 = +23,3%. La tasa conjunta es 335 / 10.000 = 0,0335, de modo que SE = √(0,0335 × 0,9665 × (1/5.000 + 1/5.000)) = aproximadamente 0,0036. Entonces z = 0,007 / 0,0036 = aproximadamente 1,94, lo que da un valor p bilateral de aproximadamente 0,052 (94,8% de confianza). No alcanza el umbral de 0,05 en el ajuste del 95%, así que la herramienta indica «Todavía no significativo» aunque B parezca un 23% mejor. Cambie B a 200 conversiones y el valor p baja a aproximadamente 0,007, una victoria clara.

El método es la prueba z de dos proporciones con tasa conjunta, la estándar. La guía de Evan Miller sobre errores en las pruebas A/B explica qué significa un nivel de significación y por qué deja de valer si se detiene una prueba antes de tiempo. La calculadora es bilateral: señala una diferencia real en cualquier dirección y no corrige por ejecutar varias variantes o varias métricas a la vez.

Por qué «mirar de reojo» lleva a lanzar perdedores

Este es el error que arruina en silencio más pruebas A/B que cualquier otro: revisar los resultados todos los días y detener la prueba en el instante en que las cifras se ven bien. Parece responsable (al fin y al cabo está supervisando la prueba), pero es estadísticamente peligroso. Cada vez que mira una prueba y tiene la opción de detenerla, le da al azar otra oportunidad de producir un falso positivo. El análisis de Evan Miller da un ejemplo del peor caso: si se evalúa una tasa de conversión del 50% tras cada observación y se detiene la prueba en el primer resultado al 5% o tras 150 observaciones, un cambio que no hace nada se declara erróneamente ganador cerca del 26,1% de las veces, más de cinco veces el 5% que usted creía tener. Revisar a diario es menos grave que eso, pero la tasa de falsos positivos sigue quedando por encima de su umbral declarado.

La disciplina que lo soluciona es fácil de enunciar y difícil de cumplir: decida el tamaño de muestra antes de lanzar la prueba, con una herramienta como nuestra calculadora de tamaño de muestra, y no declare un ganador hasta alcanzar esa cifra. Revisar el avance por el camino está bien; el error es detenerse antes porque las cifras intermedias parecen prometedoras. Trate el tamaño de muestra fijado de antemano como una línea de meta, no como una sugerencia.

La significación estadística no es significación de negocio

Un resultado puede ser perfecta y rigurosamente significativo desde el punto de vista estadístico y, aun así, no tener ninguna relevancia para el negocio. Con tráfico suficiente (cientos de miles de visitantes) puede detectar una mejora relativa del 0,2% con total confianza estadística. Es real. Pero probablemente no valga ni una hora de desarrollo implementarla, porque el impacto en ingresos se redondea a cero. La significación le dice que la diferencia probablemente no es azar; no dice nada sobre si es lo bastante grande como para justificar el coste de lanzarla. Lea siempre el porcentaje de mejora relativa junto con el valor p y pregúntese con honestidad si ese tamaño de cambio mueve una cifra que le importe a alguien en el negocio.

Nunca ejecute una prueba durante un periodo festivo

El tráfico y la intención de compra durante el Black Friday, la semana de Navidad o un fin de semana festivo importante no se parecen en nada a un martes normal. Los visitantes son más sensibles al precio, más impulsivos o directamente no aparecen, según su sector, y la variante que esté activa en esa ventana recibe una lectura distorsionada que no tiene nada que ver con qué diseño de página es realmente mejor. Si un festivo, una gran promoción o una mención importante en prensa cae dentro de la ventana de su prueba, pause la prueba y reanúdela en condiciones normales, o amplíe su duración para que la anomalía se diluya en una muestra completa y representativa. Un «ganador» declarado con datos de temporada festiva rara vez se sostiene cuando el tráfico vuelve a la normalidad.

Cómo interpretar bien el resultado

  • «Significativo — gana B» significa que la mejora observada superó el umbral de confianza elegido. Impleméntelo, pero antes verifique que el tamaño de la mejora tenga sentido.
  • «Todavía no significativo» significa que no tiene pruebas en ninguna dirección. No quiere decir que las variantes sean iguales; quiere decir que aún no tiene datos suficientes para afirmarlo.
  • Una mejora negativa que es significativa es tan valiosa como una positiva: le indica que conserve el control y deje de malgastar tráfico en la aspirante.
  • Las diferencias pequeñas con muestras pequeñas casi nunca alcanzarán la significación. No es un fallo de las matemáticas: son las matemáticas indicándole correctamente que la muestra es demasiado pequeña para fiarse.

Qué hacer a continuación

  • Ganador y una mejora que valga la pena: impleméntelo y siga vigilando la métrica real (ingresos, no solo clics) durante unas semanas para confirmar que la ganancia se mantiene.
  • No significativo, muestra alcanzada: trátelo como «sin diferencia detectable». Quédese con la versión más barata o más sencilla y pase a una idea más audaz.
  • No significativo, muestra sin alcanzar: siga hasta el tamaño de muestra que fijó antes del lanzamiento y no se detenga antes por una cifra intermedia que parezca buena.
  • Significativo pero con una mejora mínima: calcule primero el valor de esa mejora en dinero. Si no cubre el coste de construir y mantener el cambio, descártelo.
¿Quiere una página de destino que ya nazca preparada para ganar sus pruebas?

Arb Digital diseña páginas de destino orientadas a la conversión y ejecuta las pruebas divididas que las acompañan, de modo que no tenga que adivinar qué probar a continuación: prueba una página construida sobre datos desde el principio.

Ver nuestros servicios de diseño web Todas las herramientas gratis

Errores comunes que debe evitar

  • Mirar de reojo y detenerse antes de tiempo. Fije el tamaño de muestra de antemano y respételo; consulte la sección anterior.
  • Probar demasiadas cosas a la vez. Cambie un solo elemento importante por prueba; de lo contrario no sabrá qué cambio movió realmente la cifra.
  • Ignorar la significación práctica. Una mejora del 0,1% estadísticamente real normalmente no vale la pena implementarla. Compare el tamaño de la mejora con el coste del cambio.
  • Ejecutar la prueba con tráfico no representativo. Los festivos, los picos virales y las caídas del sitio distorsionan la ventana de la prueba; pause o amplíe en torno a ellos.
  • Declarar un ganador con una muestra diminuta. Use la calculadora de tamaño de muestra antes de empezar para saber cuántos datos necesita realmente.
  • Confundir «no significativo» con «sin diferencia». Normalmente solo significa que necesita más datos, no que las variantes rindan igual.

Herramientas gratuitas relacionadas de Arb Digital

Antes de lanzar su próxima prueba dividida, planifíquela bien con nuestra calculadora de tamaño de muestra: le indica cuántos visitantes necesita antes de empezar, para que no se asome a una prueba sin potencia suficiente. Cuando tenga un ganador, modele el impacto en ingresos con la calculadora de conversión de páginas de destino, revise su tasa base con la calculadora de tasa de conversión y vea cómo una página que convierte mejor afecta a su coste de adquisición de clientes y a su tasa de clics. Explore todo en nuestro centro de herramientas en línea gratuitas.

Herramienta relacionada: Prueba de velocidad de internet.

Herramienta relacionada: ⌨️ Prueba de velocidad de escritura.

Herramienta relacionada: Probador de expresiones regulares.

Preguntas frecuentes

¿Cómo se calcula la significación de una prueba A/B?

Esta calculadora usa una prueba z de dos proporciones. Calcula la tasa de conversión de cada variante, combina ambas muestras para estimar una tasa conjunta, calcula el error estándar de la diferencia entre las tasas, obtiene de ahí una puntuación z y la convierte en un valor p mediante la distribución normal. Si el valor p es menor que el umbral de significación elegido (por ejemplo, 0,05 para una confianza del 95%), el resultado se declara estadísticamente significativo.

¿Qué tamaño de muestra necesito para una prueba A/B?

Depende de su tasa de conversión base y de la mejora mínima que quiera detectar con fiabilidad: las mejoras esperadas más pequeñas requieren muestras mucho mayores. Use nuestra calculadora de tamaño de muestra antes de lanzar una prueba para obtener un objetivo preciso de visitantes por variante a partir de sus propias cifras, en lugar de adivinar o dejarla correr hasta que «parezca» terminada.

¿Por qué mi prueba dice «no significativo» aunque B parezca mejor?

Una tasa bruta más alta no implica automáticamente una diferencia real: puede ser perfectamente una variación aleatoria, sobre todo con una muestra pequeña. «No significativo» significa que la diferencia que ve es lo bastante pequeña, en relación con el tamaño de su muestra, como para que siga siendo plausible que ambas variantes rindan igual. Es una señal de que necesita más datos, no de que B sea peor.

¿Qué nivel de confianza debo usar: 90%, 95% o 99%?

El 95% es el valor estándar para la mayoría de las pruebas de marketing y equilibra velocidad y fiabilidad. Use el 99% para cambios de alto riesgo y difíciles de revertir, como los precios o el proceso de pago, donde un falso positivo es costoso. El 90% puede ser razonable en pruebas rápidas, de bajo riesgo y fáciles de revertir, como el texto de un botón, donde el coste de equivocarse de vez en cuando es pequeño.

¿Es mala idea revisar los resultados de mi prueba todos los días?

Revisarlos para seguir el avance está bien. El peligro es detener la prueba en cuanto las cifras parecen favorables, lo que se llama «mirar de reojo» (peeking) e infla su tasa de falsos positivos muy por encima del nivel de confianza declarado. Decida el tamaño de muestra necesario antes de empezar y deje que la prueba llegue a esa cifra antes de tomar una decisión final.

¿Un resultado estadísticamente significativo puede ser aun así una mala decisión de implementar?

Sí. La significación solo indica que la diferencia probablemente no es azar; no dice nada sobre si es lo bastante grande como para importar al negocio. Una mejora relativa significativa del 0,2% en una muestra enorme es real, pero a menudo no compensa el coste técnico de implementarla. Valore siempre el porcentaje de mejora relativa junto con el valor p.

Mi ejemplo por defecto muestra a B un 23% por encima pero «no significativo». ¿Está mal la calculadora?

No. Con 150 y 185 conversiones de 5.000 visitantes cada una, el valor p es de aproximadamente 0,052, justo por encima del 0,05 necesario para una confianza del 95%. Una diferencia de ese tamaño aún puede aparecer por azar aproximadamente 1 de cada 20 veces. Más visitantes, o una diferencia real mayor, la llevarían por encima del umbral.

Las cifras que produce esta calculadora son estimaciones estadísticas con fines de planificación, basadas en los números que usted introduce.

¿Necesita ayuda con el siguiente paso?

¿Prefiere delegarlo? Vea cómo lo resuelve para sus clientes nuestro servicio de SEO.