La fuerza invisible de las covariables: Cómo superar el sesgo de selección en las pruebas A/B

El problema que nadie quiere ver

Imagine: una gran empresa de comercio electrónico lanza un nuevo banner de diseño y mide la duración media de las sesiones. La primera mirada a los datos promete mucho: un aumento de 0,56 minutos (alrededor de 33 segundos por sesión). Suena prometedor, ¿verdad? Pero aquí comienza la aventura del análisis estadístico en profundidad.

El dilema: ¿Qué tan seguros podemos estar de que el banner es realmente la causa de esta mejora? ¿Y si los usuarios mayores y técnicamente más versados ven sistemáticamente más el nuevo banner que los nuevos clientes? La respuesta nos lleva a un problema clásico de la investigación empírica: la sesgo de selección.

T-Test vs. Regresión lineal: El duelo equivocado

El clásico T-Test proporciona rápidamente una respuesta aquí. La diferencia entre el grupo de control y el de tratamiento es exactamente 0,56 minutos – listo. Pero un error frecuente: muchos analistas piensan que la regresión lineal solo es relevante para escenarios más complejos. Eso es falso.

¿Qué pasa si en su lugar usamos una regresión lineal con el estado del banner (1 = visible, 0 = no visible) como variable independiente y la duración de la sesión como resultado? Sorprendentemente, obtenemos el mismo coeficiente de tratamiento: 0,56 minutos. No es casualidad: matemáticamente, ambas pruebas son equivalentes bajo estas condiciones, porque prueban la misma hipótesis nula.

Pero el R-cuadrado revela un problema: con solo 0,008 explicamos menos del 1% de la varianza. El modelo ignora muchos otros factores que realmente influyen en cuánto tiempo permanecen los usuarios en la página.

El cambio de juego: añadir covariables

Aquí se muestra la verdadera fuerza de la regresión lineal. Cuando introducimos una variable adicional — por ejemplo, la duración media de la sesión de los usuarios antes del experimento — todo cambia drásticamente.

El modelo mejora de inmediato: el R-cuadrado sube a 0,86, explicando ahora el 86% de la varianza. Y lo más importante: el efecto del tratamiento disminuye a 0,47 minutos. ¿Por qué? La covariable anterior revela un “efecto bola de nieve” — usuarios que ya tenían sesiones largas muestran un patrón de comportamiento similar a una bola de nieve, donde pequeñas diferencias iniciales se suman a efectos grandes.

Este hallazgo es crucial: el efecto original de 0,56 fue en parte inflado por el sesgo de selección. Los usuarios con sesiones naturalmente más largas no estaban distribuidos aleatoriamente entre los grupos: estaban más concentrados en el grupo de tratamiento.

La verdad matemática: ATE, ATT y SB

Para expresarlo formalmente:

• ATE (Efecto Promedio del Tratamiento): El efecto medio del tratamiento que queremos estimar
• ATT (Efecto Promedio en los Tratados): El efecto en los usuarios realmente tratados — también llamado ACE (Efecto Causal Promedio)
• SB (Sesgo de Selección): El sesgo de selección que distorsiona el efecto real

La diferencia ingenua entre las medias de los grupos mezcla estos conceptos:

Estimación ingenua = ATE + SB

Con covariables, podemos reducir el sesgo y acercarnos al efecto real.

Validación mediante simulación

En un experimento controlado, donde el efecto real es conocido (0,5 minutos), se muestra: