A força invisível das covariáveis: Como superar o viés de seleção em testes A/B

2026-01-09 11:35:23

O Problema que ninguém quer ver

Imagine: uma grande empresa de comércio eletrónico lança um novo banner de design e mede a duração média da sessão. A primeira análise dos dados promete muito – um aumento de 0,56 minutos (cerca de 33 segundos por sessão). Parece promissor, não é? Mas aqui começa a aventura da análise estatística aprofundada.

O dilema: Quão confiáveis podemos ser de que o banner é realmente a razão por trás dessa melhoria? E se utilizadores mais antigos e tecnicamente experientes visualizarem sistematicamente o novo banner com mais frequência do que novos clientes? A resposta leva-nos a um problema clássico da investigação empírica – o viés de seleção.

T-Teste vs. Regressão Linear: O duelo errado

O teste t clássico fornece aqui uma resposta rápida. A diferença entre o grupo de controlo e o de tratamento é exatamente 0,56 minutos – pronto. Mas um erro comum: muitos analistas pensam que a regressão linear é relevante apenas para cenários mais complexos. Isso está errado.

O que acontece se usarmos uma regressão linear com o status do banner (1 = visível, 0 = não visível) como variável independente e a duração da sessão como saída? Surpreendentemente, obtemos o mesmo coeficiente de tratamento: 0,56 minutos. Não é por acaso – matematicamente, ambos os testes são equivalentes sob estas condições, pois testam a mesma hipótese nula.

No entanto, o R-quadrado revela um problema: com apenas 0,008, explicamos menos de 1% da variância. O modelo ignora muitos outros fatores que realmente influenciam quanto tempo os utilizadores permanecem na página.

O fator que muda tudo: adicionar covariáveis

Aqui mostra-se a verdadeira força da regressão linear. Quando introduzimos uma variável adicional – por exemplo, a duração média da sessão dos utilizadores antes do experimento – tudo muda drasticamente.

O modelo melhora instantaneamente: o R-quadrado sobe para 0,86, explicando agora 86% da variância. Ainda mais importante: o efeito do tratamento diminui para 0,47 minutos. Por quê? A covariável anterior revela um “efeito bola de neve” – utilizadores que já tinham sessões longas exibem um padrão de comportamento semelhante a uma bola de neve, onde pequenas diferenças iniciais se acumulam em efeitos grandes.

Essa descoberta é crucial: o efeito original de 0,56 foi parcialmente inflado pelo viés de seleção. Utilizadores com sessões naturalmente mais longas não foram distribuídos aleatoriamente entre os grupos – eles concentraram-se mais no grupo de tratamento.

A verdade matemática: ATE, ATT e SB

Para expressar isso formalmente:

ATE (Efeito Médio de Tratamento): o efeito médio do tratamento que queremos estimar
ATT (Efeito Médio nos Tratados): o efeito nos utilizadores realmente tratados – também chamado de ACE (Efeito Causal Médio)
SB (Viés de Seleção): o viés de seleção que distorce o efeito verdadeiro

A diferença ingênua entre as médias dos grupos mistura esses valores:

Estimativa ingênua = ATE + SB

Com covariáveis, podemos reduzir o viés e aproximar-nos do efeito verdadeiro.

Validação por simulação

Num experimento controlado, onde o efeito verdadeiro é conhecido (0,5 minutos), fica claro:

Ver original

Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.