1) Conceitos Fundamentais

O objetivo do A/B testing é comparar duas variantes de uma mesma experiência para entender qual entrega melhor resultados, sem introduzir viés na amostra. Ao longo do artigo, eu explico como estruturar o experimento, como medir o sucesso e como interpretar os resultados com rigor estatístico.

• Variantes: A (controle) e B (teste). A mudança pode ser tão simples quanto um texto diferente, um botão com outra cor ou a remoção de um elemento.
• Métrica primária: a métrica que define o sucesso do experimento (ex.: taxa de conversão, tempo médio na página, receita por usuário).
• Hipóteses: H0 (nenhuma diferença) vs H1 (existe diferença). Escolho entre teste bidirecional ou unilateral conforme o objetivo.
• Aleatorização: alocação aleatória dos usuários às variantes para manter o equilíbrio entre grupos e reduzir viés de contexto.

2) Planejamento do Experimento

O planejamento é onde a validade do experimento começa. Defino a métrica principal, o baseline atual, o tamanho da amostra e a duração do teste para evitar decisões oportunistas.

• Definir objetivo claro: qual resultado é considerado sucesso? Ex.: aumentar a taxa de conclusão de compra em 15%.
• Escolha da métrica principal e métricas secundárias para entender trade-offs (ex.: CAC, tempo de retenção, satisfação do usuário).
• Calculando tamanho da amostra: com alpha (nível de significância) e power (1 – β, poder estatístico). Quanto maior o poder, mais confiança nas diferenças detectadas.
• Controle de contexto: distribuição de usuários por dispositivo, canal, geografia e época do dia. Evito confusão entre mudanças sazonais e variações da variante.

3) Implementação e Instrumentação

Nesse estágio eu aplico a solução de forma reprodutível, com rastreamento preciso da exposição às variantes e das ações de cada usuário.

• Flags de variante: uso flags de feature para expor usuários a A ou B sem alterar o código de forma diferente entre ambientes.
• Tracking de exposição e conversão: registro claro de quando o usuário viu a variante e realizou a ação de interesse (conversão).
• Qualidade de dados: deduplicação, tratamento de churn, remoção de dados corrompidos e validação de janelas de coleta.
• Prevenção de viés: evitar peeking, garantir distribuição temporal estável e monitoramento de métricas não relacionadas que possam enviesar a avaliação.

// Exemplo: cálculo de taxa de conversão por variante
// e comparação simples entre A e B (Python-like pseudocode)
# x1: conversões em A, n1: total em A
# x2: conversões em B, n2: total em B
def taxas_e_diferenca(x1, n1, x2, n2):
    p1 = x1 / n1
    p2 = x2 / n2
    diff = p1 - p2
    return p1, p2, diff

# Exemplo de uso
pA, pB, diff = taxas_e_diferenca(120, 1000, 135, 980)
print(pA, pB, diff)

Observação: este snippet ilustra o cálculo básico de taxas por variante. Em produção, você deve incorporar validação de dados, tratamento de zeros e uma camada de verificação de qualidade para excluir outliers que possam distorcer a análise.

import math

def pvalue_two_proportions(x1, n1, x2, n2):
    p1 = x1 / n1
    p2 = x2 / n2
    p = (x1 + x2) / (n1 + n2)
    se = math.sqrt(p * (1 - p) * (1/n1 + 1/n2))
    z = (p1 - p2) / se
    Phi = 0.5 * (1 + math.erf(abs(z) / math.sqrt(2)))
    p_value = 2 * (1 - Phi)
    return z, p_value

# Exemplo de uso
z, p = pvalue_two_proportions(120, 1000, 135, 980)
print("z =", z, "p-valor =", p)

Este código demonstra um teste de duas proporções simples: ele calcula o z-score e o p-valor para comparar as taxas de conversão entre as variantes A e B. Em cenários reais, integre com o pipeline de dados para automatizar a coleta e a geração de resultados de forma confiável.

4) Análise e Interpretação

A interpretação dos resultados deve considerar não apenas a significância estatística, mas também o impacto prático e a robustez dos achados.

• Significância: se p-valor for menor que alpha (comumente 0,05), rejeito H0. Contudo, decisão prática exige olhar para o tamanho do efeito (uplift) e seu intervalo de confiança.
• Intervalo de confiança: forneça o intervalo da diferença entre variantes para entender inclusão de valores de efeito na prática.
• Ajustes por multiplicidade: se houver várias métricas ou segmentos, aplique correção de p-values (ex.: Holm-Bidirectional, Bonferroni) para evitar falsa detecção.
• Validação de consistência: confirme que o efeito é estável ao longo de segmentos (dispositivos, canais) e não é impulsionado por um viés sazonal.
• Decisão: se o uplift é relevante e consistente, implemente a variante vencedora; caso contrário, recue e repita com ajuste de mensagem, posicionamento ou segmentação.

Boas práticas incluem preregistrar hipóteses, documentar o plano experimental, manter registros imutáveis do experimento e revisar os resultados com ceticismo saudável para evitar conclusões precipitadas.