Teste A/B é a forma mais rigorosa de responder "isso funciona melhor do que aquilo?" em produto. Quando bem feito, elimina o achismo das decisões de produto. Quando mal feito, cria evidências falsas que levam o produto na direção errada.

Esse artigo cobre os fundamentos que todo PM precisa entender para usar experimentos de forma responsável — mesmo que você não seja o responsável técnico por rodar os testes.

O que é um teste A/B

Um teste A/B é um experimento controlado onde dois grupos de usuários — divididos aleatoriamente — recebem experiências diferentes. Grupo A recebe a versão atual (controle). Grupo B recebe a variante. Você mede a métrica de interesse em cada grupo e verifica se a diferença é estatisticamente significativa.

A aleatorização é o que torna o teste válido. Sem divisão aleatória, você não pode atribuir diferenças na métrica à mudança no produto — podem ser diferenças preexistentes entre os grupos.

Como estruturar um experimento

Antes de rodar qualquer teste, você precisa definir quatro coisas: a hipótese ("acreditamos que X vai aumentar Y"), a métrica primária (o que você está medindo), o critério de sucesso (qual é o tamanho do efeito que você precisa ver para considerar a variante melhor), e a duração do teste.

Hipóteses vagas produzem testes inúteis. "Testar se o novo botão funciona melhor" não é hipótese. "Acreditamos que mudar o CTA de 'Começar' para 'Criar minha conta grátis' vai aumentar a taxa de clique no cadastro em pelo menos 10% porque torna o benefício mais explícito" é uma hipótese testável com critério claro.

Tamanho de amostra e duração

O erro mais comum em teste A/B é parar cedo quando os resultados parecem bons. Isso se chama peeking e produz falsos positivos. A amostra precisa ser determinada antes do teste começar, com base no tamanho do efeito que você quer detectar e no nível de significância desejado.

Calculadoras de tamanho de amostra para testes A/B estão disponíveis online — o Evan Miller Sample Size Calculator é uma das mais usadas. Você precisa saber: taxa de conversão atual, efeito mínimo detectável (o menor ganho que vale a pena detectar) e significância estatística desejada (geralmente 95%).

A questão da duração

Além do tamanho de amostra, a duração importa porque o comportamento dos usuários varia ao longo da semana e do mês. Um teste que roda só na segunda-feira vai capturar um perfil de usuário diferente de um teste que roda sete dias. Rodar pelo menos uma semana completa, de preferência duas, é uma boa prática para a maioria dos contextos.

Como interpretar os resultados

Significância estatística não significa relevância prática. Um teste com resultado de p < 0.05 que mostra um ganho de 0.1% na conversão é estatisticamente significativo — mas irrelevante para o produto. A pergunta depois da significância é: o tamanho do efeito justifica a mudança?

Também é importante olhar para métricas secundárias e de guarda-rail. A variante pode ter melhorado a conversão mas piorado a retenção de sete dias. Vitórias locais que prejudicam métricas de saúde do produto são derrotas globais.

Quando não usar teste A/B

Teste A/B não é a ferramenta certa para tudo. Quando o volume de usuários é muito baixo, você não vai conseguir amostras suficientes em tempo razoável. Quando a mudança é de experiência qualitativa (redesign completo da interface, nova proposta de valor), um teste A/B pode não capturar os efeitos de longo prazo. E quando a decisão já está tomada por razões estratégicas, rodar um teste para "confirmar" é desperdício.

Para esses casos, pesquisa qualitativa, teste de usabilidade ou análise de dados existentes são melhores alternativas. Para entender como usar diferentes tipos de dados para tomar decisões, veja o artigo sobre como usar dados para decisões de produto.