CRO na prática: heatmaps, gargalos de conversão e testes A/B honestos

Antes de testar, observe: o que heatmaps e gravações mostram e o que escondem

Imagine uma landing page fictícia da Oficina Lente Clara, que vende uma oficina online de fotografia com celular. O formulário de inscrição fica no fim da página, depois de seis blocos de texto. O dono olha o painel e vê só um número: a página converte pouco. Esse número não diz nada sobre a causa. É aqui que ferramentas de comportamento entram, como o Microsoft Clarity e o Hotjar, que oferecem mapas de calor, mapas de rolagem e gravações de sessões.

Um mapa de rolagem poderia mostrar, nesse caso hipotético, que boa parte dos visitantes abandona a página antes de chegar ao formulário. Um mapa de cliques poderia mostrar muitos cliques em uma imagem que não é link, sinal de que as pessoas esperam interação ali. As gravações mostram o gesto concreto: o visitante digita o e-mail, apaga, volta ao preço, sai. Cada um desses padrões gera uma pergunta, e não uma resposta.

Três cuidados evitam conclusões erradas:

• Volume mínimo de sessões. Um mapa de calor com poucas dezenas de visitas é anedota. Espere acumular sessões suficientes de cada dispositivo, porque celular e computador se comportam de forma diferente.
• Segmento antes de média. Separe tráfego pago, orgânico e e-mail. Um visitante que veio de um anúncio e outro que veio de uma indicação chegam com expectativas distintas.
• Privacidade. Gravações capturam comportamento e, se mal configuradas, dados digitados. Mascare campos de formulário, informe o uso de cookies e ferramentas de análise na política de privacidade e obtenha consentimento quando a base legal exigir. A LGPD (Lei 13.709/2018) trata esses dados como pessoais quando identificam ou tornam identificável uma pessoa. As ferramentas listadas costumam oferecer opções de mascaramento; confira a documentação oficial de cada uma, porque os recursos e planos mudam.

O que as ferramentas escondem é o motivo. Quem rola até o meio e sai pode ter perdido o interesse, achado o preço alto, sido interrompido ou resolvido o problema com a informação que já leu. Para separar essas explicações, o complemento é qualitativo: três ou quatro conversas curtas com quem se inscreveu e com quem não se inscreveu, e a leitura das perguntas que chegam ao atendimento. Esse é um dos usos práticos da pesquisa descrita no funil AARRR, em que cada etapa precisa de uma métrica e de um diagnóstico: o número aponta a etapa, e o contato com pessoas explica a causa.

Da observação à hipótese: a ficha de uma linha por teste

Uma hipótese de teste tem estrutura. Sem ela, o teste vira a troca de uma cor de botão por outra e ninguém aprende nada com o resultado. A ficha a seguir cabe numa linha de planilha e é a entrega deste artigo:

Dois campos merecem comentário. A métrica de proteção impede o erro clássico de otimizar a conversão e piorar o negócio: formulário curto demais traz mais inscrições e menos pessoas que comparecem. E a regra de decisão escrita antes evita que o time interprete o resultado conforme a conveniência depois de ver os números. Ellis e Brown, em Hacking Growth, tratam o registro de hipóteses e resultados como parte do método de growth, justamente para que aprendizados de testes que falharam não se percam.

Tamanho de amostra: a conta que decide se vale testar

A pergunta que a maior parte dos pequenos negócios pula é: esta página tem tráfego para este teste? A resposta vem de uma conta simples, feita antes de montar a variante. Kohavi, Tang e Xu apresentam, em Trustworthy Online Controlled Experiments, uma regra prática para o tamanho de amostra por variante: cerca de 16 vezes a variância da métrica dividida pelo quadrado da menor diferença que se quer detectar (para um nível de confiança de 95% e poder de 80%, convenções comuns). Para uma taxa de conversão, a variância é a taxa vezes um menos a taxa.

Aplicando ao exemplo hipotético: suponha que a landing da Oficina Lente Clara converta 3% dos visitantes e que o time queira detectar um aumento para 3,6% (uma melhoria relativa de 20%). A variância é 0,03 vezes 0,97, cerca de 0,029. A diferença é 0,006, e seu quadrado é 0,000036. A conta dá aproximadamente 13.000 visitantes por variante, ou 26.000 no total. Se a página recebe 3.000 visitas por mês, o teste levaria perto de nove meses. Nesse intervalo mudariam a sazonalidade, o público dos anúncios, o preço e a própria oferta, e o resultado não valeria como comparação.

Essa conta é uma estimativa, e os números exatos variam conforme a ferramenta e o método estatístico. Calculadoras de amostra de ferramentas de teste ou de bibliotecas estatísticas dão o valor mais preciso. O ponto é a ordem de grandeza: quanto menor a melhoria que você quer detectar, maior o volume necessário, e o volume cresce rápido. Detectar uma melhoria de 5% exige muito mais visitantes do que detectar uma de 50%.

Há duas saídas honestas quando a conta não fecha. A primeira é buscar uma mudança maior, que produza um efeito grande o bastante para ser detectado com o tráfego existente (reescrever a proposta de valor, e não trocar a cor do botão). A segunda é não testar, o assunto de uma seção mais abaixo.

Por que parar cedo engana

Com o tráfego suficiente e o teste no ar, a tentação é abrir o painel todo dia. Se, no terceiro dia, a variante B aparece com uma vantagem grande, parece sensato encerrar e comemorar. Kohavi e coautores explicam por que isso é um erro: cada vez que se olha o resultado e se decide parar se ele parecer significativo, a chance de declarar um vencedor que não existe aumenta bem acima dos 5% que o nível de confiança sugere. Isso é conhecido como problema do peeking, ou espiar o teste. As diferenças entre variantes flutuam nos primeiros dias, e uma flutuação favorável não é um efeito real.

Práticas que reduzem o risco:

1. Fixe a duração antes de começar e só decida ao final. Se a ferramenta usa métodos sequenciais que permitem espiar com controle estatístico, entenda exatamente como funcionam antes de confiar neles.
2. Use semanas inteiras. O comportamento de segunda-feira não é o de sábado; um teste que termina na quarta-feira privilegia certos dias.
3. Verifique a divisão do tráfego. Se o teste mandou 50% para cada versão e os números reais ficaram bem distantes disso, algo no experimento está quebrado (um desvio de proporção que Kohavi e coautores tratam como sinal de alerta). Antes de interpretar o resultado, investigue a causa.
4. Desconfie de efeitos grandes demais. Quando uma mudança pequena produz um salto enorme, a explicação mais provável é um erro de medição, e não um achado extraordinário.
5. Um teste, uma mudança principal. Se a variante troca título, imagem e formulário ao mesmo tempo, o resultado não diz qual alteração funcionou.

Esses cuidados valem também quando os testes são feitos dentro das plataformas de anúncios, como teste de criativos. Os relatórios mostram ganhos aparentes rápido, e a mesma disciplina de volume e de duração fixa se aplica.

Quando não testar: pouco tráfego pede outro método

Nem toda página precisa de teste A/B. Páginas com tráfego baixo ganham mais com métodos que não dependem de volume estatístico. Um roteiro possível, para o caso em que a conta da seção anterior não fecha:

• Fazer entrevistas curtas com quem comprou e com quem desistiu, perguntando o que procuravam e o que quase os fez desistir.
• Reunir as dúvidas recorrentes do atendimento (mensagens, e-mails, comentários) e responder a cada uma na própria página.
• Rodar um teste de cinco segundos ou de usabilidade com poucas pessoas: mostrar a página, perguntar o que ela vende e para quem, e observar onde hesitam.
• Fazer a mudança, comparar o antes e o depois com cuidado e registrar o que mais mudou no período (campanhas, sazonalidade, preço). Essa comparação não prova causalidade, mas, com um problema evidente de usabilidade, vale mais do que um teste nunca concluído.

Entrevistas com poucas pessoas também não são estatística. Elas geram hipóteses melhores, não medidas. A combinação de padrões vistos nas gravações com padrões repetidos em conversas é o que dá confiança para escolher o que testar quando o tráfego crescer. Para registrar essas conversões, definir eventos e comparar origens, o painel descrito em GA4, KPIs e atribuição evita que cada teste dependa de uma planilha avulsa.

O que esperar das ferramentas: um panorama com incertezas

O Google Optimize, que muitos pequenos negócios usavam por ser gratuito e integrado ao Google Analytics, foi descontinuado em 2023. Quem montou processos em cima dele precisou migrar, e a lição prática é separar o processo (hipótese, amostra, regra de decisão) da ferramenta. O mercado oferece alternativas pagas e de código aberto, e também recursos de teste dentro de plataformas de e-mail, de anúncios e de construtores de páginas. Verifique, em cada caso, como a ferramenta divide o tráfego, que método estatístico aplica e se permite definir o tamanho de amostra com antecedência.

Uma tendência provável, mas ainda sem consenso, é o uso de IA para gerar variantes de texto e de layout em grande quantidade. Isso reduz o custo de criar testes e aumenta um risco antigo: com muitas variantes e muitas métricas, alguma sempre parecerá vencedora por acaso. A estatística das comparações múltiplas não desaparece porque as variantes foram escritas por um modelo. Quem usar IA nessa etapa deve limitar o número de variantes ao que o tráfego comporta e manter a regra de decisão escrita antes.

Ainda assim, a objeção mais séria ao CRO baseado em teste não é estatística. Uma página otimizada para converter mais pode piorar a experiência de longo prazo: urgência artificial, informação escondida e formulários que escondem o preço aumentam inscrições e geram desconfiança e reembolsos. Em ofertas ao consumidor, o Código de Defesa do Consumidor (Lei 8.078/1990, art. 37) proíbe publicidade enganosa, incluindo a que omite dado essencial. Por isso a métrica de proteção da ficha não é um adorno. Um teste vence de verdade quando a conversão sobe e a experiência não piora, e nesse caso o aprendizado deve entrar no registro de hipóteses para orientar o próximo ciclo.

Os cursos pagos da academia sobre otimização de conversão estão em cursos.