Análise de resultados: documentação do CheckoutOS

A análise dos resultados determina se o experimento gerou aprendizados relevantes. O CheckoutOS oferece análises completas para ajudar você a entender o que aconteceu e tomar decisões com confiança.

Painel de resultados

O painel de resultados do experimento mostra:

Resumo do desempenho — Métricas principais de cada variante
Significância estatística — Confiança nos resultados
Cálculo da variação — Quanto o desempenho da variante melhorou ou piorou
Tamanhos das amostras — Tráfego recebido por cada variante
Gráficos de tendência — Desempenho ao longo do tempo

Entendendo as principais métricas

Resumo dos resultados

{
  "experiment_results": {
    "status": "significant",
    "winner": "Variant A",
    "runtime_days": 14,
    "total_visitors": 12500,
    "variants": [
      {
        "name": "Control",
        "visitors": 6250,
        "conversions": 312,
        "conversion_rate": "4.99%",
        "revenue": 28750,
        "aov": 92.15
      },
      {
        "name": "Variant A",
        "visitors": 6250,
        "conversions": 387,
        "conversion_rate": "6.19%",
        "revenue": 35418,
        "aov": 91.52,
        "lift": "+24.0%",
        "p_value": 0.003,
        "confidence": "99.7%"
      }
    ]
  }
}

Significância estatística

A significância estatística indica se a diferença observada provavelmente é real ou pode ser resultado do acaso:

Indicadores de significância

95% de confiança — Limite padrão para declarar uma vencedora
99% de confiança — Alta confiança, muito improvável que seja aleatório
Valor-p < 0,05 — Estatisticamente significativo ao nível de 95%
Intervalo de confiança — Faixa em que o valor real provavelmente se encontra

Evite espiar os resultados

Verificar os resultados repetidamente e parar ao observar significância aumenta a taxa de falsos positivos. Defina uma meta de tamanho da amostra e siga essa meta.

Interpretação de resultados

Vencedora clara

Quando os resultados mostram significância estatística e uma melhoria relevante:

Documente a variante vencedora e os principais aprendizados
Disponibilize a vencedora para 100% do tráfego
Monitore as métricas após a implementação para confirmar
Planeje o próximo experimento

Sem diferença significativa

Quando as variantes têm desempenho semelhante:

Isso ainda é valioso: você aprendeu que a mudança não faz diferença
Avalie se o teste durou tempo suficiente
A opção mais simples ou barata pode ser preferível
Documente e passe a testar mudanças maiores

Resultados inesperados

Quando a variante tem desempenho pior que o esperado:

Não descarte resultados negativos: eles são valiosos
Investigue por que não funcionou
Verifique se há erros de implementação
Avalie se você testou o público certo

Análise por segmento

Divida os resultados por segmentos de clientes para encontrar aprendizados ocultos:

Detalhamento por segmento

{
  "segment_analysis": {
    "by_device": {
      "mobile": { "control": "4.2%", "variant": "6.8%", "lift": "+62%" },
      "desktop": { "control": "5.5%", "variant": "5.4%", "lift": "-2%" }
    },
    "by_customer_type": {
      "new": { "control": "3.1%", "variant": "5.2%", "lift": "+68%" },
      "returning": { "control": "7.8%", "variant": "7.4%", "lift": "-5%" }
    },
    "by_cart_value": {
      "under_50": { "control": "5.1%", "variant": "6.2%", "lift": "+22%" },
      "50_to_100": { "control": "4.9%", "variant": "6.1%", "lift": "+24%" },
      "over_100": { "control": "4.8%", "variant": "6.3%", "lift": "+31%" }
    }
  }
}

Aprendizados por segmento

Às vezes, um resultado geral sem vencedora esconde um grande ganho em um segmento específico. Usuários de dispositivos móveis podem adorar uma mudança que usuários de computador detestam. A análise por segmento revela essas oportunidades.

Exportação de resultados

Exporte os dados do experimento para análises adicionais:

Opções de exportação

Exportação CSV — Dados brutos para análise em planilhas
Relatório PDF — Documento de resumo para compartilhar
Acesso via API — Obtenção programática de dados
Integração de análises — Envie para Google Analytics, Mixpanel e outros

Conclusão de experimentos

Verificar a significância

Confirme que os resultados atingiram significância estatística.

Documentar as conclusões

Registre a hipótese, os resultados e os aprendizados.

Declarar a vencedora

Escolha uma vencedora ou declare o resultado inconclusivo.

Disponibilizar

Aplique a variante vencedora a 100% do tráfego.

Monitorar

Acompanhe as métricas após a implementação para confirmar que a melhoria se mantém.

Boas práticas

Dicas de análise

Espere pela significância — Não declare vencedoras cedo demais
Observe várias métricas — Conversão não é tudo
Verifique os segmentos — Resultados gerais podem ocultar diferenças entre segmentos
Considere o impacto no negócio — Uma pequena melhoria com muito tráfego gera grande valor
Documente tudo — Construa uma base de conhecimento sobre experimentos

Tópicos relacionados

Painel de análise

Acompanhe o desempenho geral do CheckoutOS

Saiba mais

Crie experimentos

Configure seu próximo teste A/B

Saiba mais