Análisis de los resultados: documentación de CheckoutOS

El análisis de resultados permite determinar si el experimento aportó conclusiones útiles. CheckoutOS ofrece análisis completos para entender qué ocurrió y decidir con confianza.

Panel de resultados

El panel de resultados muestra:

Resumen de rendimiento — Métricas clave por variante
Significación estadística — Confianza en los resultados
Cálculo de mejora — Cuánto mejor o peor rindió la variante
Tamaños de muestra — Tráfico recibido por cada variante
Gráficos de tendencias — Rendimiento con el tiempo

Entender las métricas clave

Resumen de resultados

{
  "experiment_results": {
    "status": "significant",
    "winner": "Variant A",
    "runtime_days": 14,
    "total_visitors": 12500,
    "variants": [
      {
        "name": "Control",
        "visitors": 6250,
        "conversions": 312,
        "conversion_rate": "4.99%",
        "revenue": 28750,
        "aov": 92.15
      },
      {
        "name": "Variant A",
        "visitors": 6250,
        "conversions": 387,
        "conversion_rate": "6.19%",
        "revenue": 35418,
        "aov": 91.52,
        "lift": "+24.0%",
        "p_value": 0.003,
        "confidence": "99.7%"
      }
    ]
  }
}

Significancia estadística

La significación estadística indica si la diferencia observada probablemente es real o puede deberse al azar:

Indicadores de significación

95 % de confianza — Umbral estándar para declarar una ganadora
99 % de confianza — Confianza alta; muy poco probable que sea azar
Valor p < 0.05 — Significativo al nivel del 95 %
Intervalo de confianza — Rango donde probablemente está el valor real

Evita mirar para parar antes

Revisar repetidamente y detenerse al ver significación aumenta los falsos positivos. Fija un tamaño de muestra y respétalo.

Interpretar los resultados

Ganadora clara

Si hay significación estadística y una mejora relevante:

Documenta la variante ganadora y lo aprendido
Muéstrala al 100 % del tráfico
Supervisa las métricas después del despliegue para confirmar
Planifica el siguiente experimento

Sin diferencia significativa

Si las variantes rinden de forma similar:

Sigue siendo útil: aprendiste que el cambio no influye
Considera si la prueba duró lo suficiente
La opción más sencilla o barata puede ser preferible
Documenta y pasa a probar cambios mayores

Resultados inesperados

Si la variante rinde peor de lo esperado:

No descartes resultados negativos: tienen valor
Investiga por qué no funcionó
Busca errores de implementación
Considera si probaste la audiencia correcta

Análisis por segmentos

Desglosa resultados por segmentos para descubrir información oculta:

Desglose por segmentos

{
  "segment_analysis": {
    "by_device": {
      "mobile": { "control": "4.2%", "variant": "6.8%", "lift": "+62%" },
      "desktop": { "control": "5.5%", "variant": "5.4%", "lift": "-2%" }
    },
    "by_customer_type": {
      "new": { "control": "3.1%", "variant": "5.2%", "lift": "+68%" },
      "returning": { "control": "7.8%", "variant": "7.4%", "lift": "-5%" }
    },
    "by_cart_value": {
      "under_50": { "control": "5.1%", "variant": "6.2%", "lift": "+22%" },
      "50_to_100": { "control": "4.9%", "variant": "6.1%", "lift": "+24%" },
      "over_100": { "control": "4.8%", "variant": "6.3%", "lift": "+31%" }
    }
  }
}

Conclusiones por segmentos

A veces, la ausencia de ganadora general oculta una gran mejora en un segmento. A los usuarios de teléfono puede encantarles un cambio que detestan los de computadora. El análisis por segmentos revela estas oportunidades.

Exportar resultados

Exporta datos para analizarlos más a fondo:

Opciones de exportación

CSV — Datos sin procesar para hojas de cálculo
Informe PDF — Resumen que puedes compartir
Acceso API — Recuperación de datos mediante código
Integración analítica — Envía a Google Analytics, Mixpanel, etc.

Concluir experimentos

Verificar significación

Asegúrate de alcanzar significación estadística.

Documentar los hallazgos

Registra la hipótesis, los resultados y lo aprendido.

Declarar la ganadora

Elige una ganadora o declara que no hay conclusión.

Desplegar

Aplica la variante ganadora al 100 % del tráfico.

Supervisar

Observa las métricas posteriores para confirmar que la mejora se mantiene.

Buenas prácticas

Consejos de análisis

Espera a la significación — No declares ganadoras demasiado pronto
Mira varias métricas — La conversión no lo es todo
Revisa segmentos — El total puede ocultar diferencias
Considera el impacto comercial — Una mejora pequeña con mucho tráfico tiene gran valor
Documenta todo — Crea una base de conocimiento de experimentos

Temas relacionados

Panel de análisis

Sigue el rendimiento general de CheckoutOS

Más información

Crear experimentos

Configura tu próxima prueba A/B

Más información