Analyser les résultats : documentation CheckoutOS

L’analyse des résultats permet de déterminer si l’expérience a produit des enseignements significatifs. CheckoutOS fournit des analyses complètes pour comprendre ce qui s’est passé et décider avec confiance.

Tableau de bord des résultats

Le tableau de bord de l’expérience affiche :

Synthèse des performances — Indicateurs clés de chaque variante
Significativité statistique — Confiance dans les résultats
Calcul de la progression — Ampleur de l’amélioration ou de la baisse de la variante
Tailles d’échantillon — Trafic reçu par chaque variante
Graphiques de tendance — Évolution des performances

Comprendre les indicateurs clés

Synthèse des résultats

{
  "experiment_results": {
    "status": "significant",
    "winner": "Variant A",
    "runtime_days": 14,
    "total_visitors": 12500,
    "variants": [
      {
        "name": "Control",
        "visitors": 6250,
        "conversions": 312,
        "conversion_rate": "4.99%",
        "revenue": 28750,
        "aov": 92.15
      },
      {
        "name": "Variant A",
        "visitors": 6250,
        "conversions": 387,
        "conversion_rate": "6.19%",
        "revenue": 35418,
        "aov": 91.52,
        "lift": "+24.0%",
        "p_value": 0.003,
        "confidence": "99.7%"
      }
    ]
  }
}

Significativité statistique

La significativité statistique indique si la différence observée est probablement réelle ou peut être due au hasard :

Indicateurs de significativité

Confiance de 95 % — Seuil standard pour déclarer un gagnant
Confiance de 99 % — Confiance élevée, hasard très peu probable
Valeur p < 0,05 — Statistiquement significatif au niveau de 95 %
Intervalle de confiance — Plage où se situe probablement la vraie valeur

Évitez les consultations répétées

Consulter sans cesse les résultats et arrêter dès qu’ils sont significatifs augmente le taux de faux positifs. Fixez une taille d’échantillon cible et respectez-la.

Interpréter les résultats

Gagnant clair

Lorsque les résultats sont statistiquement significatifs et montrent une progression notable :

Documenter la variante gagnante et les principaux enseignements
Déployer le gagnant sur 100 % du trafic
Suivre les indicateurs après déploiement pour confirmer
Préparer la prochaine expérience

Aucune différence significative

Lorsque les variantes ont des performances similaires :

C’est tout de même utile : vous avez appris que le changement n’a pas d’effet
Vérifier si le test a duré assez longtemps
L’option plus simple ou moins chère peut être préférable
Documenter et passer à des changements plus importants

Résultats inattendus

Lorsque la variante fonctionne moins bien que prévu :

Ne négligez pas les résultats négatifs : ils sont précieux
Chercher pourquoi cela n’a pas fonctionné
Vérifier les erreurs d’implémentation
Vérifier si vous avez testé le bon public

Analyse par segment

Décomposez les résultats par segment de clients pour trouver des enseignements cachés :

Répartition par segment

{
  "segment_analysis": {
    "by_device": {
      "mobile": { "control": "4.2%", "variant": "6.8%", "lift": "+62%" },
      "desktop": { "control": "5.5%", "variant": "5.4%", "lift": "-2%" }
    },
    "by_customer_type": {
      "new": { "control": "3.1%", "variant": "5.2%", "lift": "+68%" },
      "returning": { "control": "7.8%", "variant": "7.4%", "lift": "-5%" }
    },
    "by_cart_value": {
      "under_50": { "control": "5.1%", "variant": "6.2%", "lift": "+22%" },
      "50_to_100": { "control": "4.9%", "variant": "6.1%", "lift": "+24%" },
      "over_100": { "control": "4.8%", "variant": "6.3%", "lift": "+31%" }
    }
  }
}

Enseignements par segment

Parfois, une absence globale de gagnant cache une forte amélioration dans un segment. Les utilisateurs mobiles peuvent aimer un changement détesté sur ordinateur. L’analyse par segment révèle ces possibilités.

Exporter les résultats

Exportez les données pour approfondir l’analyse :

Options d’exportation

Export CSV — Données brutes à analyser dans un tableur
Rapport PDF — Synthèse à partager
Accès API — Récupération des données par programme
Intégration analytique — Envoi à Google Analytics, Mixpanel, etc.

Conclure les expériences

Vérifier la significativité

Assurez-vous que les résultats ont atteint la significativité statistique.

Documenter les conclusions

Consignez l’hypothèse, les résultats et les enseignements.

Déclarer un gagnant

Choisissez un gagnant ou déclarez les résultats non concluants.

Déployer

Appliquez la variante gagnante à 100 % du trafic.

Surveiller

Suivez les indicateurs après déploiement pour confirmer que l’amélioration se maintient.

Bonnes pratiques

Conseils d’analyse

Attendez la significativité — Ne déclarez pas de gagnant trop tôt
Examinez plusieurs indicateurs — La conversion ne fait pas tout
Vérifiez les segments — Les résultats globaux peuvent cacher leurs différences
Considérez l’effet commercial — Petite progression sur un fort trafic égale grande valeur
Documentez tout — Constituez une base de connaissances sur les expériences

Sujets associés

Tableau de bord des analyses

Suivez les performances globales de CheckoutOS

Créer des expériences

Configurez votre prochain test A/B