結果の分析｜CheckoutOSドキュメント

結果の分析で、実験が意味のある知見を生んだかを判断します。CheckoutOSは包括的な分析を提供し、何が起きたかを理解して確信を持って判断できるようにします。

結果ダッシュボード

実験の結果ダッシュボードには次が表示されます。

成果の概要 — 各バリエーションの主要指標
統計的有意性 — 結果への確信
増加率の計算 — 変更版の成果がどれだけよく、または悪くなったか
サンプル数 — 各バリエーションのトラフィック
推移グラフ — 時間とともに変わる成果

主要指標を理解する

結果の概要

{
  "experiment_results": {
    "status": "significant",
    "winner": "Variant A",
    "runtime_days": 14,
    "total_visitors": 12500,
    "variants": [
      {
        "name": "Control",
        "visitors": 6250,
        "conversions": 312,
        "conversion_rate": "4.99%",
        "revenue": 28750,
        "aov": 92.15
      },
      {
        "name": "Variant A",
        "visitors": 6250,
        "conversions": 387,
        "conversion_rate": "6.19%",
        "revenue": 35418,
        "aov": 91.52,
        "lift": "+24.0%",
        "p_value": 0.003,
        "confidence": "99.7%"
      }
    ]
  }
}

統計的有意性

統計的有意性は、観測した違いが実際の効果である可能性が高いか、偶然によるものかを示します。

有意性の指標

信頼度95% — 勝者を決める標準的なしきい値
信頼度99% — 高い確信、偶然の可能性は非常に低い
p値 < 0.05 — 95%水準で統計的に有意
信頼区間 — 真の値が含まれる可能性が高い範囲

途中の結果で止めない

結果を繰り返し確認し、有意性が出た時点で止めると、偽陽性率が上がります。目標サンプル数を設定し、守ってください。

結果の解釈

明確な勝者

統計的有意性と意味のある改善が見られた場合：

勝ったバリエーションと重要な学びを記録
勝者をトラフィックの100%に展開
展開後の指標を監視して確認
次の実験を計画

有意な違いがない

バリエーションの成果が似ている場合：

変えても効果がないと分かったことにも価値がある
十分な期間実行したか確認
より簡単、またはより安い方が望ましい場合がある
記録し、より大きな変更のテストへ進む

予想外の結果

変更版の成果が予想より悪い場合：

否定的な結果も価値があるため無視しない
なぜ有効でなかったか調べる
実装上の誤りを確認
適切な対象でテストしたか検討

セグメント分析

顧客セグメント別に結果を分け、隠れた知見を見つけます。

セグメント別の内訳

{
  "segment_analysis": {
    "by_device": {
      "mobile": { "control": "4.2%", "variant": "6.8%", "lift": "+62%" },
      "desktop": { "control": "5.5%", "variant": "5.4%", "lift": "-2%" }
    },
    "by_customer_type": {
      "new": { "control": "3.1%", "variant": "5.2%", "lift": "+68%" },
      "returning": { "control": "7.8%", "variant": "7.4%", "lift": "-5%" }
    },
    "by_cart_value": {
      "under_50": { "control": "5.1%", "variant": "6.2%", "lift": "+22%" },
      "50_to_100": { "control": "4.9%", "variant": "6.1%", "lift": "+24%" },
      "over_100": { "control": "4.8%", "variant": "6.3%", "lift": "+31%" }
    }
  }
}

セグメント別の知見

全体では勝者がいなくても、特定のセグメントで大きな効果が隠れている場合があります。デスクトップの利用者が嫌う変更を、モバイル利用者は好むかもしれません。セグメント分析でそうした機会を見つけられます。

結果のエクスポート

さらに分析するために実験データを出力します。

エクスポートのオプション

CSVエクスポート — 表計算で分析する生データ
PDFレポート — 共有できる概要資料
APIアクセス — プログラムでデータを取得
分析連携 — Google Analytics、Mixpanelなどに送信

実験を終了する

有意性を確認する

結果が統計的有意性に達したことを確認します。

知見を記録する

仮説、結果、学びを記録します。

勝者を決める

勝者を選ぶか、結論が出なかったと判断します。

展開する

勝ったバリエーションをトラフィックの100%に適用します。

監視する

展開後の指標で改善が維持されることを確認します。

効果的な使い方

分析のヒント

有意性を待つ — 早すぎる勝者判定を避ける
複数の指標を見る — コンバージョンだけがすべてではない
セグメントを確認 — 全体の結果には違いが隠れる場合がある
事業への影響を考慮 — 大きなトラフィックで小さな改善なら大きな価値
すべて記録する — 実験の知識を蓄積

結果の分析