A/Bテストの概要｜CheckoutOSドキュメント

CheckoutOSのA/Bテストでは、チェックアウト体験のバリエーションを科学的に比較し、最もよい結果を生むものを見つけられます。アップセルオファー、配置、メッセージ、価格を変えて、コンバージョンと売上を最大化します。

データに基づく判断

何が有効かを推測するのはやめましょう。A/Bテストでは、すべての顧客に展開する前に、変更が指標を改善するという統計的な確信を得られます。

A/Bテストを行う理由

小さな変更がチェックアウトの成果に大きく影響する場合があります。

アップセルの見出しを変えると承諾率が15%上がる可能性がある
オファーを早く、または遅く表示するとコンバージョンに影響する可能性がある
US$5の割引と10%割引では成果が異なる場合がある
信頼バッジの配置が完了率に影響することがある

テストしなければ、得られるはずの売上を逃します。テストすれば、顧客に何が有効かを正確に把握できます。

テストできるもの

対象となる要素

アップセルオファー — 最も成果が出る商品、割引、バンドル
配置 — チェックアウト前、購入後、サンクスページ
文章とメッセージ — 見出し、説明、ボタン文言
価格戦略 — 割合と固定額の割引、価格帯
視覚デザイン — レイアウト、色、画像、バッジ
チェックアウト拡張機能 — 完了につながる信頼のしるし
バンドル構成 — 売れる商品の組み合わせ
タイミング — 購入過程のどこでオファーを表示するか

A/Bテストのしくみ

実験を作成する

仮説を定義し、対照と変更版の体験を設定します。

トラフィック配分を設定する

各バリエーションを見る訪問者の割合を選びます（例：50/50）。

実験を実行する

テストは自動で動作し、訪問者を無作為にバリエーションへ割り当てます。

結果を分析する

統計的有意性の計算とともに指標を確認します。

勝者を展開する

勝ったバリエーションをトラフィックの100%に展開します。

主要指標

CheckoutOSは各実験で次の指標を追跡します。

実験の指標

{
  "primary_metrics": {
    "conversion_rate": "Percentage of visitors who complete checkout",
    "upsell_acceptance_rate": "Percentage who accept upsell offers",
    "average_order_value": "Mean cart value at completion",
    "revenue_per_visitor": "Total revenue / Total visitors"
  },
  "secondary_metrics": {
    "time_to_conversion": "How long checkout takes",
    "cart_abandonment_rate": "Started but didn't complete",
    "upsell_views": "How many saw the offer",
    "bundle_attachment_rate": "Bundles added to orders"
  }
}

統計的有意性

CheckoutOSは統計的有意性を計算し、結果が偶然ではなく実際の効果であることを確認します。

信頼度95% — 勝者を決める標準的なしきい値
最低サンプル数 — 十分なデータが集まった時点をお知らせ
効果量 — バリエーション間の違いの大きさ
p値 — 結果が偶然による確率

待つことが成果につながる

早すぎる結論は避けてください。統計的有意性を得てから判断します。検出力が不足するテストは誤った結論につながります。

効果的な使い方

テストのヒント

一度に1つをテスト — 変数を分けて結果を明確にする
影響の大きい場所から始める — ボタンの色より先にアップセルをテスト
最後まで実行する — 有望な結果でも早く止めない
学びを記録する — 組織の知識を蓄積
継続的に改善する — テストに終わりはない

始める

実験を作成する

最初のテストを設定する段階別ガイド

詳しく見る

トラフィックの配分

効果的なトラフィック配分の方法

詳しく見る