メールのA/Bテスト：何を試し、どれだけ続け、どう勝者を選ぶか

メールのA/Bテストでは、同じオーディエンスから無作為に分けたグループに2つ以上のバージョンを送り、一度にひとつだけ変更します。クリックなら数時間、注文なら1日ほど待ち、成果の良いバージョンを残りの全員に送ります。まず件名とオファーから始め、できればクリックか注文で判断しましょう。

送るキャンペーンはどれも、お客様が何に反応するかを学ぶ機会です。A/Bテストはその機会を答えに変えます。メッセージの2つ以上のバージョンをリストの一部に送り、待ってから、最も成果の良かったバージョンを残りの全員に送ります。毎週続ければ、メールは推測ではなく根拠によって良くなっていきます。

このガイドでは、最初に試すこと、テストの大きさ、待つ時間、勝者を決める数字、結果を無意味にしてしまう失敗を説明します。

A/Bテスト（スプリットテスト）とは、ひとつのメッセージの異なるバージョンを、同じオーディエンスから無作為に分けたグループに送り、クリックなどひとつの結果を比べるものです。グループは無作為で、同時にメッセージを受け取るので、結果の差はオーディエンスではなくメッセージから生まれます。「テストして送信」の設定では、テストをリストの一部に送り、勝者を残りに送ります。

最も多くの人の行動を変えるものから始めましょう。何が差を生んだのかわかるように、一度に試すのはひとつだけにします。

• 開封率：件名、プレビューテキスト、差出人名にのみ使い、注意して読みます。AppleのMail Privacy Protectionは、デフォルトでメールの内容をバックグラウンドでダウンロードします（2026年10月19日確認）。そのため、Apple Mailの開封の多くは、誰かが読んだかどうかにかかわらず記録されます。
• クリック率：内容、画像、ボタンについて最も信頼できる指標です。リンクのトラッキングをオンにする必要があります。
• 注文率：オファーなど、購入を変えるはずのものに最適ですが、バージョンの差を見分けられるだけの注文数が必要です。数えるのは注文した人数で、使った金額ではありません。

計測する行動をとる人が少ないほど、テストは大きくする必要があります。100人に2人がクリックするなら、1バージョンあたり200人のテストグループでは各バージョン約4クリックにしかならず、「勝者」は運で決まります。おおまかな目安として、開封とクリックなら1バージョンあたり少なくとも数百人、注文で決めるならはるかに多くの人を目指しましょう。

• 大きなリスト：オーディエンスの10%〜20%でテストし、勝者を残りに送ります。
• 中くらいのリスト：各バージョンに十分な人数が入るよう、30%〜50%など大きめの割合でテストします。
• 小さなリスト：リスト全体をバージョンで分け、結果は今回の勝者ではなく次回への学びとして扱います。判断する前に、同じテストを複数のキャンペーンで繰り返しましょう。

クリックの大半は送信後の最初の数時間に起こり、注文にはもっと時間がかかります。開封やクリックで決めるならふつう数時間で十分で、注文なら1日ほど待ちましょう。ただし、タイミングを逃すほど待たないでください。23:00に終わるテストは、23:00に全員へ勝者を送ることになります。

• 小さなテストでの小さな差はノイズです。バージョンBが31クリック、バージョンAが28クリックなら、まだ何もわかっていません。
• 全体のやり方を変える前に、複数のキャンペーンで繰り返し現れる差を探しましょう。
• マイナス面も確認します。配信停止も2倍にする件名は、勝者ではありません。
• すべてのテストと結果を書き留めましょう。シンプルな共有シートが、自社の対応マニュアルになります。

• 一度に複数を変える：件名、画像、オファーがすべて違うと、どのメールが勝ったかはわかっても、理由はわかりません。多くの組み合わせを同時に試す多変量テストには、はるかに大きなリストが必要です。
• オファーのテストを開封で判断する：開封を左右するのは件名で、注文を左右するのはオファーです。変えたものに合った指標を計測しましょう。
• 偏った一部でテストする：すべてのバージョンを、同じオーディエンスの無作為な一部に、同時に送る必要があります。
• 早く止める：序盤のリードは消えることがよくあります。テストの長さは始める前に決めましょう。
• 二度とテストしない：お客様は変わります。昨年の春に勝った件名のスタイルが、今も勝つとは限りません。

SMSもテストできますが、違いが2つあります。スマートフォンはSMSが読まれたことを報告しないので、開封はありません。勝者はクリックか注文で決めましょう。また、SMSはパートごとに課金されるので、各バージョンの長さをそろえましょう。そうしないと費用もテストすることになります。

• オファーが先か、商品が先か。
• お客様の名前を入れるか、入れないか。
• 質問（「ブーツのこと、まだ迷っていますか？」）か、言い切りか。
• 短縮リンクを最後に置くか、途中に置くか。

自動化は毎日動くので、テストする価値があります。新しい登録者を2つのウェルカムオファーに無作為に分けたり、チェックアウト離脱のリマインダーまでの待ち時間を2通りに分けたりして、数週間の注文を比べましょう。

SmartyTapのキャンペーンには、メールとSMSで勝者を自動で選ぶA/Bテストが含まれています。

• 最大7バージョン：各バージョンは完全なメールなので、件名、プレビューテキスト、内容を変えられます。SMSでは、バリエーションを複製して文言を変えます。
• 勝者を決める指標を選べる：メールは開封率、クリック率、注文率から選べます。SMSは注文率を使います。
• テストの大きさと長さ：オーディエンスの10%〜100%で、1〜72時間テストできます。100%の場合は全員がいずれかのバージョンを受け取り、勝者は送られません。
• 勝者は自動でも手動でも：テストが終わると最も成果の良いバージョンが残りの全員に送られます。早めにいずれかのバージョンを全員に送ることもできます。結果が同じなら、バージョンAが送られます。
• フローでの無作為な分割：Conditional splitを使えば、無作為なサンプルを各経路に送り、フローの2つの分岐を比べられます。

SmartyTapが比べるのはバージョン全体で、多変量テストは行いません。手順はA/Bテストをご覧ください。

用語集：A/Bテスト、ホールドアウトグループ、クリック率、SMSキャンペーン。次に読む：メールマーケティングのベンチマーク解説、メールのセグメント分けの例、ブラックフライデーのメールとSMSのチェックリスト。

開封やクリックで勝者を決めるなら、ふつう数時間で十分です。送信後すぐに反応の大半が起こるからです。注文で決めるなら、1日ほど待ちましょう。テストの長さは始める前に決めておきます。

件名とオファーから始めましょう。行動を最も大きく変えるからです。その次にメイン画像、行動喚起、長さを試します。一度に変えるのはひとつだけにします。

件名のテストに限り、注意して使えます。Apple MailのMail Privacy Protectionはメールの内容をバックグラウンドでダウンロードするので、開封は実際より多く出ます。クリック率と注文率のほうが信頼できます。

A/Bテストは、メッセージのバージョン全体を比べます。多変量テストは、複数の変更とその組み合わせの効果を同時に計測するもので、明確な答えを得るにははるかに大きなオーディエンスが必要です。