ホールドアウトグループ
ホールドアウトグループ（対照群）
メールマーケティング
ホールドアウトグループとは、メッセージが行動をどれだけ変えたかを測るため、あえて何も送らない、無作為に選んだ対象者の一部です。
ホールドアウトグループとは？
A/Bテストはメッセージ同士を比較します。ホールドアウトは、メッセージとメッセージなしを比較します。メールの後に購入する人の一部は、メールがなくても購入していたはずです。ホールドアウトは、それが何人かを示します。
しくみ：フローやキャンペーンの対象者のうち、たとえば10%を無作為に除外し、その人たちの購入率をメッセージを受け取った全員と比べます。その差が増分リフトです。
SmartyTapでは、A/Bテストはバージョンを比較するもので、メッセージなしのグループを自動では作りません。取り分けておいたセグメントをキャンペーンから除外し、その注文をメッセージを受け取った人たちと比べれば、近いことができます。
例
離脱顧客の呼び戻しフローを離脱顧客の90%に送り、10%には何も送りません。30日後、メッセージを送ったグループの6%とホールドアウトの4%がリピート購入しました。2ポイントのリフトです。
ホールドアウトグループが重要な理由
売上の計測はクリック後の注文をすべて数えますが、ホールドアウトは、メッセージが実際にどの注文を生んだのかを教えてくれます。
ホールドアウトグループのよくある質問
ホールドアウトグループの規模はどのくらいがよいですか？
対象者の5〜20%が多く、注文の差がわかるだけの大きさにします。
送らないでおくと売上を失うのではないですか？
しばらくの間、少しだけ失います。メッセージがコスト以上に稼いでいるかを知るための代償です。
