ホールドアウトグループはどう機能しますか？
キャンペーンやジャーニーを開始する前に、対象となるオーディエンスから無作為に選んだ一部をホールドアウトに割り当てます。そのユーザーは、1点を除いてあらゆる面で受信者と同じです。メッセージをまったく受け取らないという点です。キャンペーンの実施後に2つのグループのコンバージョン率を比べると、その差が増分リフト、つまりキャンペーンが実際に生んだコンバージョンです。開封率やクリック率は、どの配信もよく見せてしまいます。自分たちが生んだコンバージョンと、もともと起きるはずだったコンバージョンを切り分けられるのは、ホールドアウトだけです。
グローバルホールドアウトと施策ごとのホールドアウトの違いは？
施策ごとのホールドアウトは、特定の1つのメッセージから除外されるため、そのメッセージのリフトを測れます。掘り起こしのシーケンスのようにコストの高い配信で役立ちます。グローバルホールドアウトは、より長い期間（多くは四半期）すべてのマーケティングから除外され、施策全体の価値を測ります。たとえばBrazeのグローバルコントロールグループでは、ユーザーベースの1〜15%を確保でき、それに対するセッションとコンバージョンの上昇を報告します。施策ごとのホールドアウトは戦術的な問いに答え、グローバルホールドアウトは、メッセージングがそもそもノーススターメトリックを動かしているかどうかを教えてくれます。
2人のチームにとってなぜ重要か
小さなチームには、効果を信じるだけでキャンペーンを回し続ける余裕はありません。ホールドアウトは、それに対する安い保険です。多くのジャーニービルダーでは、A/B分岐ノードの片方の枝を、何も送らずに終了させるだけで切り出せます。ab_
ホールドアウトグループはどのくらいの規模にすべきですか？
重視するリフトを検出できるだけ大きく、機会費用が許容範囲に収まるだけ小さく、です。オーディエンスが小さいと、割合はすぐにノイズだらけになります。500人のユーザーの5%のホールドアウトは25人で、たった1件のコンバージョンで結果が揺れます。メッセージングプラットフォームでよく見られるのは、グローバルホールドアウトを1桁台の割合にし（Brazeはグローバルコントロールグループの上限を15%にしています）、単発のキャンペーンテストではやや大きめに切り出すやり方です。迷ったら、一度だけ読む小さな施策ごとのホールドアウトをたくさん設けるより、数か月かけて読むグローバルホールドアウトを1つ設けましょう。