Jak działa grupa holdout?
Zanim kampania lub ścieżka wystartuje, losowa część kwalifikujących się odbiorców trafia do grupy holdout. Ci użytkownicy pod każdym względem odpowiadają odbiorcom wiadomości poza jednym: nigdy jej nie dostają. Po zakończeniu kampanii porównujesz współczynniki konwersji obu grup, a różnica to wzrost przyrostowy (lift) – konwersje, które kampania faktycznie spowodowała. Wskaźniki otwarć i kliknięć upiększają każdą wysyłkę; dopiero holdout oddziela konwersje, które spowodowała kampania, od tych, które i tak były w drodze.
Czym różni się holdout globalny od holdoutu dla pojedynczej kampanii?
Holdout dla pojedynczej kampanii jest wyłączony z jednej konkretnej wiadomości, więc mierzy wzrost tej wiadomości – to przydatne przy kosztownych wysyłkach, takich jak sekwencja win-back. Holdout globalny jest wyłączony z całego marketingu na dłuższy czas, często na kwartał, i mierzy, ile jest wart cały Twój program. Globalna grupa kontrolna w Braze pozwala na przykład zarezerwować od 1% do 15% bazy użytkowników i raportuje względem niej wzrost liczby sesji i konwersji. Holdouty dla pojedynczych kampanii odpowiadają na pytania taktyczne; holdout globalny mówi Ci, czy komunikacja w ogóle wpływa na Twoją North Star Metric.
Dlaczego to ważne dla dwuosobowego zespołu
Małych zespołów nie stać na prowadzenie kampanii w ciemno. Holdout to tanie ubezpieczenie przed tym: większość kreatorów ścieżek pozwala go wydzielić węzłem podziału A/B, w którym jedna gałąź po prostu kończy się bez wysyłki – jak działa węzeł ab_
Jak duża powinna być grupa holdout?
Na tyle duża, żeby wykryć wzrost, na którym Ci zależy, i na tyle mała, żeby koszt utraconych okazji pozostał akceptowalny. Przy małych grupach odbiorców procenty szybko robią się niestabilne: holdout w wysokości 5% przy 500 użytkownikach to 25 osób, a jedna konwersja zmienia wynik. Platformy do komunikacji zwykle stosują dla holdoutów globalnych jednocyfrowe wartości procentowe – Braze ogranicza swoją globalną grupę kontrolną do 15% – a dla jednorazowych testów kampanii nieco większe części. W razie wątpliwości wybierz jeden holdout globalny odczytywany przez miesiące zamiast wielu maleńkich holdoutów dla pojedynczych kampanii odczytywanych raz.