Naar de inhoud
fromHello

Holdoutgroep

Een holdoutgroep is een willekeurig gekozen deel van je publiek dat je bewust uitsluit van een campagne of journey, zodat je het werkelijke extra effect ervan kunt meten. Converteert de holdout even vaak als de ontvangers, dan heeft de campagne niets gedaan – die gebruikers zouden toch wel geconverteerd zijn.

Bijgewerkt op 2 min. leestijdDoor fromHello

In het kort

  1. Een holdoutgroep beantwoordt de enige eerlijke vraag over een campagne: heeft ze conversies veroorzaakt, of waren die er toch wel gekomen?

  2. Holdouts per campagne meten één bericht; een globale holdout meet je hele berichtenprogramma over langere tijd.

  3. Willekeurige toewijzing maakt de vergelijking geldig – een met de hand gekozen uitsluitingslijst meet niets.

Hoe werkt een holdoutgroep?

Voordat een campagne of journey start, wordt een willekeurig deel van het geschikte publiek aan de holdout toegewezen. Die gebruikers lijken in alles op de ontvangers, op één ding na: ze krijgen het bericht nooit. Als de campagne gelopen heeft, vergelijk je de conversieratio’s van beide groepen, en het verschil is de extra lift – de conversies die de campagne echt heeft veroorzaakt. Open- en klikratio’s laten elke verzending er goed uitzien; alleen een holdout scheidt de conversies die jij veroorzaakte van de conversies die er toch al aan zaten te komen.

Wat is het verschil tussen een globale holdout en een holdout per campagne?

Een holdout per campagne wordt uitgesloten van één specifiek bericht en meet dus de lift van dat bericht – handig voor dure verzendingen zoals een win-backreeks. Een globale holdout wordt voor langere tijd, vaak een kwartaal, uitgesloten van alle marketing en meet wat je hele programma waard is. Met de global control group van Braze kun je bijvoorbeeld tussen 1% en 15% van je gebruikers reserveren, en Braze rapporteert de uplift in sessies en conversies ten opzichte van die groep. Holdouts per campagne beantwoorden tactische vragen; een globale holdout vertelt je of je berichten je North Star-metric überhaupt in beweging brengen.

Holdoutgroepen en de aanverwante termen uit experimenten.

Waarom het ertoe doet voor een team van twee

Kleine teams kunnen het zich niet veroorloven campagnes op goed geloof te laten doorlopen. Een holdout is daar een goedkope verzekering tegen: de meeste journeybuilders kunnen er een afsplitsen met een A/B-splitnode waarvan één tak gewoon uitstapt zonder te versturen – de gids over journey-orkestratie legt uit hoe de ab_split-node werkt. De lift aan het einde aflezen is het soort beslissing dat een CRO Specialist neemt: de campagne houden, herschrijven, of schrappen en het verzendbudget terugwinnen.

Hoe groot moet een holdoutgroep zijn?

Groot genoeg om de lift te zien die voor jou telt, klein genoeg om de gemiste kansen aanvaardbaar te houden. Bij een klein publiek worden percentages snel onbetrouwbaar: een holdout van 5% van 500 gebruikers is 25 mensen, en één conversie slaat de uitkomst al om. Gangbaar bij berichtenplatforms zijn percentages van één cijfer voor globale holdouts – Braze begrenst zijn global control group op 15% – en wat grotere delen voor eenmalige campagnetests. Twijfel je, kies dan liever één globale holdout die je over maanden afleest dan veel kleine holdouts per campagne die je één keer afleest.

Bronnen

  1. Braze – Global control group documentation (opent in een nieuw tabblad)
  2. Wikipedia – Treatment and control groups (opent in een nieuw tabblad)

FAQ

Veelgestelde vragen

  • Holdoutgroep vs. controlegroep: wat is het verschil?

    Elke holdout is een controlegroep, maar niet elke controlegroep is een holdout. In een A/B-test krijgt de controlegroep de huidige variant; een holdout krijgt helemaal niets. Gebruik een A/B-split om het betere bericht te kiezen, en een holdout om te bewijzen dat het bericht zijn plek verdient.

  • Hoe lang moet een globale holdout lopen?

    Lang genoeg om het gedrag dat je meet zich te laten voltrekken – minstens een volledige campagnecyclus, en voor lifecycleprogramma’s vaak een kwartaal. Wissel de samenstelling regelmatig, zodat niet steeds dezelfde gebruikers voor altijd van alle berichten zijn uitgesloten.

  • Kosten holdoutgroepen omzet?

    Een beetje, en dat is de bedoeling: een deel van je publiek mist berichten die het misschien hadden laten converteren. Met die kosten koop je de enige betrouwbare schatting van wat je campagnes waard zijn, en meestal verdienen ze zichzelf terug via geschrapte campagnes en verschoven budget.

  • Kan een kleine start-up holdoutgroepen gebruiken?

    Ja, met realistische verwachtingen. Onder een paar duizend gebruikers per campagne is de lift per campagne vooral ruis, dus één globale holdout die je over maanden meet, zegt meer. Begin daar en voeg holdouts per campagne toe naarmate het volume groeit.

fromHello is open source marketing automation: berichten die worden getriggerd door wat mensen doen.

fromHello Cloud is in early access via de wachtlijst.

Zet me op de wachtlijstGeef een ster op GitHub (opent in een nieuw tabblad)

Lees verder

Alle gidsen

Early access

fromHello Cloud

Je bent niet begonnen om klein te blijven.

Early access tot fromHello Cloud gaat gefaseerd open. De onboarding is persoonlijk: we helpen je met de inrichting en met het overzetten van je contacten.

We mailen je zodra je plek vrijkomt. Geen spam.

Nog niet zover? Bekijk op GitHub