Comment fonctionne un groupe témoin ?
Avant le lancement d'une campagne ou d'un parcours, une part aléatoire de l'audience éligible est affectée au groupe témoin. Ces utilisateurs ressemblent aux destinataires en tout point, à une différence près : ils ne reçoivent jamais le message. Une fois la campagne terminée, vous comparez les taux de conversion des deux groupes ; l'écart est le lift incrémental — les conversions réellement causées par la campagne. Les taux d'ouverture et de clic flattent chaque envoi ; seul un groupe témoin distingue les conversions que vous avez provoquées de celles qui allaient arriver de toute façon.
Quelle différence entre un holdout global et un holdout par campagne ?
Un holdout par campagne est exclu d'un message précis : il mesure le lift de ce message — utile pour les envois coûteux, comme une séquence de reconquête. Un holdout global est exclu de tout le marketing pendant une fenêtre plus longue, souvent un trimestre, et mesure ce que vaut l'ensemble de votre programme. Le global control group de Braze, par exemple, permet de réserver entre 1 % et 15 % de la base d'utilisateurs et rapporte l'uplift de sessions et de conversions correspondant. Le holdout par campagne répond aux questions tactiques ; le holdout global dit si vos messages font bouger votre North Star metric tout court.
Pourquoi c'est important pour une équipe de deux personnes
Une petite équipe ne peut pas se permettre de lancer des campagnes sur la foi. Un groupe témoin est une assurance bon marché : la plupart des éditeurs de parcours permettent d'en réserver un avec un nœud A/B split dont une branche sort sans rien envoyer — le guide orchestration de parcours détaille le fonctionnement du nœud ab_split. Lire le lift à la fin relève du jugement d'un spécialiste CRO : garder la campagne, la réécrire, ou la supprimer et réallouer le budget d'envoi.
Quelle taille pour un groupe témoin ?
Assez grand pour détecter le lift qui vous intéresse, assez petit pour que le coût d'opportunité reste acceptable. Sur une petite audience, les pourcentages deviennent vite bruités : un holdout de 5 % sur 500 utilisateurs représente 25 personnes, et une seule conversion fait basculer le résultat. La pratique courante des plateformes de messages est de réserver quelques pourcents pour un holdout global — Braze plafonne le sien à 15 % — et des parts un peu plus larges pour les tests ponctuels. Dans le doute, préférez un holdout global lu sur plusieurs mois à une multitude de petits holdouts par campagne lus une seule fois.