Holdout group e gruppo di controllo: che differenza c’è?

Ogni holdout è un gruppo di controllo, ma non ogni gruppo di controllo è un holdout. In un test A/B, il gruppo di controllo riceve la variante attuale; un holdout non riceve nulla. Usa uno split A/B per scegliere il messaggio migliore, e un holdout per dimostrare che il messaggio si guadagna il suo posto.

Quanto deve durare un holdout globale?

Abbastanza perché il comportamento che misuri abbia il tempo di manifestarsi: almeno un ciclo completo di campagna, e spesso un trimestre per i programmi del ciclo di vita. Ruota periodicamente i membri, così gli stessi utenti non restano esclusi da tutti i messaggi per sempre.

Gli holdout group fanno perdere ricavi?

Un po’, per costruzione: una parte del tuo pubblico non riceve messaggi che avrebbero potuto convertirla. Quel costo compra l’unica stima affidabile di quanto valgono le tue campagne, e di solito si ripaga con le campagne chiuse e il budget riallocato.

Una piccola startup può usare gli holdout group?

Sì, con aspettative realistiche. Sotto qualche migliaio di utenti per campagna, il lift per campagna è soprattutto rumore, quindi un solo holdout globale misurato nell’arco di mesi è più informativo. Parti da lì e aggiungi holdout per campagna man mano che i volumi crescono.

Holdout group

Un holdout group (gruppo di esclusione) è una porzione del tuo pubblico, scelta a caso, che viene esclusa di proposito da una campagna o da un percorso per misurarne il vero effetto incrementale. Se l’holdout converte allo stesso tasso dei destinatari, la campagna non ha fatto nulla: quegli utenti avrebbero convertito comunque.

Aggiornato: 8 lug 20262 min di letturaDi fromHello

Punti chiave

Un holdout group risponde all’unica domanda onesta su una campagna: ha causato le conversioni, o sarebbero arrivate comunque?
Gli holdout per campagna misurano un singolo messaggio; un holdout globale misura l’intero programma di messaggi nel tempo.
È la randomizzazione a rendere valido il confronto: una lista di esclusione scelta a mano non misura nulla.

Come funziona un holdout group?

Prima che una campagna o un percorso partano, una quota casuale del pubblico idoneo viene assegnata all’holdout. Quegli utenti sono uguali ai destinatari in tutto tranne che in una cosa: non ricevono mai il messaggio. Alla fine della campagna confronti i tassi di conversione dei due gruppi, e la differenza è il lift incrementale, cioè le conversioni che la campagna ha davvero causato. I tassi di apertura e di clic fanno sembrare buono ogni invio; solo un holdout separa le conversioni che hai causato da quelle che sarebbero arrivate in ogni caso.

Che differenza c’è tra un holdout globale e uno per campagna?

Un holdout per campagna è escluso da un messaggio specifico, quindi misura il lift di quel messaggio: utile per invii costosi come una sequenza di riconquista. Un holdout globale è escluso da tutto il marketing per una finestra più lunga, spesso un trimestre, e misura quanto vale l’intero programma. Il global control group di Braze, per esempio, ti permette di riservare fra l’1% e il 15% della tua base utenti e riporta l’aumento di sessioni e conversioni rispetto a quel gruppo. Gli holdout per campagna rispondono a domande tattiche; un holdout globale ti dice se i messaggi muovono davvero la tua metrica North Star.

Holdout group: Una quota casuale del pubblico esclusa di proposito da una campagna o da un programma, usata per misurare il lift incrementale del fatto stesso di inviare.
Gruppo di controllo: Il termine sperimentale generale per il gruppo che non riceve alcun trattamento, o il trattamento di base. Un holdout è un gruppo di controllo che non riceve nulla.
Lift: La differenza nel tasso di conversione fra i destinatari e l’holdout: l’effetto che la campagna ha davvero causato, al netto di ciò che sarebbe successo comunque.
Split A/B: Un test fra due o più varianti che ricevono tutte qualcosa. Sceglie il messaggio migliore; un holdout si chiede se valga la pena inviare.

Gli holdout group e i termini di sperimentazione vicini.

Perché conta per un team di due persone

I piccoli team non possono permettersi di far girare campagne sulla fiducia. Un holdout è un’assicurazione economica contro questo rischio: quasi tutti gli editor di percorsi possono ricavarne uno con un nodo split A/B in cui un ramo esce semplicemente senza inviare. La guida all’orchestrazione dei percorsi spiega come funziona il nodo ab_split. Leggere il lift alla fine è il tipo di decisione che prende un CRO Specialist: tenere la campagna, riscriverla o chiuderla e recuperare il budget di invio.

Quanto deve essere grande un holdout group?

Abbastanza grande da rilevare il lift che ti interessa, abbastanza piccolo da mantenere accettabile il costo opportunità. Sui pubblici piccoli le percentuali diventano rumorose in fretta: un holdout del 5% su 500 utenti fa 25 persone, e una sola conversione sposta il risultato. Fra le piattaforme di messaggistica la prassi comune è una percentuale a una cifra per gli holdout globali (Braze limita il suo global control group al 15%) e quote un po’ più ampie per i test su singole campagne. Nel dubbio, meglio un solo holdout globale letto nell’arco di mesi che tanti piccoli holdout per campagna letti una volta.

Fonti

FAQ

Domande frequenti

Holdout group e gruppo di controllo: che differenza c’è?
Ogni holdout è un gruppo di controllo, ma non ogni gruppo di controllo è un holdout. In un test A/B, il gruppo di controllo riceve la variante attuale; un holdout non riceve nulla. Usa uno split A/B per scegliere il messaggio migliore, e un holdout per dimostrare che il messaggio si guadagna il suo posto.
Quanto deve durare un holdout globale?
Abbastanza perché il comportamento che misuri abbia il tempo di manifestarsi: almeno un ciclo completo di campagna, e spesso un trimestre per i programmi del ciclo di vita. Ruota periodicamente i membri, così gli stessi utenti non restano esclusi da tutti i messaggi per sempre.
Gli holdout group fanno perdere ricavi?
Un po’, per costruzione: una parte del tuo pubblico non riceve messaggi che avrebbero potuto convertirla. Quel costo compra l’unica stima affidabile di quanto valgono le tue campagne, e di solito si ripaga con le campagne chiuse e il budget riallocato.
Una piccola startup può usare gli holdout group?
Sì, con aspettative realistiche. Sotto qualche migliaio di utenti per campagna, il lift per campagna è soprattutto rumore, quindi un solo holdout globale misurato nell’arco di mesi è più informativo. Parti da lì e aggiungi holdout per campagna man mano che i volumi crescono.

fromHello è un software di marketing automation open source: messaggi attivati da ciò che fanno le persone.

fromHello Cloud è in accesso anticipato tramite la lista d’attesa.

Iscriviti alla lista d’attesa Metti una stella su GitHub

Continua a leggere

Tutte le guide

Accesso anticipato

fromHello Cloud

Non si parte per restare piccoli.

L’accesso anticipato a fromHello Cloud si apre a scaglioni. L’onboarding è guidato: ti aiutiamo a configurare tutto e a portare i tuoi contatti.

Vuoi aspettare ancora un po’? Vedi su GitHub