Como funciona um grupo holdout?
Antes de uma campanha ou jornada começar, uma fatia aleatória do público elegível é atribuída ao holdout. Esses usuários são iguais aos destinatários em tudo, menos em um ponto: nunca recebem a mensagem. Depois que a campanha roda, você compara as taxas de conversão dos dois grupos, e a diferença é o lift incremental — as conversões que a campanha de fato causou. Taxas de abertura e de clique fazem qualquer envio parecer bom; só um holdout separa as conversões que você causou das que já iam acontecer.
Qual é a diferença entre um holdout global e um holdout por campanha?
Um holdout por campanha fica de fora de uma mensagem específica, então mede o lift dessa mensagem — útil para envios caros, como uma sequência de reconquista. Um holdout global fica de fora de todo o marketing durante um período mais longo, muitas vezes um trimestre, e mede quanto vale o seu programa inteiro. O grupo de controle global do Braze, por exemplo, permite reservar entre 1% e 15% da sua base de usuários e mostra o ganho em sessões e conversões em relação a ele. Holdouts por campanha respondem a perguntas táticas; um holdout global diz se as mensagens movem, de fato, a sua métrica North Star.
Por que isso importa para uma equipe de duas pessoas
Equipes pequenas não podem se dar ao luxo de continuar rodando campanhas na base da fé. Um holdout é um seguro barato contra isso: a maioria dos editores de jornadas consegue separar um com um nó de divisão A/B em que um dos ramos simplesmente sai sem enviar — o guia de orquestração de jornadas explica como funciona o nó ab_
Qual deve ser o tamanho de um grupo holdout?
Grande o bastante para detectar o lift que importa para você, pequeno o bastante para que o custo de oportunidade continue aceitável. Em públicos pequenos, as porcentagens ficam ruidosas rápido: um holdout de 5% de 500 usuários são 25 pessoas, e uma única conversão muda o resultado. A prática comum entre as plataformas de mensagens é usar porcentagens de um dígito para holdouts globais — o Braze limita seu grupo de controle global a 15% — e fatias um pouco maiores para testes pontuais de campanha. Na dúvida, prefira um único holdout global lido ao longo de meses a muitos holdouts minúsculos por campanha lidos uma única vez.