Pourquoi peu de trafic casse la plupart des tests A/B
Un test A/B compare deux versions et demande si l'écart est réel ou du bruit. Pour répondre, il faut assez d'observations pour séparer le signal du hasard, et les startups en ont rarement. Avec quelques centaines de conversions par mois, les maths le disent : vous ne repérez que de gros écarts — le conseil populaire de « tout tester » vous prépare donc à lancer des tests qui n'allaient jamais conclure. Choisir les rares tests qui valent la peine, c'est tout l'objet d'une feuille de route d'expérimentation.
La puissance statistique et l'EMD, en clair
La puissance statistique est la probabilité qu'un test détecte un effet réel quand il existe — 80 % est la cible habituelle. L'effet minimal détectable (EMD) est la plus petite amélioration qu'un test peut repérer à cette puissance, compte tenu de votre taux de base et de votre taille d'échantillon. Les deux vont de pair : moins de visiteurs font monter l'EMD. À l'échelle d'une startup, l'EMD tourne souvent autour d'un écart relatif de 20 à 50 %, pas des 2 % qu'une couleur de bouton pourrait apporter. Si votre changement est plus petit que votre EMD, le test ne peut pas le voir, dans aucune fenêtre réaliste.
Pourquoi seuls les gros effets sont détectables
La taille d'échantillon requise varie à peu près comme l'inverse du carré de l'effet visé, si bien que diviser l'EMD par deux quadruple à peu près le nombre de visiteurs nécessaires. L'exemple chiffré d'Optimizely le montre : à un taux de base de 10 %, détecter une hausse de 3 % demande de l'ordre de quinze fois plus de visiteurs qu'une hausse de 10 %. Les effets qu'une petite équipe peut mesurer honnêtement sont donc les grossiers : une nouvelle page de tarifs, un parcours d'activation refondu, une offre différente — pas la micro-copie. Un spécialiste CRO passe le plus clair de son temps à décider quels changements sont assez gros pour mériter un test.
Le séquentiel et le bayésien aident, un peu
Les méthodes séquentielles permettent de s'arrêter tôt quand un résultat est net, avec des maths conçues pour survivre aux vérifications répétées. Le design séquentiel d'Evan Miller peut réduire les observations de 25 à 50 % quand l'effet réel est grand — et il existe justement pour vous éviter de « regarder » un test à échantillon fixe. Les approches bayésiennes indiquent la probabilité qu'une variante batte l'autre plutôt qu'une valeur p, plus facile à raisonner en cours de route. Les deux réduisent le problème d'échantillon. Aucune ne le supprime : si l'effet réel est minuscule, chaque méthode réclame encore plus de données que vous n'en avez.
Testez de plus gros changements, évitez les vérifications précoces
Deux règles gardent le test à faible trafic honnête. D'abord, testez de plus gros changements : choisissez des écarts assez grands pour dépasser votre EMD, et lancez un A/B propre plutôt qu'une grille multivariée qui fractionne encore votre trafic. Ensuite, fixez la taille d'échantillon et la règle d'arrêt avant de commencer, et n'annoncez pas de gagnant le premier jour où cela semble significatif — regarder trop tôt un test à échantillon fixe, c'est ainsi qu'on expédie du bruit comme une victoire. Si vous lancez des étapes de répartition automatiques dans un parcours, la même discipline s'applique : pré-enregistrez la métrique et l'horizon. Un groupe témoin — une part que vous gardez volontairement sur l'ancienne expérience — est un moyen simple de vérifier que l'effet est réel. Les petites équipes lancent peu de tests, alors choisissez ceux qui en valent la peine et menez-les correctement.