Dlaczego wszystko zależy od priorytetyzacji
Mały zespół przeprowadza może dwa, trzy eksperymenty tygodniowo; tylko zespoły o wysokim tempie dochodzą do 10–20 – a nawet to jest trudne, gdy ruch jest niewielki. Przy tak niewielu miejscach prawdziwym kosztem przeciętnego testu nie jest sam test, tylko mocniejszy pomysł, który pominięto, żeby go przeprowadzić. Mapa drogowa istnieje po to, by każde miejsce trafiało do pomysłu o najwyższej oczekiwanej wartości, a nie do najgłośniejszego głosu na porannym spotkaniu. Prowadzenie tej uszeregowanej kolejki to duża część tego, czym zajmuje się Growth PM.
Buduj backlog z lejka i momentu aha
Nie zaczynaj od listy życzeń. Zacznij od miejsc, w których cieknie lejek. Przejdź każdy etap – wizyta, rejestracja, aktywacja, retencja, przychód – i zapisz największe spadki; każdy z nich to hipoteza do przetestowania. Nadaj dużą wagę etapom najbliższym Twojemu momentowi aha przy aktywacji, bo użytkownik, który nigdy się nie aktywuje, rzadko zostaje. Każdy nazwany moment aha traktuj jako korelację do zweryfikowania, a nie udowodnioną przyczynę: sygnał aktywacji przewiduje retencję, ale nie dowodzi, że to Ty ją wywołujesz. Każdy wyciek staje się wierszem backlogu – hipoteza, metryka, na którą powinna wpłynąć, i zgrubny szacunek, w jakim stopniu.
Oceniaj pomysły metodą ICE
ICE, spopularyzowane przez Seana Ellisa, ocenia każdy pomysł na trzech osiach w skali od 1 do 10: Impact (wpływ), czyli jak mocno może wpłynąć na metrykę; Confidence (pewność), czyli jaką masz pewność, że zadziała; i Ease (łatwość), czyli jak mało wysiłku wymaga. Pomnóż trzy liczby, posortuj malejąco i pracuj od góry. Metoda jest szybka, bo to trzy uczciwe szacunki. Ta szybkość to też haczyk: wynik jest szacunkiem, a nie faktem. Traktuj 512 i 480 jako mniej więcej równe, a nie jako rozstrzygnięcie. Liczba porządkuje listę; nie decyduje za Ciebie.
Gdy zasięg się różni, użyj RICE
ICE zawodzi, gdy dwa pomysły skrajnie różnią się liczbą użytkowników, do których docierają. RICE, opracowane przez Intercom, naprawia to, dodając Reach (zasięg) i dzieląc przez Effort (wysiłek): (Reach × Impact × Confidence) / Effort. Podpowiedź widoczna dla każdego odwiedzającego i poprawka ukryta na stronie ustawień są wtedy oceniane na równych zasadach. Płacisz za to szybkością: potrzebujesz szacunku zasięgu, który trzeba skądś wziąć. Obowiązuje to samo ostrzeżenie – mnożenie czterech wymyślonych liczb może dać fałszywą precyzję, więc dane wejściowe trzymaj zgrubne i wracaj do nich, gdy dowiesz się więcej.
| Czynnik | ICE | RICE |
|---|---|---|
| Wzór | Impact × Confidence × Ease | (Reach × Impact × Confidence) / Effort |
| Szybkość | Szybko – trzy szacunki w skali 1–10 | Wolniej – wymaga liczby dla zasięgu |
| Najlepsze zastosowanie | Szybka selekcja dużego backlogu | Pomysły, których zasięg mocno się różni |
| Główna pułapka | Łatwość ukrywa prawdziwy wysiłek | Fałszywa precyzja z miękkich danych |
Przeglądaj w stałym rytmie i zamykaj przegrane testy
Ustal stały rytm – przegląd co tydzień albo co dwa tygodnie, na którym czytasz wyniki, wdrażasz zwycięzców i wycofujesz resztę. Zamykanie zgodnie z planem to dyscyplina, która utrzymuje kolejkę w ruchu; test, który dalej trwa, to zajęte miejsce. Przyznaj uczciwie, że większość testów nie wykazuje różnicy, a przy małym ruchu wiele ma za małą moc, zanim w ogóle wystartuje – często właściwą decyzją jest nie robić testu A/B, tylko wdrożyć zmianę i ją monitorować, jak opisuje poradnik o testach przy małym ruchu. Gdy już mierzysz, czysty odczyt zwykle wymaga grupy holdout, którą platforma taka jak Customer.io albo samodzielnie hostowany zestaw narzędzi do komunikacji z klientami może dla Ciebie wydzielić.