Zum Inhalt springen

Wie Sie eine Experiment-Roadmap aufbauen

Eine Experiment-Roadmap ist ein priorisierter Backlog der nächsten Tests, so bewertet, dass ein kleines Team seine wenigen Experiment-Slots für die Ideen mit dem höchsten Erwartungswert nutzt. Sie macht aus einem Haufen loser Vermutungen eine gerankte Warteschlange, legt einen Review-Rhythmus fest und erzwingt die schwerste Entscheidung: was Sie beenden.

Aktualisiert am 6 Min. LesezeitVon fromHello

Das Wichtigste in Kürze

  1. Priorisierung zählt am meisten, wenn Sie nur wenige Tests fahren können – jeder Slot für eine schwache Idee ist eine stärkere, die liegen bleibt.

  2. Bewerten Sie Ideen mit ICE (Impact × Confidence × Ease), um einen Backlog schnell zu ranken; greifen Sie zu RICE, wenn die Reichweite stark schwankt. Beides sind Schätzungen, keine Wahrheit.

  3. Bauen Sie den Backlog aus den Lecks in Ihrem Funnel und aus dem Aha-Moment der Aktivierung auf, nicht aus einer Wunschliste.

  4. Prüfen Sie Ergebnisse in festem Rhythmus und beenden Sie Verlierer planmäßig – rechnen Sie damit, dass die meisten Tests ohne Effekt zurückkommen.

Warum Priorisierung alles entscheidet

Ein kleines Team fährt vielleicht zwei oder drei Experimente pro Woche; nur sehr schnelle Teams schaffen zehn bis zwanzig – und selbst das ist bei dünnem Traffic ein Kraftakt. Bei so wenigen Slots liegen die echten Kosten eines mittelmäßigen Tests nicht im Test selbst, sondern in der stärkeren Idee, die Sie dafür übersprungen haben. Eine Roadmap sorgt dafür, dass jeder Slot an die Idee mit dem höchsten Erwartungswert geht, nicht an die lauteste Stimme im Standup. Diese gerankte Warteschlange zu verantworten ist ein großer Teil dessen, was ein Growth PM macht.

Den Backlog aus Funnel und Aha-Moment ableiten

Starten Sie nicht mit einer Wunschliste. Starten Sie dort, wo der Funnel leckt. Gehen Sie jeden Schritt durch – Besuch, Registrierung, Aktivierung, Retention, Umsatz – und notieren Sie die größten Abbrüche; jeder davon ist eine testbare Hypothese. Gewichten Sie die Schritte nahe Ihrem Aha-Moment der Aktivierung stark, denn wer nie aktiviert wird, bleibt selten. Behandeln Sie jeden Aha-Moment, den Sie benennen, als Korrelation, die Sie noch prüfen müssen, nicht als bewiesene Ursache: Ein Aktivierungssignal sagt Retention voraus, es beweist nicht, dass Sie sie verursacht haben. Jedes Leck wird zu einer Zeile im Backlog – die Hypothese, die Metrik, die sie bewegen soll, und eine grobe Schätzung, um wie viel.

Ideen mit ICE bewerten

ICE, bekannt gemacht von Sean Ellis, bewertet jede Idee auf drei Achsen von 1 bis 10: Impact, wie stark sie die Metrik bewegen könnte; Confidence, wie sicher Sie sind, dass sie funktioniert; und Ease, wie wenig Aufwand sie kostet. Multiplizieren Sie die drei Werte, sortieren Sie absteigend und arbeiten Sie die Liste von oben ab. Das geht schnell, weil es drei ehrliche Schätzungen sind. Genau diese Geschwindigkeit ist auch der Haken: Der Score ist eine Schätzung, keine Tatsache. Lesen Sie 512 und 480 als ungefähr gleich, nicht als Urteil. Die Zahl ordnet die Liste; die Entscheidung nimmt sie Ihnen nicht ab.

Ordnen Sie jede Idee nach Wirkung und Aufwand ein. Quick Wins – viel Wirkung, wenig Aufwand – bekommen Ihre knappen Slots zuerst; Zeitfresser verdienen sich selten einen Platz.

Wenn die Reichweite schwankt: RICE

ICE stößt an Grenzen, wenn zwei Ideen sich stark darin unterscheiden, wie viele Nutzer sie erreichen. RICE, entwickelt von Intercom, löst das, indem es Reach ergänzt und durch Effort teilt: (Reach × Impact × Confidence) / Effort. Ein Tooltip, den jeder Besucher sieht, und eine Änderung tief in einer Einstellungsseite werden so auf derselben Grundlage bewertet. Der Preis: Sie tauschen Geschwindigkeit gegen eine Reichweitenschätzung, die Sie erst beschaffen müssen. Dieselbe Warnung gilt – vier ausgedachte Zahlen zu multiplizieren kann falsche Präzision erzeugen, also halten Sie die Eingaben grob und überprüfen Sie sie, sobald Sie mehr wissen.

FaktorICERICE
FormelImpact × Confidence × Ease(Reach × Impact × Confidence) / Effort
TempoSchnell – drei Schätzungen von 1–10Langsamer – braucht eine Reichweitenzahl
Ideal fürEinen großen Backlog schnell sichtenIdeen mit sehr unterschiedlicher Reichweite
Größte FalleEase verschleiert den echten AufwandFalsche Präzision aus weichen Eingaben

Im festen Rhythmus prüfen und Verlierer beenden

Legen Sie einen festen Rhythmus fest – ein wöchentliches oder zweiwöchentliches Review, in dem Sie Ergebnisse lesen, Gewinner übernehmen und den Rest beenden. Planmäßig zu beenden ist die Disziplin, die die Warteschlange in Bewegung hält; ein Test, der weiterläuft, ist ein Slot, der belegt bleibt. Seien Sie ehrlich: Die meisten Tests kommen ohne Effekt zurück, und bei wenig Traffic fehlt vielen schon vor dem Start die statistische Power – oft ist die richtige Entscheidung, gar keinen A/B-Test zu fahren, sondern auszurollen und zu beobachten, wie es Testen mit wenig Traffic beschreibt. Wenn Sie messen, brauchen Sie für ein sauberes Ergebnis meist eine Holdout-Gruppe, die eine Plattform wie customer.io oder ein selbst gehosteter Engagement-Stack für Sie zurückhalten kann.

FAQ

Häufige Fragen

  • Wie viele Experimente sollte ein kleines Team einplanen?

    Weniger, als Sie denken. Zwei oder drei gut durchgeführte Tests pro Woche sind für die meisten kleinen Teams eine realistische Obergrenze, und selbst starke Growth-Teams kommen selten über zehn bis zwanzig. Planen Sie die Roadmap nach Ihrer echten Zahl an Slots, nicht nach einer Wunschzahl.

  • Was ist besser, ICE oder RICE?

    Keines ist „besser“ – sie beantworten unterschiedliche Fragen. Nutzen Sie ICE, um einen großen Backlog schnell zu sichten, wenn die Ideen ähnlich viele Nutzer erreichen. Wechseln Sie zu RICE, wenn die Reichweite so stark schwankt, dass sie das Ranking verändert. Beides sind Schätzungen; behandeln Sie den Score als Sortierreihenfolge, nicht als Urteil.

  • Wie oft sollte ich den Backlog neu priorisieren?

    Im selben Rhythmus, in dem Sie Ergebnisse prüfen – für die meisten Teams wöchentlich oder alle zwei Wochen. Bewerten Sie neu, wenn ein Test endet, sich eine Metrik verschiebt oder ein neues Leck auftaucht. Scores verschieben sich, während Sie lernen; eine Roadmap, die nie neu gerankt wird, ist schon veraltet.

  • Was tun, wenn ein Test keine Signifikanz erreicht?

    Das ist bei wenig Traffic der Normalfall. Lassen Sie ihn nicht ewig laufen in der Hoffnung, dass sich die Kurve bewegt – legen Sie vorab fest, wie lange Sie warten, rollen Sie dann die Version aus, die Sie ohnehin ausrollen würden, und beobachten Sie Ihre Guardrail-Metriken. Formale A/B-Tests lohnen sich nur für Änderungen, die groß genug sind, oder Seiten mit genug Traffic, um tatsächlich ein Ergebnis zu liefern.

fromHello ist Open-Source-Software für Marketing-Automation: Nachrichten, ausgelöst durch das, was Menschen tun.

fromHello Cloud ist im Early Access über die Warteliste verfügbar.

Early Access

fromHello Cloud

Niemand gründet, um klein zu bleiben.

Der Early Access für fromHello Cloud öffnet schrittweise. Das Onboarding ist persönlich: Wir helfen Ihnen bei der Einrichtung und beim Umzug Ihrer Kontakte.

Wir schreiben Ihnen, sobald Ihr Platz frei wird. Kein Spam.

Noch nicht so weit? Auf GitHub ansehen