Am Ende eines Quartals liegt in fast jedem Team dieselbe Liste vor: zwanzig, dreißig Ideen für Tests, gesammelt aus Meetings, Kundenfeedback und der eigenen Beobachtung der Website. Umgesetzt werden davon meist drei oder vier, und die Auswahl folgt selten einem nachvollziehbaren Muster.

Das eigentliche Problem ist nicht der Mangel an Ideen, sondern das Fehlen einer Reihenfolge. Ohne Priorisierung wird umgesetzt, was zuletzt diskutiert wurde oder wer im Meeting am lautesten war, nicht was den größten Effekt bei vertretbarem Aufwand verspricht.

Dieser Beitrag beschreibt ein einfaches Bewertungsraster aus drei Größen, mit dem sich eine Liste von Ideen in eine begründete Reihenfolge bringen lässt. Das Raster ersetzt keine Erfahrung, aber es macht Entscheidungen nachvollziehbar und wiederholbar.

• Drei Größen: erwarteter Effekt, Aufwand, Sicherheit der Hypothese
• Skala: eine einfache Punktzahl von eins bis fünf je Größe reicht
• Ergebnis: eine Rangliste statt einer unsortierten Ideensammlung
• Fehlerquelle: Effekt wird oft überschätzt, Aufwand oft unterschätzt
• Parallelität: selten mehr als zwei bis drei Tests gleichzeitig auf derselben Seite
• Rhythmus: die Liste wird alle vier bis sechs Wochen neu bewertet

Warum die meisten Testlisten nie abgearbeitet werden

Eine Liste ohne Reihenfolge wächst schneller, als sie abgearbeitet wird. Jede neue Idee kommt oben drauf, weil sie gerade präsent ist, und ältere Einträge rutschen nach unten, ohne dass jemand geprüft hat, ob sie eigentlich wichtiger wären.

Nach einigen Monaten enthält die Liste vor allem Einträge, die niemand mehr genau erklären kann. Der ursprüngliche Anlass ist vergessen, die vermutete Wirkung nie aufgeschrieben worden, und ein neues Teammitglied kann mit der Liste kaum etwas anfangen.

Ein Bewertungsraster löst dieses Problem nicht durch mehr Disziplin, sondern durch eine feste Struktur, die jede Idee zwingt, sich an denselben drei Fragen messen zu lassen, bevor sie einen Platz auf der Liste bekommt.

CRO Testplan Priorisierung: das Bewertungsraster

Für die CRO Testplan Priorisierung reichen drei Größen: der erwartete Effekt auf die Zielkennzahl, der Aufwand für Umsetzung und Auswertung, und die Sicherheit, mit der die zugrunde liegende Hypothese begründet ist.

Jede Größe wird auf einer einfachen Skala von eins bis fünf bewertet, ohne Nachkommastellen und ohne komplizierte Formel. Effekt und Sicherheit werden addiert oder multipliziert, der Aufwand wird als Divisor oder als Abzug eingerechnet, je nachdem, welche Variante dem Team leichter fällt.

Wichtiger als die exakte Formel ist die Konsequenz: Jede Idee bekommt dieselben drei Fragen gestellt, bevor sie in die Rangliste einsortiert wird. Eine Idee ohne Bewertung landet nicht automatisch oben, nur weil sie zuletzt erwähnt wurde.

Die drei Größen: Effekt, Aufwand, Sicherheit

Der Effekt beschreibt, wie stark sich die Zielkennzahl bei einem positiven Testausgang voraussichtlich verändert. Der Aufwand beschreibt Zeit und Ressourcen für Umsetzung, technische Integration und Auswertung. Die Sicherheit beschreibt, wie gut die Hypothese bereits durch vorhandene Daten gestützt ist.

Diese drei Größen stehen bewusst nebeneinander, weil jede für sich genommen in die Irre führen kann. Ein hoher erwarteter Effekt bei niedriger Sicherheit ist eine Wette, kein belegter Ansatz. Ein niedriger Aufwand allein rechtfertigt keinen Test ohne erkennbaren Effekt.

Erst das Zusammenspiel der drei Größen ergibt eine belastbare Reihenfolge. Eine Idee mit mittlerem Effekt, geringem Aufwand und hoher Sicherheit schlägt in der Praxis meist eine Idee mit hohem Effekt, hohem Aufwand und geringer Sicherheit.

Ein vierter Faktor, der sich nicht sauber in eine eigene Spalte fassen lässt, aber die Bewertung beeinflusst, ist die Reversibilität: Wie leicht lässt sich eine Änderung zurücknehmen, falls sie sich als Fehleinschätzung erweist? Leicht umkehrbare Ideen verdienen im Zweifel einen kleinen Bonus gegenüber schwer rückgängig zu machenden.

Effekt schätzen, ohne eine Zahl zu erfinden

Der erwartete Effekt wird nicht als exakte Prozentzahl geschätzt, sondern relativ eingeordnet: gering, wenn nur ein kleiner Teil der Besucher betroffen ist, hoch, wenn eine zentrale Stelle im Trichter verändert wird, an der viele Nutzer vorbeikommen.

Eine Hilfe ist die Frage, wie viele Sitzungen den betroffenen Bereich überhaupt erreichen. Eine Änderung am Checkout betrifft in der Regel mehr Nutzer als eine Änderung an einer selten besuchten Unterseite und bekommt entsprechend einen höheren Ausgangswert für den Effekt.

Erfundene Prozentwerte gehören nicht in diese Bewertung. Eine ehrliche Einordnung in drei oder fünf Stufen ist nützlicher als eine Scheinpräzision, die sich später nicht bestätigt und das Vertrauen in das gesamte Raster untergräbt.

Aufwand realistisch bewerten

Der Aufwand umfasst mehr als die reine Umsetzungszeit. Dazu gehören Abstimmung mit Entwicklung oder Agentur, technische Integration in das Testwerkzeug, und die spätere Auswertung, die bei komplexeren Tests ebenfalls Zeit kostet.

Häufig unterschätzt wird der Aufwand für Tests, die mehrere Systeme berühren, etwa eine Änderung, die sowohl im Shopsystem als auch im Bezahlprozess eines externen Anbieters wirkt. Solche Tests wirken auf dem Papier einfach und sind es in der Umsetzung selten.

Eine grobe Faustregel hilft bei der Einschätzung: Lässt sich die Änderung ohne Entwicklerressource umsetzen, ist der Aufwand niedrig. Braucht sie eine neue technische Anbindung, ist er hoch, unabhängig davon, wie klein die sichtbare Änderung am Ende wirkt.

Sicherheit: wie gut ist die Hypothese belegt?

Die Sicherheit bewertet nicht den Effekt, sondern die Grundlage der Hypothese. Eine Idee, die aus mehreren übereinstimmenden Beobachtungen stammt, etwa aus Session Recordings und einem auffälligen Wert in der Webanalyse gleichzeitig, bekommt eine hohe Sicherheit.

Eine Idee, die aus einer einzelnen Meinung oder einem Trend aus einem fremden Blogbeitrag stammt, ohne eigenen Beleg auf der eigenen Website, bekommt eine niedrige Sicherheit, selbst wenn der vermutete Effekt groß erscheint.

Diese Größe ist der eigentliche Kern der Priorisierung, weil sie verhindert, dass Trends und Meinungen automatisch vor eigenen, belegten Beobachtungen rangieren. Ein Test ohne Grundlage ist ein Ratespiel, kein systematisches Vorgehen.

Eine mittlere Sicherheit verdienen Hypothesen, die zwar aus einer einzelnen Quelle stammen, dafür aber aus einer belastbaren: etwa eine auffällige Zahl aus der Webanalyse über einen längeren Zeitraum, auch ohne begleitende Beobachtung aus Aufnahmen des Nutzerverhaltens.

Ein einfaches Punktesystem

Für jede der drei Größen wird eine Zahl von eins bis fünf vergeben, wobei fünf jeweils den günstigsten Wert bedeutet: hoher Effekt, niedriger Aufwand, hohe Sicherheit. Die drei Werte werden addiert, die Idee mit der höchsten Summe steht oben auf der Liste.

Wichtig ist eine einheitliche Definition der Skalenpunkte im Team, damit unterschiedliche Personen dieselbe Idee ähnlich bewerten. Eine kurze schriftliche Erklärung je Skalenpunkt, einmal festgelegt, verhindert spätere Diskussionen über die Bewertung selbst statt über die Idee.

Das System muss nicht komplizierter werden, um brauchbar zu sein. Ein einfaches Punktesystem, das konsequent angewendet wird, schlägt in der Praxis fast jede aufwendigere Formel, die aus Zeitgründen doch nicht regelmäßig gepflegt wird, wie es auch der Beitrag zur Conversion-Rate-Optimierung mit zehn Techniken für die praktische Umsetzung zeigt.

Beispielbewertung mit drei Hypothesen

Die einfache Änderung am Formularfeld liegt trotz mittlerem Effekt vorn, weil sie kaum Aufwand kostet und aus mehreren Aufnahmen belegt ist. Die aufwendige Bildergalerie landet trotz höherem vermutetem Effekt hinten.

Warum die einfachste Idee nicht automatisch zuerst kommt

Ein niedriger Aufwand allein macht eine Idee nicht sinnvoll. Eine Änderung, die sich in einer Stunde umsetzen lässt, aber keinerlei Effekt verspricht, bindet trotzdem Kapazität, die an anderer Stelle mehr bewirken würde.

Das Bewertungsraster verhindert diesen Fehler, indem es den Effekt als eigenständige Größe verlangt. Eine Idee mit niedrigem Aufwand und niedrigem Effekt bekommt entsprechend eine niedrige Gesamtsumme und rutscht auf der Liste nach hinten, trotz ihrer scheinbaren Einfachheit.

Umgekehrt gilt: Eine aufwendige Idee mit außergewöhnlich hoher Sicherheit und hohem erwartetem Effekt kann trotzdem oben stehen. Das Raster soll eine Reihenfolge begründen, nicht grundsätzlich die einfachste Option bevorzugen.

Wie viele Tests gleichzeitig laufen dürfen

Mehrere Tests auf derselben Seite gleichzeitig erschweren die Zuordnung von Effekten, weil sich Wirkungen überlagern können. Als Faustregel gelten selten mehr als zwei bis drei parallele Tests auf demselben Seitentyp.

Tests auf klar getrennten Bereichen, etwa ein Test im Checkout und ein Test auf der Startseite, lassen sich in der Regel unabhängig voneinander laufen lassen, solange die betroffenen Nutzergruppen sich kaum überschneiden.

Die Rangliste aus dem Bewertungsraster hilft auch hier: Steht eine Idee mit hoher Priorität an, wird eine laufende Idee mit niedrigerer Priorität eher pausiert, statt beide gleichzeitig auf derselben Seite zu testen.

Der Umgang mit Ideen aus der Geschäftsführung

Ideen, die aus der Geschäftsführung kommen, werden nach demselben Raster bewertet wie alle anderen. Das schützt vor der verbreiteten Ausnahme, bei der eine Idee allein wegen ihrer Herkunft an der Rangliste vorbei sofort umgesetzt wird.

In der Praxis bedeutet das nicht, solche Ideen abzulehnen, sondern sie sichtbar in derselben Tabelle zu führen. Zeigt die Bewertung eine niedrige Sicherheit, wird das offen kommuniziert, verbunden mit dem Angebot, die Hypothese zunächst mit vorhandenen Daten zu prüfen.

Diese Transparenz verhindert die stille Umgehung des gesamten Systems und macht gleichzeitig deutlich, dass die Priorisierung sachlich begründet ist, nicht gegen bestimmte Personen gerichtet.

In der Praxis hilft es, eine Idee aus der Geschäftsführung ausdrücklich als eine von mehreren im Raum stehenden Optionen zu behandeln, statt sie stillschweigend an die Spitze der Liste zu setzen. Diese Gleichbehandlung fällt anfangs schwer, wird aber mit der Zeit zur Selbstverständlichkeit.

Wenn zwei Hypothesen ähnlich hoch bewertet sind

Liegen zwei Ideen in der Summe nah beieinander, entscheidet meist die Frage, welche der beiden Erkenntnisse liefert, die für weitere Tests nützlich sind. Ein Test, dessen Ergebnis unabhängig vom Ausgang eine klare Aussage liefert, wird bevorzugt.

Ebenfalls hilfreich ist ein Blick auf die technische Abhängigkeit: Baut eine spätere, größere Idee auf dem Ergebnis einer kleineren auf, wird die kleinere zuerst getestet, auch bei nahezu gleicher Punktzahl.

Im Zweifel ist eine kurze gemeinsame Entscheidung im Team schneller als eine immer feinere Ausdifferenzierung der Skala. Das Raster soll die Diskussion strukturieren, nicht jede Entscheidung vollständig automatisieren.

Die Rolle von Nutzerbeobachtung in der Bewertung

Beobachtungen aus Aufnahmen des Nutzerverhaltens liefern häufig die Grundlage für die Sicherheit einer Hypothese. Eine Idee, die aus mehreren übereinstimmenden Beobachtungen entstanden ist, lässt sich mit einer höheren Sicherheit bewerten als eine Idee ohne solche Grundlage.

Ebenso hilfreich sind Auswertungen aus der Webanalyse, etwa auffällige Absprungraten an bestimmten Stellen im Trichter. Beide Quellen zusammen liefern die belastbarsten Ausgangspunkte für eine Hypothese.

Wie sich eine solche Grundlage systematisch aus dem Verhalten der Besucher gewinnen lässt, beschreibt der Beitrag zu datenbasiertem Marketing ausführlicher.

Wie oft die Liste neu bewertet wird

Eine feste Bewertung alle vier bis sechs Wochen reicht für die meisten Teams. Häufigere Neubewertungen kosten mehr Zeit, als sie an zusätzlicher Genauigkeit bringen, seltenere lassen die Liste wieder unübersichtlich werden.

Bei der Neubewertung werden auch bereits getestete Ideen kurz durchgesehen: Was hat sich bestätigt, was nicht, und welche neuen Ideen sind seit der letzten Runde dazugekommen. Abgeschlossene Tests werden aus der aktiven Liste entfernt, nicht gelöscht.

Diese Historie ist wertvoll für spätere Entscheidungen, weil sie zeigt, welche Art von Hypothese sich in der Vergangenheit als tragfähig erwiesen hat und welche eher nicht.

Was mit abgelehnten Ideen passiert

Eine Idee mit niedriger Punktzahl wird nicht gelöscht, sondern in einer separaten Liste geparkt. Ändert sich später eine der drei Größen, etwa weil der Aufwand durch ein neues Werkzeug sinkt, wandert sie zurück in die aktive Bewertung.

Diese Praxis verhindert, dass dieselbe Idee mehrfach im Jahr neu vorgeschlagen und jedes Mal neu diskutiert wird. Ein Blick in die geparkte Liste beantwortet die Frage, ob eine Idee bereits geprüft wurde, und mit welchem Ergebnis.

Wer diese Liste offen zugänglich macht, etwa für das gesamte Team, reduziert außerdem die Zahl der wiederkehrenden Vorschläge in Meetings, weil sich der aktuelle Stand jederzeit selbst nachschlagen lässt.

Häufige Fragen

Braucht jedes Team dieselbe Skala von eins bis fünf?

Nein, die Skala kann angepasst werden. Wichtig ist nur, dass sie im Team einheitlich verwendet und nicht bei jeder Bewertung neu interpretiert wird.

Wie geht man mit sehr großen, strategischen Projekten um?

Große Projekte mit mehreren Testschritten werden in Teilhypothesen zerlegt, die einzeln bewertet werden. Ein einzelner Punktwert für ein Projekt mit mehreren Monaten Laufzeit ist meist zu grob.

Was, wenn der Aufwand vorab schwer einschätzbar ist?

Dann wird ein grober Wert mit einer kurzen Unsicherheitsangabe eingetragen, statt die Bewertung ganz auszulassen. Eine grobe Schätzung ist besser als eine fehlende Zahl in der Tabelle.

Lässt sich das Raster auch für Ideen außerhalb von A/B-Tests nutzen?

Ja, das Prinzip funktioniert für jede Maßnahme mit unsicherem Effekt und begrenzter Kapazität, auch außerhalb der klassischen Testumgebung.

Wie viele Ideen sollten auf der aktiven Liste stehen?

Fünfzehn bis zwanzig bewertete Ideen reichen für die meisten Teams für mehrere Monate. Eine deutlich längere Liste wird selten vollständig gepflegt und verliert an Nutzen.

Muss die Bewertung im Team gemeinsam erfolgen?

Nicht zwingend, aber eine kurze gemeinsame Abstimmung über die höchstbewerteten Ideen verhindert, dass eine einzelne Person unbemerkt eigene Vorlieben in die Skala einfließen lässt.

Nehmen Sie die aktuelle Ideenliste und bewerten Sie die obersten zehn Einträge einmal nach den drei Größen. Die Reihenfolge, die danach entsteht, weicht in den meisten Teams deutlich von der ursprünglichen Sortierung ab.