Ein Shop mit dreihundert Bestellungen im Monat testet zwei Fassungen der Produktseite, lässt beide zwei Wochen laufen und liest am Ende 2,1 gegen 2,4 Prozent ab. Die zweite Fassung gewinnt, wird ausgerollt, und im Folgemonat liegt die Quote bei 1,9 Prozent. Nichts daran ist ungewöhnlich.

Der Unterschied war nie einer. Er war die normale Streuung zwischen zwei kleinen Stichproben. Bei dieser Bestellmenge hätte auch ein Test der Seite gegen sich selbst regelmäßig einen Sieger hervorgebracht, und zwar mal den einen, mal den anderen.

Wer ohne Vorabrechnung testet, bekommt trotzdem immer ein Ergebnis, weil das Werkzeug eine Zahl anzeigt und eine Farbe dazu. Die Frage ist nur, ob diese Zahl etwas über die Änderung aussagt oder über den Zufall. Hier steht, wie sich das vorher abschätzen lässt und was an die Stelle des Tests tritt, wenn die Rechnung nicht aufgeht.

• Vor dem Start: Basisrate, kleinste interessante Verbesserung und Laufzeit festlegen
• Näherung je Gruppe: 16 mal p mal (1 minus p), geteilt durch die quadrierte absolute Differenz
• Mindestlaufzeit: zwei volle Wochen, und immer ganze Wochen
• Häufigster Fehler: täglich nachsehen und beim ersten grünen Balken abbrechen
• Wenn die Menge fehlt: größere Eingriffe, frühere Trichterschritte, Beobachtung statt Rechnung
• Was nie hilft: die Auswertung nachträglich nach Gerät, Kanal und Neukunden aufteilen

Wann ein A/B-Test bei wenig Traffic überhaupt etwas misst

Ein Test vergleicht zwei Stichproben und fragt, ob der beobachtete Abstand größer ist, als er durch Zufall zustande käme. Wie breit dieser Zufallsspielraum ausfällt, hängt an drei Dingen: der Ausgangsquote, der Größe des erwarteten Unterschieds und der Zahl der Sitzungen je Variante.

Bei niedriger Ausgangsquote ist der Spielraum breit. Zwei Prozent Bestellquote bedeuten bei tausend Sitzungen zwanzig Bestellungen. Fünf Bestellungen mehr oder weniger sehen nach einem Sprung von 25 Prozent aus und sind doch nur die übliche Schwankung eines kleinen Zählwerks.

Deshalb entscheidet sich ein A/B-Test bei wenig Traffic nicht am Ende, sondern vorher auf dem Papier. Wer die nötige Menge in einem vertretbaren Zeitraum nicht zusammenbekommt, spart sich vier Wochen Wartezeit und greift zu einem anderen Verfahren.

Die drei Größen, die vor dem Start feststehen

Die Basisrate ist der heutige Wert genau der Kennzahl, die der Eingriff verändern soll. Nicht die Bestellquote des ganzen Shops, sondern die Quote des Schritts, an dem die Änderung sitzt. Wer den Warenkorb umbaut, rechnet mit der Quote vom Warenkorb zur Bestellung.

Die zweite Größe ist die kleinste Verbesserung, die eine Entscheidung überhaupt rechtfertigt. Zwei Prozent relativer Zuwachs sind in einem kleinen Shop weder messbar noch den Umbau wert. Diese Zahl wird vorher festgelegt, weil sie später den Ausschlag gibt, ob ausgerollt wird.

Die dritte Größe ist die Laufzeit, und sie ist kein Wunsch, sondern ein Ergebnis: nötige Stichprobe mal zwei, geteilt durch die täglichen Sitzungen an dieser Stelle. Kommt dabei ein halbes Jahr heraus, ist die Frage beantwortet, bevor irgendjemand eine Variante gebaut hat.

Die Näherung, mit der sich die Stichprobe abschätzen lässt

Für zwei etwa gleich große Gruppen genügt eine gängige Näherung: je Gruppe rund 16 mal p mal (1 minus p), geteilt durch das Quadrat der absoluten Differenz. Dabei ist p die Basisrate als Dezimalzahl, und die Differenz wird ebenfalls als Dezimalzahl eingesetzt, nicht in Prozentpunkten.

Die 16 in der Formel steht für die üblichen Vorgaben: fünf Prozent Irrtumswahrscheinlichkeit und achtzig Prozent Trennschärfe. Wer strenger rechnet, bekommt eine größere Zahl. Wer die Vorgaben lockert, bekommt schneller ein Ergebnis, das häufiger falsch ist. Die Hintergründe dazu erklärt der Artikel zur statistischen Signifikanz ausführlicher.

Ein Beispiel: Basisrate 2 Prozent, angestrebt ist ein Fünftel mehr, also 2,4 Prozent. Die absolute Differenz beträgt 0,004. Der Zähler ergibt 16 mal 0,02 mal 0,98, also 0,3136. Geteilt durch 0,000016 sind das 19.600 Sitzungen je Variante, zusammen also fast 40.000.

Was die Rechnung für einen kleinen Shop ergibt

Die Tabelle erklärt, warum Farbtests an Schaltflächen in kleinen Shops nichts bringen. Solche Eingriffe bewegen die Quote im niedrigen einstelligen Bereich, und dafür fehlt schlicht die Menge. Die letzte Zeile ist umgekehrt kaum realistisch: Eine Verbesserung um die Hälfte schafft keine Textänderung, sondern höchstens ein anderer Bestellablauf.

Die Laufzeiten in der letzten Spalte gelten für 400 Sitzungen am Tag an dieser Stelle des Trichters, aufgeteilt auf beide Varianten. Wer die Rechnung mit den eigenen Zahlen wiederholt, braucht dafür zehn Minuten und weiß danach, welche Fragen der Shop beantworten kann und welche nicht.

Den Test beenden, sobald das Ergebnis passt

Der teuerste Fehler ist nicht die zu kleine Stichprobe, sondern das tägliche Nachsehen mit der Option, jederzeit abzubrechen. Jede Zwischenauswertung ist eine weitere Gelegenheit für einen Zufallstreffer, und die Wahrscheinlichkeit, irgendwann einen zu sehen, wächst mit jedem Blick.

Bei kleinen Zahlen schwankt der angezeigte Vorsprung in den ersten Tagen erheblich. Wer genau dann abbricht, wenn die Anzeige das erste Mal grün wird, wählt systematisch die Ausreißer aus. Das ist der Mechanismus hinter den vielen Gewinnern, die sich später nicht wiederholen lassen.

Die Gegenmaßnahme kostet nichts: Enddatum und nötige Stichprobe vorher notieren, bis dahin nur auf technische Fehler schauen und die Kennzahl nicht anfassen. Wer zwischendurch entscheiden muss, braucht ein Verfahren, das laufende Auswertung einplant, und das ist eine andere Rechnung als die oben.

Angefangene Wochen verfälschen jeden Vergleich

Das Kaufverhalten folgt dem Wochenrhythmus. Montag sieht anders aus als Samstag, das Monatsende anders als die Monatsmitte, und ein Feiertag verschiebt beides. Ein Test über neun Tage enthält deshalb zwei Montage und einen Sonntag zu viel.

Daraus folgen zwei Regeln. Erstens: nur ganze Wochen auswerten. Zweitens: mindestens zwei davon, damit ein einzelnes Ereignis, etwa ein Versandtag mit Störung, nicht das ganze Ergebnis trägt.

Nach oben gibt es ebenfalls eine Grenze. Läuft ein Test über viele Wochen, wechseln Menschen das Gerät, löschen Cookies und sehen beide Varianten. Die Gruppen vermischen sich, und der gemessene Abstand wird kleiner, als er ist. Sechs bis acht Wochen sind in der Praxis das Ende der Fahnenstange.

Eine Kennzahl je Test, nicht sechs

Wer gleichzeitig Bestellquote, Warenkorbwert, Absprungrate, Verweildauer und Newsletter-Anmeldungen auswertet, findet fast immer irgendwo einen Unterschied. Bei fünf betrachteten Kennzahlen ist ein zufälliger Treffer nicht die Ausnahme, sondern die Regel.

Sauber ist eine einzige Zielkennzahl, vor dem Start benannt, plus zwei oder drei Wächterwerte, die nur eine Frage beantworten: Hat der Eingriff etwas kaputtgemacht? Retourenquote, Fehlerrate im Formular und durchschnittlicher Bestellwert reichen dafür.

Der Unterschied liegt in der Entscheidungsregel. Die Zielkennzahl entscheidet über Ausrollen oder Verwerfen. Ein Wächterwert stoppt den Test, wenn er deutlich kippt, dient aber nie als Ersatzbeweis für einen Erfolg, der beim eigentlichen Ziel ausgeblieben ist.

Wer Segmente auswertet, zerlegt seine Stichprobe

Die Versuchung ist groß: Insgesamt kein Unterschied, aber bei Neukunden am Handy aus dem bezahlten Kanal liegt die Variante vorn. Genau dieser Schnitt hat ein Viertel der Daten und den vierfachen Zufallsspielraum.

Nachträglich gebildete Segmente sind Hypothesen für den nächsten Test, keine Ergebnisse des laufenden. Wer sie so behandelt, kann sie notieren und beim nächsten Mal vorab festlegen, mit eigener Rechnung für die nötige Menge.

Vorab festgelegte Segmente sind zulässig, kosten aber Stichprobe. Wer wissen will, ob eine Änderung am Handy anders wirkt als am Rechner, braucht die berechnete Menge für jede der beiden Gruppen, nicht insgesamt. Meist ist es ehrlicher, den Test gleich nur für ein Gerät zu fahren.

Die Effektgröße ist die einzige Stellschraube

An der Zahl der Besucher lässt sich kurzfristig wenig drehen. An der Größe des Eingriffs schon. Wer statt einer Textzeile den kompletten Ablauf ändert, verschiebt die erwartete Wirkung so weit nach oben, dass die Stichprobe wieder erreichbar wird.

Das heißt in der Praxis: Gastbestellung einführen statt Knopfbeschriftung ändern, drei Formularfelder streichen statt eines, Versandkosten früher zeigen statt sie umzuformulieren. Solche Eingriffe sind es wert, gemessen zu werden.

Der Preis dafür ist die Zuordnung. Ein Bündel aus fünf Änderungen zeigt, dass die neue Fassung besser läuft, nicht welcher Teil davon wirkt. Für kleine Shops ist dieser Tausch fast immer richtig, weil die feine Zuordnung ohnehin nie messbar gewesen wäre.

Weiter oben im Trichter messen

Je höher die Basisrate, desto kleiner die nötige Stichprobe. Der Schritt vom Produkt in den Warenkorb liegt in vielen Shops bei acht bis zehn Prozent, die Bestellung bei zwei. Für dieselbe relative Verbesserung von einem Fünftel braucht der Warenkorbschritt bei acht Prozent nur rund 460 Sitzungen je Variante statt 19.600.

Das ist der größte Hebel für kleine Shops, hat aber eine Bedingung: Der frühere Schritt muss mit dem Umsatz zusammenhängen. Mehr Warenkörbe ohne mehr Bestellungen sind kein Gewinn, sondern eine Verlagerung des Abbruchs nach hinten.

Deshalb gehört zu jedem Test auf einer frühen Stufe die Kontrolle auf der letzten. Sie beweist nichts, weil dort die Menge fehlt, zeigt aber, ob die Bestellungen zumindest nicht eingebrochen sind. Welche Zwischenschritte sich als Signal eignen, hängt am Sortiment; unser Text zu Kundenengagement ordnet die üblichen Kandidaten ein.

Beobachtung liefert Gründe, Statistik liefert Prozentwerte

Ein Test beantwortet, ob eine Fassung besser läuft. Er beantwortet nie, warum. Für das Warum gibt es Verfahren, die ohne Stichprobenrechnung auskommen, weil sie gar nicht auf Verallgemeinerung zielen.

Fünf Personen beim Bestellen zusehen, die Aufzeichnung einzelner Sitzungen ansehen, eine Formularanalyse laufen lassen, im Telefondienst mitschreiben, welche Frage dreimal am Tag kommt. Jedes dieser Verfahren findet Probleme, die im Zahlenwerk unsichtbar bleiben.

Der Unterschied in der Beweislage bleibt bestehen und sollte im Team ausgesprochen werden. Beobachtung findet Kandidaten, Statistik prüft Wirkung. Wer beides verwechselt, verkauft eine Vermutung als Ergebnis. Wie sich Beobachtungen strukturiert erheben lassen, zeigt der Beitrag zur Marktforschung im Marketing.

Vorher und nachher vergleichen, ohne sich zu belügen

Wenn ein paralleler Test unmöglich ist, bleibt der Vergleich über die Zeit. Er ist schwächer, weil zwischen den Zeiträumen alles Mögliche passiert: Saison, Wetter, Kampagnen, Preise, ein Beitrag mit Reichweite.

Brauchbar wird er unter drei Bedingungen. Erstens genügend lange Zeiträume, mindestens vier Wochen vorher und vier Wochen nachher. Zweitens ein Kontrollwert, der von der Änderung nicht betroffen ist, etwa die Bestellquote einer unveränderten Kategorie. Drittens ein Änderungsprotokoll mit Datum, damit später niemand rät.

Selbst dann bleibt das Ergebnis ein Hinweis. Wer es als solchen ausweist, kann damit arbeiten. Wer daraus eine Prozentzahl im Quartalsbericht macht, baut die nächste Fehlentscheidung schon ein.

Welches Verfahren zu welcher Besuchermenge passt

• Unter etwa 200 Bestellungen im Monat: Beobachtung, Bedientests, Fehlerbehebung. Kein klassischer Test, auch nicht mit langer Laufzeit.
• 200 bis 1.000 Bestellungen: Tests nur auf frühen Trichterstufen und nur mit großen Eingriffen. Bestellquote als Wächterwert mitführen.
• Ab etwa 1.000 Bestellungen: Tests bis in den Bestellvorgang hinein möglich, weiterhin mit vorab gerechneter Stichprobe.
• Bei jeder Menge: technische Fehler und Ladezeit gehören nicht in einen Test, sondern in die Fehlerliste.

Diese Grenzen folgen aus der Rechnung weiter oben, nicht aus einer Erhebung. Wer ein anderes Sortiment mit anderen Quoten führt, verschiebt sie entsprechend nach oben oder unten. Auch das Kaufmotiv spielt hinein, wie der Beitrag zur Psychologie im digitalen Marketing zeigt.

Was ein Test ohne Ergebnis trotzdem einbringt

Ein Test, der keinen Unterschied findet, ist kein verlorener Monat. Er schließt eine Möglichkeit aus, und die Liste der Vermutungen wird kürzer. Wenn die neue Fassung aus anderen Gründen besser ist, etwa weil sie weniger Pflege braucht, kann sie trotzdem bleiben.

Fast immer fällt nebenbei etwas anderes an: ein Fehler im Messaufbau, ein Formularfeld, das auf einem Gerät nicht funktioniert, ein Zahlungsweg, der bei bestimmten Beträgen abbricht. Solche Funde sind oft mehr wert als das eigentliche Testergebnis.

Wichtig ist die Ablage. Eine Zeile je Test mit Datum, Hypothese, Stichprobe, Ergebnis und Entscheidung verhindert, dass in achtzehn Monaten dieselbe Idee noch einmal von vorn diskutiert wird.

Der Testplan, bevor die erste Variante gebaut wird

1. Zielkennzahl und den genauen Trichterschritt benennen, an dem gemessen wird.
2. Die Basisrate aus vier zusammenhängenden Wochen ablesen, nicht aus dem besten Monat.
3. Die kleinste Verbesserung festlegen, die einen Rollout rechtfertigt, und aufschreiben warum.
4. Stichprobe und Laufzeit rechnen, bevor gestaltet wird.
5. Ergibt die Rechnung mehr als sechs bis acht Wochen, das Verfahren wechseln statt die Vorgaben zu lockern.
6. Enddatum eintragen, zwei bis drei Wächterwerte festlegen und bis zum Ende nicht auswerten.
7. Nach dem Ende einmal auswerten, entscheiden, in einer Zeile dokumentieren.

Punkt fünf ist der unbequeme. Er heißt in der Praxis, dass die meisten Testideen in kleinen Shops nie zum Test werden, sondern zu einer Beobachtungsaufgabe. Das ist kein Rückschritt, sondern die ehrliche Anwendung derselben Rechnung.

Häufige Fragen

Reicht es, wenn das Werkzeug 95 Prozent Signifikanz anzeigt?

Nur, wenn die geplante Stichprobe erreicht und die Auswertung nicht vorher mehrfach gelesen wurde. Bei laufender Kontrolle verliert die Anzeige ihre Bedeutung, weil sie für eine einmalige Auswertung am Ende gebaut ist.

Lassen sich drei Varianten gleichzeitig prüfen?

Technisch ja, statistisch teuer. Jede zusätzliche Variante bekommt weniger Sitzungen ab und erhöht die Zahl der Vergleiche. In kleinen Shops bleibt es bei zwei Fassungen, sonst dauert es doppelt so lange.

Zählen Sitzungen oder Nutzer?

Ausschlaggebend ist die Einheit, die zugewiesen wird. Wer Personen auf Varianten verteilt, rechnet und wertet mit Personen. Wer Sitzungen verteilt, bleibt bei Sitzungen. Beides zu mischen, ist der häufigste stille Fehler in der Auswertung.

Was ist mit Änderungen, die messbar die Ladezeit verbessern?

Die brauchen keinen Test. Eine schnellere Antwortzeit ist unabhängig von der Bestellquote ein Gewinn und wird ausgerollt, sobald sie stabil läuft. Getestet wird nur, was auch schaden könnte.

Helfen Verfahren, die den Verkehr automatisch auf die bessere Variante lenken?

Sie unterliegen denselben Grenzen. Ohne ausreichende Menge lenken sie den Verkehr auf eine zufällige Führung und verstärken den Irrtum, statt ihn sichtbar zu machen. Bei sehr kleinen Zahlen sind sie eher schädlich als hilfreich.

Ab wann ist eine Änderung ohne Test vertretbar?

Wenn sie eine bekannte Reibung entfernt, rechtlich geboten ist oder die Bedienung erkennbar verbessert. Ein fehlender Weiter-Knopf am Handy wird repariert, nicht getestet.

Die Rechnung dauert zehn Minuten und beantwortet die einzige Frage, die vor jedem Test steht: Kann dieser Shop diesen Unterschied überhaupt sehen? Wenn nicht, wird beobachtet, repariert und größer gedacht, statt vier Wochen lang Zufallszahlen zu sammeln.