Wie groß und wie lang muss ein A/B-Test sein?
Die meisten Tests scheitern an der Menge, nicht an der Idee. Woran die nötige Stichprobe hängt, warum kleine Effekte so teuer sind, und der Auswertungsfehler, der garantiert einen Gewinner findet.
Die meisten A/B-Tests im Marketing scheitern nicht an der Idee, sondern an der Menge. Sie laufen zu kurz, haben zu wenig Fälle und werden dann so lange angeschaut, bis ein Ergebnis gut aussieht. Dieser Beitrag beantwortet die zwei Fragen, die vorher geklärt sein müssen: wie viele Fälle du brauchst und wie lange du laufen lässt.
In drei Sätzen
- 01Die nötige Stichprobe wächst dramatisch, je kleiner der Unterschied ist, den du erkennen willst.
- 02Lege Dauer und Stichprobe vorher fest, sonst findest du garantiert irgendwann einen Gewinner.
- 03Bei kleinen Conversion-Zahlen ist ein A/B-Test oft schlicht nicht durchführbar.
Die Größe hängt an drei Zahlen
Der Ausgangswert. Wie hoch ist die Conversion Rate heute? Je niedriger, desto mehr Fälle brauchst du. Siehe Conversion Rate.
Der kleinste Unterschied, der dich interessiert. Willst du eine Verbesserung um zwanzig Prozent erkennen oder um zwei? Das ist der wichtigste Hebel, und er wird fast immer zu optimistisch gesetzt.
Wie sicher du sein willst. Üblich sind fünf Prozent Irrtumswahrscheinlichkeit und achtzig Prozent Trennschärfe. Was diese Zahlen bedeuten, steht in p-Wert und Konfidenzintervall.
Eine ehrliche Überschlagsrechnung
Bei einer Conversion Rate von zwei Prozent und dem Wunsch, eine relative Verbesserung von zehn Prozent nachzuweisen, landest du je Variante grob im Bereich von mehreren zehntausend Besuchern. Ein Shop mit tausend Besuchern am Tag wäre damit Monate beschäftigt, und in dieser Zeit ändert sich Saison, Sortiment und Wettbewerb. Genau deshalb sind viele A/B-Tests im Marketing praktisch nicht durchführbar, auch wenn sie technisch möglich sind.
Die Dauer
Zwei Regeln. Mindestens eine volle Woche, besser zwei, weil das Verhalten werktags und am Wochenende systematisch verschieden ist. Und ganze Wochen, nie eineinhalb, sonst zählt ein Wochentag doppelt. Alles darüber hinaus wird von der Stichprobenrechnung bestimmt, nicht vom Kalender.
Wer während des Tests täglich nachschaut und beim ersten grünen Ergebnis stoppt, hat keinen Test gemacht. Er hat gewartet, bis der Zufall in die gewünschte Richtung ausschlug.
Der häufigste Auswertungsfehler
Er heißt vorzeitiges Stoppen. Wenn du jeden Tag prüfst und abbrichst, sobald die Signifikanz erreicht ist, findest du selbst bei zwei identischen Varianten irgendwann einen Gewinner, einfach weil die Kurve schwankt. Der Schutz dagegen ist unspektakulär: Stichprobe und Dauer vorher festlegen und erst danach auswerten.
Wenn der Test nicht geht
Für alles, was sich nicht sauber in zwei Gruppen teilen lässt, also Kanalbudgets, Preisänderungen, TV-Kampagnen oder Sortimentsumstellungen, brauchst du einen anderen Ansatz. Dort vergleicht man nicht zwei Gruppen, sondern den tatsächlichen Verlauf mit einem gerechneten Verlauf ohne die Maßnahme. Wann welcher Weg passt, steht in A/B-Test gegen Causal Impact, der Aufbau in Ein Causal-Impact-Experiment aufsetzen.