Bayesianisch oder klassisch testen, was der Unterschied praktisch bedeutet
Der eine Ansatz sagt, wie überraschend dein Ergebnis wäre. Der andere, wie wahrscheinlich es ist, dass Variante B gewinnt. Was das für Marketing-Entscheidungen heißt.
In Testwerkzeugen taucht immer häufiger die Wahl zwischen klassisch und bayesianisch auf, und meistens klickt man das weg. Dabei steckt dahinter ein echter Unterschied darin, was am Ende auf dem Bildschirm steht. Der eine Ansatz sagt dir, wie überraschend dein Ergebnis wäre, wenn nichts los wäre. Der andere sagt dir, wie wahrscheinlich es ist, dass Variante B besser ist. Für Entscheidungen ist die zweite Aussage die brauchbarere.
In drei Sätzen
- 01Klassisch antwortet: Wie ungewöhnlich wären diese Daten, wenn es keinen Unterschied gäbe?
- 02Bayesianisch antwortet: Wie wahrscheinlich ist ein Unterschied, gegeben diese Daten?
- 03Bayesianisch braucht eine Vorannahme, und die ist ein Vorteil, solange sie offengelegt wird.
Der Unterschied an einem Satz
Der klassische p-Wert wird deshalb auch so oft falsch gelesen. Er ist keine Wahrscheinlichkeit dafür, dass die Variante besser ist, auch wenn er ständig so vorgetragen wird.
Die Vorannahme, über die alle stolpern
Der bayesianische Ansatz braucht einen Startpunkt, den sogenannten Prior. Das klingt nach Willkür und ist in Wahrheit der ehrlichere Umgang mit dem, was ohnehin passiert. Niemand geht ohne Vorwissen in einen Test. Wer schätzt, dass eine neue Anzeigenvariante die Conversion Rate verdreifacht, hat auch eine Vorannahme, er schreibt sie nur nicht auf. Der Unterschied ist Offenlegung, nicht Willkür.
Warum das im Marketing praktisch zählt
Drei Gründe. Erstens darfst du zwischendurch schauen, ohne die Aussage zu zerstören. Beim klassischen Test ist vorzeitiges Stoppen ein echtes Problem, siehe Wie groß und wie lang muss ein A/B-Test sein. Zweitens bekommst du auch bei wenigen Daten eine nutzbare Aussage, statt nur ein "nicht signifikant". Drittens lässt sich Vorwissen aus Branche oder früheren Kampagnen sauber einbauen, was gerade beim Kaltstart hilft, siehe Sättigungskurven mit wenig Daten.
Nicht signifikant heißt nicht, dass nichts passiert ist. Es heißt, dass deine Daten nicht ausgereicht haben, um es zu zeigen. Das ist eine Aussage über die Stichprobe, nicht über die Wirklichkeit.
Wo der klassische Ansatz besser ist
Er ist der Standard, den alle kennen, und das ist mehr wert, als es klingt. In einem Umfeld, in dem Ergebnisse verteidigt werden müssen, ist eine etablierte Methode mit klaren Regeln oft die praktikablere Wahl. Außerdem entfällt die Diskussion über die richtige Vorannahme, die bei bayesianischen Auswertungen erfahrungsgemäß Zeit kostet.
Was wir empfehlen
Bei großen Fallzahlen ist die Wahl praktisch egal, beide kommen zum selben Schluss. Bei kleinen Fallzahlen, langen Zyklen oder wenn du Vorwissen hast, das etwas taugt, ist der bayesianische Weg der ehrlichere. Wichtig ist in beiden Fällen dasselbe: eine Spannbreite ausweisen statt einer glatten Zahl, siehe Konfidenzintervall, und die Methode vor dem Test festlegen statt danach. Ein Beispiel für eine bayesianische Auswertung in der Praxis steht in Bayesian Causal Impact gegen den Vorjahresvergleich.