Ein Causal-Impact-Experiment in fünf Schritten selbst aufsetzen

In unserem Beitrag über die drei mathematischen Werkzeuge haben wir Causal Impact als die Methode vorgestellt, die echten Kampagnen-Lift von zufälliger Gleichzeitigkeit trennt. Viele Teams finden die Idee überzeugend, wissen aber nicht, wie sie konkret anfangen sollen. Das holen wir hier nach. Wir gehen gemeinsam fünf Schritte durch, mit denen du ein sauberes Causal-Impact-Experiment aufsetzt, ganz ohne eigenes Data-Science-Team.

Was du am Ende bekommst

Das Ziel ist eine Aussage in dieser Form, unsere Maßnahme hat den Umsatz im Messzeitraum um einen bestimmten Betrag verändert, und dieser Effekt ist mit hoher Wahrscheinlichkeit echt und nicht zufällig. Jetzt zu den fünf Schritten, die dich dorthin führen.

Schritt eins, die Maßnahme klar abgrenzen

Causal Impact misst die Wirkung einer einzelnen, zeitlich klar verorteten Maßnahme. Lege deshalb genau fest, was du untersuchst und wann es begonnen hat. Ein Kampagnen-Start am ersten März, eine Preisänderung in Kalenderwoche zwölf, ein neuer Landingpage-Launch an einem bestimmten Tag. Wichtig ist, dass in diesem Zeitfenster möglichst nur diese eine Sache passiert ist. Wenn du gleichzeitig drei Dinge änderst, kann das Verfahren die Effekte nicht sauber trennen.

Schritt zwei, den Vorher-Zeitraum festlegen

Das Verfahren lernt das normale Verhalten deiner Kennzahl aus der Zeit vor der Maßnahme. Dieser Vorher-Zeitraum sollte lang genug sein, dass das Modell Muster wie Wochenrhythmus und Trend erkennt. Als Faustregel nimm mindestens acht, besser zwölf Wochen sauberer Daten vor dem Start. Je stabiler und länger die Vorgeschichte, desto präziser das synthetische Vergleichs-Szenario.

Schritt drei, eine Kontrollgröße auswählen

Das ist der wichtigste und am häufigsten unterschätzte Schritt. Du brauchst eine zweite Zeitreihe, die sich ähnlich verhält wie deine Zielgröße, aber von der Maßnahme nicht betroffen ist.

Ein gutes Beispiel, du schaltest eine Kampagne nur in Deutschland und nutzt Österreich als Kontrolle, weil dort dieselbe Saison wirkt, aber keine Kampagne lief. Ohne eine solche Kontrolle muss das Verfahren allein aus der Vorgeschichte schätzen, was schwächer ist, aber immer noch funktioniert.

Schritt vier, das Modell rechnen lassen

Jetzt kommt der Teil, der früher Statistiker gebraucht hat und heute ein Klick ist. Das Verfahren nimmt deinen Vorher-Zeitraum und deine Kontrollgröße, baut daraus eine Prognose für die Zeit nach der Maßnahme und vergleicht sie mit der Realität. Die Fläche zwischen beiden Verläufen ist der kumulierte Effekt. Du musst dafür nichts programmieren, Werkzeuge wie die Causal-Impact-Library in Vectalyze übernehmen die Rechnung und zeigen dir das Ergebnis als Diagramm mit Unsicherheitsband.

Schritt fünf, das Ergebnis ehrlich lesen

Am Ende steht eine Zahl und eine Unsicherheit. Lies beide zusammen. Ein Effekt von plus achtzehn Prozent mit engem Unsicherheitsband ist eine starke Aussage. Derselbe Effekt mit einem Band, das bis in den negativen Bereich reicht, heißt, dass du noch nicht genug Daten hast oder die Wirkung schwach ist. Widerstehe der Versuchung, nur die schöne Zahl zu zitieren und die Unsicherheit wegzulassen. Genau diese Ehrlichkeit unterscheidet eine echte Messung von einem hübschen Bericht.

Wenn du diese fünf Schritte einmal durchlaufen hast, wirst du Kampagnen nie wieder gleich bewerten. Statt zu hoffen, dass der Umsatzanstieg an dir lag, weißt du es, mit einer nachvollziehbaren Zahl und einer ehrlichen Angabe, wie sicher sie ist.