Kurz gesagt
- Der sauberste Weg, um zu messen, ob ein Kanal Conversions wirklich verursacht hat, statt sich nur den Credit dafür zu holen
- Eine Kontrollgruppe wird von den Anzeigen ausgeschlossen, die Exposed-Gruppe sieht sie ganz normal
- Inkrementeller Uplift = Conversionrate der Exposed-Gruppe minus die der Kontrollgruppe
- Meta und Google bieten native Conversion-Lift-Studien, für Kanäle ohne solche funktionieren Geo-Holdouts
Was ein Holdout-Test ist
Ein Holdout-Test beantwortet die eine Frage, die Attribution nicht kann: Hat dieses Marketing die Conversion tatsächlich verursacht, oder wäre sie ohnehin passiert? Er funktioniert, indem du deine Audience zufällig in zwei Gruppen aufteilst. Die Kontrollgruppe (Holdout) wird daran gehindert, eine bestimmte Anzeige oder Kampagne zu sehen, die Exposed-Gruppe sieht sie ganz normal. Weil die beiden Gruppen bis auf die Exposition statistisch identisch sind, wird jeder Unterschied in ihren Conversionraten durch die Anzeigen verursacht. Dieser Unterschied ist der inkrementelle Uplift.
Er ist das experimentelle Rückgrat der Incrementality-Messung und der Grund, warum sich bei einem Kanal mit hohem attribuiertem ROAS am Ende trotzdem herausstellen kann, dass er kaum echten Neuumsatz bringt.
Wo Holdout-Tests laufen
- Native Lift-Studien der Plattform. Meta Conversion Lift und das Pendant von Google halten eine Kontrollgruppe innerhalb der Plattform zurück und melden den gemessenen Uplift. Am einfachsten umzusetzen, aber du vertraust darauf, dass die Plattform ihre eigenen Hausaufgaben benotet.
- Geo-Holdouts. Schalte einen Kanal in einer repräsentativen Auswahl von Regionen ab, lass den Rest laufen und vergleiche. Langsamer und störender, aber plattformunabhängig und gut für Kanäle ohne native Lift-Tools.
- Matched-Market-Tests. Paare ähnliche Märkte, bespiele einen und halte den anderen zurück. Statistisch sauberer als ein naiver Geo-Split, dafür braucht es sorgfältiges Market-Matching.
Wie du die Ergebnisse nutzt
Ein Holdout-Test liefert einen inkrementellen ROAS (Umsatz-Uplift geteilt durch die Test-Ausgaben). Vergleiche ihn mit dem ROAS, den dein Attributionsmodell für denselben Kanal gemeldet hat. Liegt die attribuierte Zahl weit über der inkrementellen, bekommt der Kanal zu viel Credit, und du kannst ihn im Modell niedriger gewichten. Teste in einem festen Rhythmus erneut, denn der Uplift verschiebt sich, wenn Audiences sättigen und Creatives ermüden.
FAQ zu Holdout-Tests
Was ist ein Holdout-Test?
Ein Experiment, das eine Kampagne einer zufälligen Kontrollgruppe vorenthält und ihre Conversions mit einer Exposed-Gruppe vergleicht. Der Unterschied sind die Conversions, die die Kampagne tatsächlich verursacht hat.
Wie unterscheidet sich ein Holdout-Test von Attribution?
Attribution verteilt Credit auf Touchpoints, die ein Konvertierer zufällig gesehen hat. Ein Holdout-Test misst die Kausalität direkt, indem er mit Menschen vergleicht, die die Anzeigen nicht gesehen haben, so erkennt er Conversions, die ohnehin passiert wären.
Wie groß muss die Holdout-Gruppe sein?
Groß genug, um den erwarteten Uplift mit statistischer Signifikanz nachzuweisen. Kleine Uplifts bei geringem Conversion-Volumen brauchen große Stichproben: 3 % Uplift auf 50.000 Conversions sind echt, 10 % auf 200 sind Rauschen.