Holdout-test
Definition
En holdout-test er et eksperiment hvor man slukker en kanals spend i nogle regioner og sammenligner deres salg med tilsvarende regioner der kører videre. Forskellen mellem de to grupper er kanalens målte bidrag.
Sådan virker det
Regionerne deles i to grupper hvis salg fulgte hinanden før nogen rørte noget, og det match er det meste af designet. Kanalen slukkes i den ene gruppe, og testen kører længere end jeres egen købscyklus, for en kortere test slutter før det manglende spend ville vise sig som manglende salg. Forskellen mellem grupperne skal samtidig være større end det almindelige udsving fra uge til uge i jeres tal, og det er det der afgør hvor mange regioner og hvor mange uger der er nok. Testen har også en pris: virker kanalen, mister de slukkede regioner rigtig omsætning så længe den kører, og det er den pris der gør at mange holdouts bliver ved snakken.
Hold øje med
Det første man plejer at se på, er begge gruppers kurver for månederne før testen; fulgte linjerne ikke hinanden dengang, var forskellen der allerede før nogen slukkede noget. Det næste er om kanalen er helt slukket i testgruppen, for en landsdækkende kampagne der stadig leverer derinde, formindsker den forskel man prøver at aflæse. Det gælder også alt andet der kan have flyttet sig i de regioner: en prisændring eller en udsolgt vare ender i resultatet som om det var kanalens værk. Og et resultat der aflæses før købscyklussen er løbet ud, viser ikke noget tab, for tabet er ikke nået frem endnu.
Spørgsmålet du stiller
“Hvor meget omsætning er vi villige til at miste for at få det svar?”