OPTIMA case: KLM meet campagne-effecten vijf keer nauwkeuriger
Stel je voor: je bent marketeer bij een groot internationaal bedrijf en wilt weten of je marketingcampagnes daadwerkelijk tot meer conversies leiden. Traditioneel is de meest robuuste manier om de incrementele impact te meten een A/B-test: je vergelijkt de resultaten van twee groepen, waarbij één groep wel en de andere groep geen campagne ziet. Maar is dit praktisch haalbaar als je campagnes in meerdere landen en over meerdere kanalen draait?
Een reeks A/B-testen kan al snel een logistieke nachtmerrie worden. Bovendien zijn er vaak ‘opportunity costs’: mogelijke inkomsten die verloren gaan omdat een groep geen campagne te zien krijgt. Dankzij AI en geavanceerde statistische methoden heeft KLM echter een robuust product ontwikkeld, OPTIMA, waarmee de causale impact van haar ruim 450 jaarlijkse campagnes nauwkeurig kan worden gemeten zonder deze opportunity costs of logistieke problemen.
Belangrijkste inzichten van dit artikel:
- Traditionele A/B testen zijn niet altijd praktisch haalbaar voor wereldwijde marketingcampagnes.
- Of het nu gaat om productlanceringen, marketingcampagnes of SEO-optimalisaties, deze methodiek biedt een innovatieve en flexibele oplossing om de incrementele impact van verschillende marketinginitiatieven te meten.
- Deze aanpak is flexibeler en kostenefficiënter dan het draaien van traditionele A/B-methoden.
- Bedrijven kunnen door deze methode sneller en beter geïnformeerde marketingbeslissingen nemen.
Hoe werkt het precies?
OPTIMA werkt volgens een vergelijkbaar principe als traditionele A/B-testen. Stel je voor dat je een nieuwe salescampagne in Zweden start. Om te meten of deze campagne echt succesvol is, vergelijkt OPTIMA Zweden met andere, vergelijkbare landen waar géén campagne loopt. Hoe werkt dat?
Stap 1: Gebruik de ‘dynamic time warping‘ techniek om markten te vinden die qua verkoopcijfers statistisch het meest op Zweden lijken.
- Vergelijk de verkoopcijfers van Zweden met die van andere markten, zoals Noorwegen, Finland en Oostenrijk.
- Meet de correlatie en de afstand tussen deze markten en Zweden.
Stap 2: Selecteer markten zonder marketingcampagne als statistisch alternatief voor Zweden.
- Aangezien in deze markten geen campagne is gevoerd, kunnen ze dienen als referentie voor wat er in Zweden zou zijn gebeurd zonder de campagne.
Stap 3: Pas een statistisch model, zoals CausalImpact, toe om de impact van de interventie te meten.
- Analyseer de tijdreeksdata en gebruik de informatie van de vergelijkbare markten (zonder campagne) om een voorspelling te maken van wat er in Zweden zou zijn gebeurd zonder de campagne.
Stap 4: Vergelijk de geobserveerde resultaten tijdens de campagne met de voorspelde resultaten zonder campagne.
- Het model berekent het verschil tussen de werkelijke verkoopresultaten en de voorspelde resultaten zonder interventie.
Stap 5: Bepaal de causale impact van de marketingcampagne.
- Dit verschil geeft de werkelijke impact van de campagne weer en helpt bij het bepalen van de ROI van de marketingcampagne.
Bepaal de causale impact van de marketingcampagne. Op basis van dit proces kun je zien hoe het model zowel de geobserveerde als voorspelde resultaten gebruikt om de impact van de marketinginterventie te bepalen.
Hieronder zie je een versimpeld schema van de implementatie bij KLM.
Resultaat: brede toepasbaarheid & nauwkeurigere metingen
Hoewel de toepassing in deze casus gericht is op het analyseren van een marketingcampagne in een specifiek land, is de toepasbaarheid veel breder. Denk bijvoorbeeld aan het analyseren van een lokaal PR-evenement, de opkomst van een nieuwe concurrent, of het meten van de causale impact van een lokale tv-campagne. De implementatie van OPTIMA bij KLM heeft geleid tot een enorme vooruitgang in het meten van campagne-effectiviteit. In vergelijking met de oude regressiemethode levert OPTIMA bijna vijf keer nauwkeurigere resultaten op. Deze verbeterde nauwkeurigheid stelt KLM in staat om de incrementele ROI van de campagnes met veel meer vertrouwen te bepalen en hierop optimalisaties door te voeren.
Dirk de Raaff
Eelco van Kuik
Ook interessant
Creative Automation; hét antwoord op de groeiende vraag naar content
Nieuw bloed in de DDMA Commissies Post, Creative en Search
