Zo werk je in 5 stappen toe naar een experimentgedreven bedrijfscultuur

Waarom experimenteren op je website of platform?

Voor we de diepte ingaan, is het van belang te weten wat precies de directe en indirecte waarde is van experimenteren op een website of platform en het creëren van een experimentgedreven cultuur. Wat kun je precies uit een experimentationstrategie halen?

In ieder geval veel werkplezier. Academici uit andere experimentdisciplines zijn doorgaans jaloers op websiteeigenaren die online experimenten kunnen uitvoeren. Door de vaak enorme sample sizes, de gesegmenteerde steekproefgrootte en het weinig voorkomen van research bias, is online kwantitatief testen een feestje. Websitebezoekers zijn bovendien – als ze hier toestemming voor geven – ideale respondenten, omdat ze website-eigenaren direct van de feedback voorzien die nodig is om wijzigingen aan hun platform te toetsen en uiteindelijk door te voeren. Dit levert een win-winsituatie op waarbij aan de ene kant de websitebezoeker profiteert van een betere, soepelere en meer op hun wensen gerichte website-ervaring, en aan de andere kant de website-eigenaar die profiteert van betere resultaten.

Grofweg kun je de waarde van experimenten uitdrukken in de volgende componenten:

1. Directe financiële impact
   1. Resultaat uit winnende experimenten
   1. Risico vermijden door een “negatieve” uitkomst
   1. Verhoogde retentie
2. Indirecte impact
   1. Verhoogde tevredenheid van klanten
   1. Verbetering Customer Effort Score, Net Promoter Score, Word of Mouth Marketing, etc.
3. Product owners binnen je organisatie verkrijgen meer en diepere kennis over eindgebruikers en hun gedrag en attitude
4. Over het algemeen meer kennis in de organisatie over de waarde en uitkomsten van experimenten en de skills die nodig zijn bij het optimaliseren van een experiment

Waardevolle experimenten bieden onderbouwing voor belangrijke businessbeslissingen

Waardevolle experimenten geven vaak de doorslag bij een urgente of belangrijke business-vraag. Het resultaat reikt dus verder dan alleen monetaire KPI´s. Denk bijvoorbeeld aan:

• Logistieke uitdagingen: zoals bij de leveringen van producten, hoe stuur je bezoekers bijvoorbeeld al op de webpagina naar wenselijke alternatieven als normale levering niet mogelijk is? Hoe ga je dat oplossen als organisatie?
• Interne impasses: Soms kunnen afdelingen intern stechelen over wat goed of fout is. Bijvoorbeeld als het legal team een andere kant op wil dan marketing omtrent de vermelding van aankoopvoorwaarden.

In dit soort situaties kan een experiment(reeks) net het bewijs leveren dat richting geeft in onduidelijke situaties en zaken weer in beweging brengen. Daarnaast zijn er ook waardevolle neveneffecten van experimenteren op je website. Zo zorgen experimentresultaten voor gefundeerde discussies over platformwijzigingen. Dit scheelt discussietijd en draagt ook bij aan de adoptie van datagedreven besluitvorming. Een waardevol bijeffect, zeker bij organisaties die nog veel beslissingen maken op basis van onderbuikgevoel.

Wat als je nou niet experimenteert?

Wijzigingen aanbrengen op je platform kan grote gevolgen hebben voor bedrijfsdoelstellingen. Valideer je die wijzigingen secuur, dan weet je waar de oorzaak van die gevolgen in eerste instantie lag. Cruciaal om te doen, zeker omdat gemiddeld 50% van alle wijzigingen een negatieve impact heeft op het resultaten. Als je de wijzigingen valideert, voorkom je verliezen en leer je ook waarom deze wijzigingen niet werken. Dus, valideer jij geen of maar een klein deel van je platformwijzingen met experimenten, dan is het van belang om dit zo snel mogelijk te gaan doen. Want alleen zo:

1. Leer je meer over je klanten
2. Creëer je waardevollere ervaringen voor je eindgebruikers
3. Beperk je mogelijke verliezen

4 stappen richting een experimentgedreven bedrijfscultuur

Het moge duidelijk zijn. Experimenteren is een cruciaal onderdeel binnen organisaties – of zou dat in ieder geval moeten zijn. Maar hoe zorg je nou dat je experimenteren op een volwassen manier binnen de processen binnen je organisatie inbedt? Dit kan volgens ons in 4 overzichtelijke stappen: de Onderbouwing (1), opzet (2), analyse (3), delen en draagvlak (4).

Stap 1: de onderbouwing

De kwaliteit van een experiment hangt af van twee cruciale aspecten: een goede onderbouwing en een gedegen opzet. In de onderbouwing van het experiment zijn drie zaken van essentieel belang: de kwaliteit van het vooronderzoek, de hypothese en de relatie tussen de gevonden oplossing in het experiment en het vooronderzoek.

Een goed experiment kenmerkt zich door een gedegen vooronderzoek met een doordacht gebruik van data. Het vooronderzoek loopt op een natuurlijke manier door in een te valideren hypothese, en de uiteindelijke experimentvariant(en) toetsen ook daadwerkelijk dat wat de hypothese voorstelt. Een experiment dat een mooie winst laat zien, maar dat niet te herleiden is naar de hypothese, zorgt misschien voor een gewenste stijging in een gekozen KPI, maar qua kennis en lerend vermogen draagt dit niet op een wenselijke manier bij. Een naadloze aansluiting tussen hypothese en experimentvariant is dus cruciaal voor een succesvol experiment, maar kan uitdagend zijn.

Als je eenmaal een hypothese hebt, kun je op zoek gaan naar de visuele uitdenking van de oplossing die je wil testen in het experiment. Ook hier is het cruciaal om grondig te onderbouwen waarom de gekozen oplossing de meest geschikte is, en waarom je niet voor een andere heb gekozen. De gecombineerde databronnen die je eerder hebt gebruikt in het vooronderzoek en het opstellen van de hypothese kun je hiervoor goed inzetten. Gebruik die data om te laten zien dat er een directe relatie bestaat tussen het probleem en de voorgestelde visuele oplossing.

Stap 2: de opzet

Je hebt inmiddels de hypothese en de oplossing voor ogen die je in je experiment wil testen. Dan is het nu tijd voor de opzet. Een goed experiment valt of staat bij de opzet. Als de opzet goed is, zijn resultaten en conclusies bruikbaar en kun je de oplossing doorvoeren om binnen je organisatie impact te maken. Maar hoe zet je dan een goed experiment op? Bij het opzetten van een experiment moet je nadenken over het volgende:

1. Stel de benodigde steekproefgrootte van het experiment vast, bepaal hiervoor
   • a. De baseline conversie
   • b. Het betrouwbaarheidsinterval
   • c. De power
   • d. Het Minimal Detectable Effect
2. Stel de benodigde looptijd van het experiment vast

Houd rekening met:

• Stel controle en testvarianten bloot aan dezelfde doelgroepen
• Let op consistente doelgroepgroottes bij vervolgtesten

Stap 3: de analyse

Het is cruciaal dat de analyse van een experiment zorgvuldig gebeurt. Anders loop je het risico dat resultaten niet geldig, en daarmee niet bruikbaar zijn. Of dat je een beoogde oplossing doorvoert op basis van een ongeldig resultaat, terwijl die een negatieve impact heeft op wat je uiteindelijk wil bereiken. Om te zorgen voor geldige en bruikbare resultaten zijn twee punten van belang:

• De hygiënefactoren-analyse die helpt bij het identificeren van mogelijke obstakels die de conversies negatief kunnen beïnvloeden, zoals slechte navigatie, trage laadtijden en fouten in de websitefunctionaliteit. Het gaat dus feitelijk om de gezondheid van je experiment. Door deze obstakels te identificeren en op te lossen, weet je zeker dat de cijfers die uit het experiment rollen geldig zijn.
• Ieder experiment moet je uiteindelijk beoordelen op de vooraf opgestelde KPI’s. Dat gebeurt in de KPI-analyse. Het is van belang dat je de primaire KPI echt vooraf bepaalt en aanhoudt in de analyse. Als je een aanpassing op de homepage evalueert op basis van elke beschikbare KPI binnen een transactie, dan maak je de analyse te complex en mogelijk minder zuiver. Een hypothese dient daarom geschreven met één hoofd-KPI als focus en daarmee dient de analyse eveneens plaats te vinden op deze KPI.

Stap 4: het experiment delen binnen je organisatie en het creëren van draagvlak

Het is gelukt. Je experiment is zorgvuldig opgezet en geanalyseerd – met resultaat! Je wil de beoogde oplossing binnen je organisatie gaan implementeren. Maar voordat kan, heb je wellicht te maken met belanghebbende stakeholders. Die moet je eerst zien te overtuigen. Daarbij zijn drie factoren van belang: transparantie en samenwerking (1), goede communicatie (2) en grondige documentatie (3). Is iedereen overtuigd? Dan kun je zonder drempels je experimentresultaten omzetten in actiepunten om een beoogde oplossing te implementeren.

Experimenteer iteratief en streef naar een volwassen experimentation-cultuur

Bij het uitvoeren van experimenten moet je beseffen dat oplossingen doorgaans niet voortkomen uit één experiment: een experiment komt nooit alleen. Een waardevol experiment komt dan ook vaak voort uit de learnings van eerdere experimenten. Experimentation is een iteratief proces. Het stapsgewijs leren en daarop handelen bij nieuwe experimenten zorgt voor weinig misstappen. En dat is waarom het traject na stap 3 uit het stappenplan vaak wordt herhaald. Uiteindelijk hoop je te komen tot een experiment dat na meerdere incrementele verbeteringen leidt tot een significant resultaat.

Met de structurele uitvoering van de bovenstaande stappen ben je al een eind op weg naar een volwassen experimentgedreven bedrijfscultuur. Maar dan ben je er nog niet. Voor een echte volwassen cultuur van experimentation moet je aan een aantal voorwaarden voldoen:

1. Er moet een cultuur van kennisdeling bestaan met een wijdverspreid enthousiasme voor experimenteren. Collega’s vanuit alle hoeken van de organisaties brengen ideeën in. Deze kruisbestuiving is de perfecte basis voor een experimentgedreven bedrijfscultuur.
2.  Een cruciale factor voor succes binnen een organisatie is het creëren van draagvlak. Zelfs met onbeperkte middelen zal een organisatie zonder de steun van het management geen succes behalen. Dit vereist de ontwikkeling van een cultuur waarin de uitwisseling van kennis en data in de gehele organisatie leidt tot inzichten, begrip en de motivatie om te experimenteren.
3. De grootst mogelijk impact maakt een experimentationprogramma door direct bij te dragen aan het realiseren van bedrijfsdoelstellingen. Door ervoor te zorgen dat alle stappen in een experiment, van de initiële dataverkenning tot aan de uiteindelijke implementatie van de winnaar, in het verlengde liggen van bedrijfsdoelstellingen, experimenteer je met maximale impact. Ook maakt dit alle experimentation-activiteiten relevant voor alle niveaus binnen de organisatie. Houd bedrijfsdoelstellingen dus altijd in je achterhoofd.
4. Volwassen organisaties hebben het experimentation-proces doorgaans op orde, met een uitgewerkt proces met stappenplan voor test(reeksen) van A tot Z. Voor degene die nog niet volwassen zijn, is er goed nieuws: de basis van een solide proces is lang niet altijd afhankelijk van factoren als budget, mankracht en tooling. De processtappen die we in eerdere hoofdstukken hebben behandeld zijn hier niet van afhankelijk.

Dit artikel is geschreven in samenwerking met de DDMA Commissie Experimentation & Optimisation, die bestaat uit Frank Overbeek (Sitespect), Nadesh van Lauwerijsen (Valantic), Joshua Kreuger (DPG Media), Martijn van Oosten (Goede Doelen Loterijen), Robin Sellaiyah (Philips), Douwe Möhring (dentsu), Mark van Zuijlen (Jacobs Douwe Egberts), Mark de Winter (Clickvalue) en Bas Jansen (Google).

Bob Younge

Contentspecialist