Experimentation Heroes 2023: zo bereid jij je case voor

Wil jij op het podium staan van Experimentation Heroes, dan moet je case eerst langs een expertjury. Deze toonaangevende experts kiezen welke cases doorgaan en bepalen daarmee het programma van Experimentation Heroes 2023. Maar hoe bereid je je het beste voor? In dit artikel geven wij jou waardevolle tips en tricks om met jouw case een verpletterende indruk te maken op de jury. Wie weet sta jij straks op het podium en word jij bekroond als winnaar in een van de categorieën.

Waarom meedoen?

Er zijn een aantal redenen waarom meedoen aan Experimentation Heroes praktisch een no-brainer is voor iedere experimentation-specialist.

1. Deelname is de uitgelezen kans om enerzijds te leren van andere bedrijven en daarnaast geïnspireerd te raken over hoe zij uitdagingen binnen hun organisatie hebben opgelost. Zeker omdat steeds meer bedrijven en afdelingen bekend raken met experiment-gedreven werken. Deze methode van valideren en data-onderbouwd beslissingen nemen, zorgt voor een transparante kennisgedreven cultuur, waarin kennisdeling centraal staat. Dit zie je ook terug in de bereidheid van bedrijven om kennis te delen over het vakgebied. Het meedoen aan competitieve events als Experimentation Heroes is daarom een uitgelezen kans om enerzijds te leren van andere bedrijven en daarnaast geïnspireerd te raken over hoe zij uitdagingen binnen hun organisatie hebben opgelost;
2. Door mee te doen bouw je kennis op en krijg je de kans je case te toetsen bij andere professionals.
3. Als genomineerde Experimentation Hero krijg je erkenning voor je werk, wat kan bijdragen aan een grote boost aan vertrouwen en erkenning voor jou en je volledige organisatie wat weer zorgt voor verdere adoptie van een experimentgedreven cultuur.

Drie hoofdoelen: entertainen, informeren en motiveren

Bij het inzenden van een case is het belangrijk drie hoofddoelen goed op je netvlies te houden:

1. Het entertainen van de lezer
   Een jury is niet anders dan een consument, die wil je continu blijven vermaken. Als een case niet direct de aandacht pakt, raak je de interesse van de jury kwijt. Bouw je case daarom op als een verhaal en geef de lezer redenen om te blijven lezen.
2. Het informeren van de lezer
   Het is van belang dat je in je case-inzending zo goed mogelijk vertelt wat je hebt gedaan, hoe je dit hebt gedaan en wanneer dit is gebeurd. Onderbouw je case vooral ook met data en de juiste visualisatie.
3. Het motiveren van de lezer
   Het is belangrijk dat je de lezers emotioneel betrekt bij je verhaal, om ze op deze manier aan te kunnen zetten tot actie. Je wilt immers dat de jury jouw case inzending kiezen als winnaar!

Als je geen rekening houdt met de bovenstaande punten, heb je de kans dat de jury je case als saai, niet-inspirerend of zelfs onbetrouwbaar beoordeelt. Met de drie hoofddoelen voor ogen ben jij hard op weg naar het uitwerken van kwalitatieve case-inzending.

Belangrijke Do’s en Dont’s

Als je aan de jury presenteert dat je een type 1-fout in de data hebt ontdekt tijdens een multivariate test en dat je het percentage micro-conversies in de salesfunnel wilt verhogen door USP’s te tonen, zal de jury verward zijn. Je moet zorgen voor een duidelijk verhaal dat geen vragen oproept. Hieronder staan enkele do’s en dont’s om rekening mee te houden bij de voorbereiding van je case.

Do’s

1. Neem de criteria en categorieën grondig door.
   Voordat je begint met het schrijven van je case-inzending, lees je de criteria en categorieën grondig door. Zo weet je precies wat er van je verwacht wordt en in welke categorie jouw case-inzending thuishoort.
2. Gebruik het inzendingsformulier.
   In het inzendingsformulier van elke categorie vind je een checklist van wat de jury wil weten over de case.
3. Schrijf een verhaal.
   Verhalen kunnen vaak worden opgedeeld in drie delen. Bijvoorbeeld: een held die een draak moet verslaan (1). Denk hierbij aan een klant die zijn aankoop probeert af te ronden, maar er ontstaat een probleem of conflict/nieuwe wending (2). Gelukkig is er ook een oplossing (3). Houd deze verhaallijn vast in je case-inzending. Tip: het template houdt rekening met deze verhaallijn, dus je kunt deze gemakkelijk overnemen.
4. Wees eerlijk en toon onderbouwing.
   De jury ziet vaak case-inzendingen waarin conversiestijgingen enorm zijn. Hoewel dit natuurlijk goed is voor het bedrijf, weet de jury zonder bewijs of logische redenering niet wat ze moeten geloven. Gebruik daarom altijd je gegevens, zoals bezoekers- of transactieaantallen, verhoudingen tussen apparaatcategorieën, SRM-controles of looptijden, en wees transparant om je bewering te onderbouwen.
5. Laat zien wat er fout ging tijdens het experiment.
   Wees niet bang om te laten zien wat er fout ging tijdens het experiment. Laat ook zien wat je van deze fouten hebt geleerd.
6. Maak gebruik van een krachtige afsluiting; een WOW-factor.
   Elk jaar worden er tientallen case-inzendingen ontvangen. Als jouw inzending net even anders is dan de rest, zal deze sneller boven op de stapel belanden. Denk daarom na over een WOW-factor. Heb je bijvoorbeeld een nieuwe benadering gebruikt, andere afdelingen betrokken of is je probleemoplossing innovatief of de geleerde lessen baanbrekend? Breng dit onder de aandacht! Het feit dat het benadrukken van je WOW-factor effectief is, blijkt ook uit eerdere Award-winnaars.
   
   De waarde van de WOW-factor VodafoneZiggo won vorig jaar een award met hun case waarbij ze de juridische afdeling betrokken bij de planning, uitvoering en opvolging van het experiment. Kijk de case hier terug.
7. Maak gebruik van een tweede lezer
   Laat iemand, die niet betrokken is geweest bij het experiment, de case doornemen vóór inzending. Een extra paar ogen kan nooit kwaad.

Don’ts

1. Schrijf niet in vakjargon.
   Zinnen zoals “We hebben een NHST-test gedaan op de POP om daarmee de UX te verbeteren” of “We willen de integratie van ons designsystem waarborgen” kunnen onnodige vraagtekens oproepen bij de jury. Ga ervan uit dat mensen zonder kennis van UX en CRO je verhaal lezen. Schrijf daarom nooit in vakjargon en maak het gemakkelijk leesbaar.
2. Wees eerlijk over de toegevoegde waarde van je experimenten.
   De berekening en communicatie over je experimenten moeten eerlijk zijn. Het is bijvoorbeeld niet realistisch om een conversiestijging direct te vermenigvuldigen met je jaaromzet en dit te beschouwen als de bijdrage van je experiment aan de omzet. Houd rekening met afnemende effecten, Bayesian en andere correcties.
3. Maak het niet onnodig ingewikkeld. Blijf kort en bondig.
   Dit is misschien een open deur, maar helaas ontvangt de jury nog steeds regelmatig cases waarbij het verhaal langdradig en onduidelijk is. Dit demotiveert de jury om verder te lezen. Houd daarom je case-inzending altijd kort en bondig.
4. Sla geen belangrijke informatie over.
   Tijdens het beoordelen van case-inzendingen komen we vaak inzendingen tegen van 1 tot 2 pagina’s over het hele experiment. Dit is onvoldoende voor de jury om een beeld te krijgen van de kwaliteit van het experiment. We raden je aan om je verhaal kort en bondig te houden, maar zorg ervoor dat essentiële informatie is opgenomen. Als je geweldige resultaten hebt, benoem ze dan zeker, maar vergeet niet dat het idee, de uitvoering en de opvolging nog belangrijker zijn. Laat deze onderdelen stralen!
5. Maak geen grote sprongen in beredenering en ga niet van de hak op de tak.
   Het komt nog steeds vaak voor dat het voor de jury niet duidelijk is waarom bepaalde keuzes zijn gemaakt. Dit is zonde. Lang niet alle case-inzendingen bevatten bijvoorbeeld een duidelijke aanleiding. Welk probleem is geïdentificeerd, op basis van welke data en hoe lost het experiment naar verwachting dit op?
   
   Een voorbeeld van een hypothese die te grote sprongen maakt en informatie overslaat, is: “We zien een hoog bouncepercentage op de productdetailpagina, dus door overtuigende informatie toe te voegen, verhogen we de motivatie van een gebruiker om een product te kopen, wat leidt tot een hogere conversie.” Dit biedt de jury onvoldoende onderbouwing waarom er is gekozen om overtuigende informatie weer te geven, waarom juist die informatie en waarom deze overtuigend is voor de bezoeker. Introduceer ook geen nieuwe conclusies aan het einde van je verhaal die niet eerder zijn genoemd. Dit roept onnodige vragen op.

Tot slot

Met deze waardevolle tips en tricks in gedachten ben je goed op weg naar het creëren van een verpletterende case-inzending voor Experimentation Heroes ’23. Door te entertainen, informeren en motiveren in je verhaal, zorg je ervoor dat de jury geïnteresseerd blijft en jouw case als winnaar kiest. Neem alle do’s en dont’s goed door en wie weet schitter jij straks met je case op het podium en ga jij er met de winst vandoor.

Meer weten over Experimentation? De DDMA Commissie Experimentation & Optimisation publiceerde onlangs het whitepaper: Experimenteren op websites en andere online

Bob Younge

Contentspecialist