Jurriaan Nagelkerke, Cmotions: 'De uitlegbaarheid van voorspelmodellen wordt steeds belangrijker'

Cmotions, expert op het gebied van advanced analytics en data science, is sponsor van de DDMA Customer Data Award. Deze award wordt dit jaar uitgereikt aan een van de drie genomineerden: ANWB, DPG Media of Jumbo Supermarkten. Deze uitreiking zou eigenlijk plaatsvinden op 19 maart, maar wordt nu verplaatst naar later dit jaar. We maken de nieuwe datum binnenkort bekend.

Steeds meer organisaties sturen en vertrouwen op data en geautomatiseerde, gepersonaliseerde klantprocessen. In welke mate is dit wenselijk? En in welke mate is het noodzakelijk dat er nog mensen betrokken zijn bij bepaalde beslissingen?

‘De vraag is niet zozeer of het wenselijk is als wel of we verstandig omgaan met de data die we verzamelen. De huidige revolutie in datagedreven marketing is een onomkeerbaar proces. We moeten vanaf het begin echt goed snappen wat een voorspelmodel met data doet – iets waar steeds meer organisaties de waarde van inzien. Welke data is beschikbaar en welke beslissingen neem je hiermee? En kun je als data scientist bijvoorbeeld aan een marketeer uitleggen hoe het model op basis van data tot voorspellingen en beslissingen komt?

Daarnaast is het belangrijk dat we modellen, als ze eenmaal in gebruik genomen zijn, altijd blijven toetsen op vragen als: doet dit model nog wel wat het moet doen? Doelgroepen kunnen zijn verschoven, databronnen kunnen veranderen of wellicht is er wel nieuwe wetgeving die van invloed is. Op steeds meer plekken in het marketingdomein worden algoritmen en modellen toegevoegd. Om verantwoord datagebruik te waarborgen, moeten wij onze modellen dus goed monitoren. Er bestaan hiervoor belangrijke hulpmiddelen, zoals dashboards en allerteringsrapportages, maar mensen zijn nog steeds hard nodig om op deze inzichten te acteren.’

Personalisatie kan een grote meerwaarde hebben voor het contact met de klant, maar het is belangrijk dat de totstandkoming hiervan, zeker als het met algoritmes gebeurt, altijd goed kan worden uitgelegd aan klanten. Hoe doe je dit in normale mensentaal?

‘We zien inderdaad een groeiende vraag naar de uitlegbaarheid van onze algoritmes en voorspelmodellen. En dat is een goede ontwikkeling. Zeker bij organisaties waarbij data gebruikt wordt om impactvolle beslissingen te maken. In bijvoorbeeld het bankwezen of bij overheidsinstellingen is het bewustzijn hiervoor snel toegenomen. Uitlegbaarheid kun je tot op zekere hoogte waarborgen door de belangrijkste voorspellende kenmerken uit onze voorspelmodellen inzichtelijk te maken. Dus door inzicht in de globale werking van het model te geven: wat draagt vooral bij aan een hoge of lage modelscore? Ook zijn er steeds meer technieken beschikbaar om op individueel niveau, dus voor een specifieke klant of prospect, uit te leggen waarom deze een hoge of juist lage kans krijgt volgens het voorspelmodel. Consumenten hebben behoefte aan deze transparantie – en de toezichthouder natuurlijk ook. Daarom moeten wij, als bouwers van voorspelmodellen, de behoefte aan uitlegbaarheid veel eerder in het proces meenemen, ver voordat een model daadwerkelijk in gebruik wordt genomen.’

Het gebruiken van o.a. AI en deep learning maakt het uitleggen van de werking van algoritmes vaak nóg complexer. Hoe zorg je ervoor dat deze processen geen black box worden, voor klanten, maar ook voor de eigen medewerkers en het management?

‘Als data scientist is het natuurlijk het leukste om de meest geavanceerde technieken, waaronder deep learning technieken, te gebruiken. Zulke technieken hebben wel een prijs – complexiteit kan ten koste gaan van uitlegbaarheid. Als een simpeler model – een regressie of een beslisboom – ook prima werkt voor het vraagstuk en ook nog eens beter te interpreteren is, zou je daarvoor moeten kiezen. Desalniettemin zijn veel modellen simpelweg te complex om volledig uit te leggen aan klanten. Het gaat er hierbij om of je de essentie van het model uit kunt leggen: wat bepaalt of klanten een specifiek aanbod wel of niet krijgen?

Daarnaast is het ook een kwestie van vertrouwen. Laat zien dat je zorgvuldig met de gegevens van de klant omgaat en bereid bent – proactief of reactief – toe te lichten hoe je tot bepaalde beslissingen bent gekomen. Hoe ver je hierin gaat, verschilt ook per type beslissing en de impact die het op klanten heeft: het geautomatiseerd selecteren van een groep mensen voor een bepaalde e-mailcampagne is bijvoorbeeld niet zo spannend. Hierbij zal minder snel worden verwacht dat je het precies en proactief uitlegt. Bij het al dan niet toekennen van een lening of een uitkering is het een heel ander verhaal. Overheidsinstellingen zullen er daarom vaker voor kiezen proactief elke geautomatiseerde handeling uit te leggen. Voor elke organisatie geldt in elk geval: zorg dat je, naar wens van de klant, altijd kan voldoen aan een zekere mate van uitlegbaarheid. Als je het aan een klant uit kan leggen, heb je immers als organisatie voldoende controle over de rol die data en AI speelt in je organisatie.’

Welke rol speelt de mate van uitlegbaarheid in de keuze voor een bepaalde techniek? En hoe neem je de klant daarin mee?

‘Het is zeker belangrijk om de uitlegbaarheid mee te nemen in de keuze voor een techniek. En dat ook op tijd te doen! Niet pas op het eind, als het model klaar is om in gebruik te nemen. Denk hier al over na als het model nog gemaakt moet worden. Welke eisen stel je vooraf aan de uitlegbaarheid van het model? De wens naar inzicht in gebruik van data in klantprocessen groeit, zowel vanuit de samenleving als vanuit de overheid en de toezichthouder. Het komt daarom steeds vaker voor dat organisaties technieken afwijzen of stopzetten op basis van hun complexiteit. En dat is natuurlijk doodzonde omdat er dan al veel tijd en geld in het model is geïnvesteerd. Het is daarom aan te raden vooraf te kiezen voor een beter uitlegbare techniek om het model mee te maken. Of door vooraf al direct mee te nemen dat extra moeite gestoken moet worden in de uitlegbaarheid van het model aan klanten, zodat ze achteraf de black box-voorspelling goed kunnen snappen. Zo kan je enerzijds verantwoording aan de consument afleggen en aan wetgeving voldoen en anderzijds de organisatie ook waardevol inzicht geven in haar klanten en processen. Zoek daarom naar de juiste balans tussen voorspelkracht, uitlegbaarheid en robuustheid – en neem marketeers proactief mee in je zoektocht. Zo creëer je vertrouwen bij de klant en draag je bij aan een volwassen, professionele cultuur van datagedreven marketing binnen je organisatie.’

Bob Younge

Contentspecialist