De DDMA Commissie AI organiseerde in mei een ‘Elite’-sessie over het ethisch gebruik van data – voor het eerst virtueel, maar gelukkig nog steeds onder het genot van een stukje kaas en wijn. Met Jaap van den Herik, Hoogleraar Recht en Informatica aan de Universiteit Leiden en voorzitter van de Board of Directors van het Leiden Centre of Data Science (LCDS), als gastspreker discussieerden we met twintig experts over uitlegbaarheid, verantwoordelijkheid en de maatschappelijke acceptatie van AI.
Steeds complexere systemen
De ontwikkelingen op het gebied van AI gaan razendsnel. Systemen worden steeds complexer. Tegelijkertijd zorgt dit er ook voor dat het aantal mensen dat een systeem volledig kan begrijpen en overzien steeds kleiner wordt. Zeker met de trend richting ‘deep learning’ wordt het steeds lastiger om te begrijpen, en uit te leggen, waarom een systeem een bepaalde uitkomst heeft. Er wordt veel gesproken over ‘explainability’, het ontwerpen van AI-systemen die niet alleen een goede uitkomst hebben, maar ook nog kunnen uitleggen hoe ze tot die uitkomst gekomen zijn. Het is echter de vraag of uitlegbaarheid niet vooral zorgt voor extra complexiteit in algoritmes, zonder dat dit daadwerkelijk het onderliggende probleem oplost.
Explainability is niet de oplossing
Gastspreker Jaap van den Herik stelt dat explainability geen geschikte oplossing is. Het onderliggende probleem is of een AI-systeem een goede uitkomst heeft, in de ethische zin van het woord ‘goede’. Veel aandacht rond ethiek en onderzoek naar explainability van AI draait daarbij om bias. Er zijn slechte voorbeelden voor het gebruik van algoritmes en AI, waarin blijkt dat bias zorgt voor onwenselijke uitkomsten. Bias kan verschillende bronnen hebben: het ontwerp van het systeem kan een bias bevatten, maar ook de (vaak door mensen gegenereerde) data waarop het systeem getraind wordt, kan al een duidelijke bias bevatten die door het gebruik als trainingsdata zichtbaar wordt. Empirisch is de grootste oorzaak van bias de input-data voor het systeem: in plaats van te letten op uitlegbaarheid van systemen, zou hier meer aandacht voor moeten zijn.
Professor Van den Herik illustreert aan de hand van een aantal voorbeelden uit de rechtspraak dat het gebruik van menselijke beslissingen als trainingsdata de bias van deze mensen zichtbaar maakt in het algoritme. Het gebruik van AI-systemen maakt dit extra goed zichtbaar, doordat een algoritme met dezelfde input steeds dezelfde output heeft, en dat bias dus gemeten kan worden.
Algoritmes kunnen niet accountable zijn
Verschillende deelnemers aan de discussie dragen bij dat ‘biased’ menselijke keuzes vaak achteraf anders worden uitgelegd. Deze uitleg van een menselijke keuze wordt eerder geaccepteerd dan een keuze door algoritmen. Zo is het maatschappelijk geaccepteerd dat menselijke bestuurders van auto’s fouten maken waarbij ongevallen gebeuren. Een belangrijke factor die hieraan gerelateerd wordt is accountability, het principe dat er iemand verantwoordelijk is en aangesproken kan worden op foute beslissingen. Doordat een algoritme niet accountable gehouden kan worden is vrijwel 100% correctheid nodig voordat het algoritme geaccepteerd wordt.
Leg verantwoordelijkheid bij mensen
Een van de deelnemers geeft aan dat hier ook mogelijkheden zijn voor een “right to appeal”, de mogelijkheid om als gedupeerde van een door AI genomen beslissing als het ware in beroep te gaan bij een menselijke beslisser. Professor Van den Herik ziet in deze menselijke verantwoordelijkheid ook de basis voor een toekomstige verschuiving in de maatschappelijke acceptatie van AI. Een logische start van deze acceptatie is een mens die de beslissingen neemt, maar met ondersteuning van de algoritmes. Hiermee is ‘de mens’ nog steeds volledig verantwoordelijk voor alle uitkomsten, maar kan een systeem hierin ondersteunen. De volgende fase is dan een systeem dat zelfstandig beslissingen kan nemen, maar waar beslissingen van het systeem door een mens gereviewed worden. Dit zorgt ervoor dat er nog steeds verantwoordelijkheid voor het systeem is, en er dus geen algoritme in de cloud over van alles kan beslissen.
Aansluiten bij een volgende Elite over dit onderwerp? Stuur een mailtje naar erikmolkenboer@ddma.nl.
Tomas Salfischberger
Kevin Duijndam
Ook interessant
De AI Act treedt binnenkort in werking: Een blik vooruit op verantwoord en innovatief gebruik van AI
Het organiseren van AI: hoe kom je uit de speelfase? – de belangrijkste inzichten uit het eerste DDMA Decision Makers Breakfast van 2024
