AI-driven marketing: wat kan en wat is verboden?

Een aantal dagen na de inwerkingtreding werd door de Europese Commissie een stel Richtlijnen gepubliceerd waarin zij verduidelijking brengen over bepaalde begrippen en artikelen in de AI Act omtrent de verboden AI-praktijken (artikel 5). Deze Richtlijnen zijn niet bindend, maar geven meer context bij wat door de EU-wetgever is bedoeld voor de verboden AI-praktijken en AI-geletterdheid. Wat betekent dit voor de marketingbranche? We bespreken het in dit artikel.

Wanneer valt AI-adverteren onder de verboden praktijken?

Uit de beschrijvende tekst in de AI Act wordt ‘AI-based advertising’ op zichzelf niet als verboden praktijk gezien. In de Richtlijnen komen echter wat praktijkvoorbeelden naar voren, waardoor er omstandigheden zijn wanneer adverteren wél de verboden praktijken raakt. Wanneer is dat het geval?

1. Het gebruik van manipulatieve technieken

Deze technieken worden ingezet om het gedrag van (een groep) individuen ‘wezenlijk’ te verstoren en significante schade veroorzaken. Deze verstoring verhindert een consument in het nemen van een weloverwogen beslissing en leidt tot keuzes die anders niet gemaakt zouden zijn.  Die technieken kunnen op manipulatieve, misleidende of onderbewuste wijze worden ingezet – soms ook allemaal tegelijk. Of deze technieken nu doelbewust zijn ingezet of uiteindelijk verstoring van gedrag als gevolg hebben gehad, maakt niet uit.

Wat valt er precies onder dit soort verboden technieken? In het algemeen kan gedacht worden aan AI-systemen die zodanig overtuigende boodschappen (in de vorm van een advertentie) creëren op basis van verzamelde persoonsgegevens, dat de vrije keuzes van een individu worden ontnomen. Zo zou dat een AI-systeem dat emoties van gebruikers herkent om hen zo (op verborgen manier) een hogere prijs aan te bieden op een moment dat zij eerder geneigd zijn een aankoop te doen, verboden zijn. Ook wanneer door een AI-systeem snelle beeld of audioflitsen worden gebruikt (die technisch gezien waarneembaar zijn, maar te snel worden gepresenteerd voor het bewustzijn om ze te registreren) om aankoopbeslissingen te beïnvloeden, is dit verboden.

2. Het gebruik van kwetsbaarheden

In dit gedeelte van de Richtlijnen wordt verduidelijkt dat AI-gebaseerde content die gericht is op kwetsbare individuen, met als doel hun kwetsbaarheid uit te buiten, valt onder de verboden praktijken. Kwetsbaarheden worden niet gedefinieerd, maar kunnen gelinkt zijn aan de leeftijd, (fysieke en mentale) beperkingen of socio-economische situatie van een individu. Deze content beïnvloedt mensen om keuzes te maken die ze anders niet zouden maken en tot significante schade leidt. Je kunt daarbij denken aan AI-algoritmen die gebruikt worden om mensen in lage inkomenswijken aan te spreken met advertenties voor risicovolle leningen, of om misleidende advertenties te richten op ouderen, waarbij wordt ingespeeld op de verminderde inschatting van risico’s en voorwaarden.

3. Grensgevallen tussen beïnvloeding en manipulatie: targeted advertising?

Wat zijn nu de grenzen tussen het rechtmatig en onrechtmatig beïnvloeden van een gebruiker? De Europese Commissie zet in de Richtlijnen het verschil tussen ‘lawful persuasion’ (rechtmatige beïnvloeding) en manipulatie uiteen, waarbij wordt gekeken naar de mate waarin gedrag wordt verstoord. De consument heeft bij een verboden praktijk als manipulatie minder de mogelijkheid om zelf een geïnformeerde beslissing te maken. Het is er vaak op gericht om degene die manipuleert te bevoordelen, ten koste van de zelfstandigheid en het welzijn van de ander. Rechtmatige beïnvloeding daarentegen heeft als doel iemand te informeren en te winnen voor een standpunt, waarbij de belangen van beide partijen worden meegenomen. Zo wordt de vrijheid van het individu om zelf een weloverwogen keuze te maken gerespecteerd en wordt geen misbruik gemaakt van iemands zwakke plekken.

Een techniek als targeted advertising bevindt zich wat dat betreft op de grens tussen beide. Een AI-systeem dat op transparante manier werkt en emoties van klanten analyseert om interactie te verbeteren en ondersteuning te bieden, zal vallen onder rechtmatige beïnvloeding. Immers: de belangen van beide partijen worden gerespecteerd. Wanneer een AI-systeem echter emoties herkent en die informatie gebruikt om op het juiste moment duurdere producten aan te prijzen, zal eerder sprake zijn van manipulatie. Reclame door AI gemaakt om gebruikersinhoud te personaliseren op basis van transparante algoritmen en gebruikersvoorkeuren (zonder manipulatieve of uitbuitende technieken) zou volgens de Commissie in principe niet onder het verbod vallen.

In de praktijk zullen deze verboden aanvullend zijn op de bestaande wetgeving (AVG, DSA) of consumentenbescherming. Bedrijven die AI gebruiken in hun marketing hoeven zich dus niet te veel zorgen te maken over de richtlijnen, zolang hun advertenties geen gebruik maken van subliminale, misleidende of manipulerende technieken en/of geen poging doen om de autonomie van individuen te ondermijnen of kwetsbaarheden op schadelijke manieren uit te buiten.

Wanneer vallen marketingkanalen onder de verboden AI-praktijken?

Regels voor de platformen

Als we het hebben over de ‘verboden’ AI-praktijken, zijn er ook regels die specifiek gelden voor AI-systemen die door platformen worden ingezet. Deze regels hebben dus geen direct effect op marketeers, maar ze kunnen wel invloed hebben op de kanalen waarop zij opereren. Ook platformen kunnen namelijk vallen onder het manipulatieverbod op subliminale of misleidende technieken om internetgebruikers onbewust te beïnvloeden, met een risico op schade. Dit raakt direct aan de concepten van ‘dark patterns’ en ‘addictive design’, die erop gericht zijn gebruikers te sturen of te verleiden tot keuzes die ze anders misschien niet zouden maken.

Wanneer een gebruiker in een bepaalde richting wordt gestuurd (nudging) met ontwerptechnieken én het gebeurt op een misleidende manier, spreken we van dark patterns. Volgens de Europese Commissie vallen AI-gestuurde dark patterns onder het verbod van de AI Act als zij misleidend, manipulatief of dwingend zijn op een manier die de vrije wil van gebruikers aantast. Dit betekent dat AI-systemen die dit soort ontwerpen automatiseren of optimaliseren, bijvoorbeeld door gepersonaliseerde nudging op basis van gedragsanalyse, verboden kunnen zijn.

De AI Act biedt ook een basis om verslavende ontwerpkeuzes (addictive designs) aan te vechten. Dit kan als verboden praktijk worden beschouwd wanneer AI-gestuurde mechanismen opzettelijk gebruikersgedrag vasthouden of verlengen, met nadelige gevolgen voor de mentale gezondheid. Voorbeelden hiervan zijn:

• Oneindig scrollen en gepersonaliseerde contentfeeds die mensen langer op een platform houden.
• Variabele beloningssystemen (zoals gamification) die het gedrag van gebruikers conditioneren.
• Dynamische prijsmodellen die inspelen op impulsief koopgedrag.

De AI Act verbiedt AI-systemen die psychologische schade veroorzaken. In de nieuwe Richtlijnen benadrukt de Europese Commissie dat platforms en marketingtools die verslavend gedrag aanmoedigen via AI-systemen, als ‘onaanvaardbaar risico’ kunnen worden bestempeld. Dit kan gevolgen hebben voor marketingstrategieën die leunen op de mogelijkheden op platformen, als engagement-maximalisatie door AI-gedreven personalisatie.

Eerste rechtszaak

De interpretatie van de regels rond het gebruik van manipulatieve technieken door platforms is recent wat concreter geworden. Sinds de inwerkingtreding van de regels voor ‘verboden’ AI-praktijken is namelijk de eerste rechtszaak tegen platformen een feit. TikTok en X zijn aangeklaagd in een collectieve rechtszaak wegens manipulatieve AI-praktijken, onder andere voor ‘addictive designs’. De rechtszaak is gestart door een Nederlandse non-profitorganisatie die consumenten- en kinderrechten beschermt via collectieve procedures en schadeclaims.

De relevante beschuldigingen zijn:

• TikTok beïnvloedt jonge gebruikers door middel van verslavende ontwerpmethoden en maakt misbruik van gevoelige gegevens voor de aanbevelingsalgoritmen. Dit valt onder de verboden praktijken.
• TikTok en X verspreiden desinformatie, deepfakes en misleidende content, met name rond verkiezingen. Hiermee beïnvloeden de platformen de publieke opinie via ongemarkeerde, heimelijk gesponsorde en door het buitenland gefinancierde politieke inhoud.

Ook al gelden de sanctie- en handhavingsbepalingen van de AI Act nog niet, kan een civiele rechtszaak wel worden gestart. Dit omdat een overtreding van een verbod, zoals het inzetten van een van een verboden AI-systeem, als een onrechtmatige daad wordt gezien in elke EU-lidstaat. Hierbij kan nog worden afgevraagd of de groep die schade claimt echt beschermd is door dit verbod en of de aangeklaagde platformen zich kunnen beroepen op een beperking van aansprakelijkheid of overmacht.

Welke andere regels zijn vanaf 2 februari relevant voor de industrie?

AI-geletterdheid

Medewerkers zijn misschien wel de belangrijkste bouwstenen in de organisatie: uiteindelijk zullen zij het beleid moeten uitvoeren. Het is daarom van belang dat medewerkers kennis hebben over AI-systemen en op de hoogte zijn van recente ontwikkelingen op het gebied van AI. Sinds 2 februari is het, volgens artikel 4 AI Act, verplicht voor organisaties die AI gebruiken om AI-geletterd te zijn. Dat betekent dat een organisatie kennis moet hebben van de basisprincipes van AI, moet begrijpen hoe AI bepaalde beslissingen neemt en waarom menselijke tussenkomst daarbij belangrijk is en hoe AI verantwoordelijk gebruikt kan worden. Een jurist of AI-specialist moet zorgen voor een goede voorbereiding, niet alleen intern, maar ook met een check of AI-leveranciers AI-geletterd zijn.

Niet iedereen binnen de organisatie hoeft een diepgaande kennis van AI te hebben. De focus moet liggen op de mensen die regelmatig met AI werken, want voor anderen is het genoeg om bewust te zijn en de basis te kennen. Het is dus handig om een bewustwording, kennis, & compliance plan klaar te hebben liggen. Denk hierbij aan het identificeren van de werknemers die het meest in aanraking komen met AI-systemen, het bepalen van hun huidige kennisniveau, het kiezen van de meest geschikte leermethode en het vaststellen wie verantwoordelijk is voor het continu up-to-date houden van deze kennis.

De richtlijnen van de ACM bieden een stappenplan voor AI-geletterdheid binnen organisaties. Dit vatten we samen als volgt:

Stap 1: Identificeren

• Breng in kaart welke AI-systemen worden gebruikt, gebruik hierbij het AVG-verwerkingsregister als voorbeeld.
• Analyseer de risico’s en de impact van deze systemen.
• Inventariseer welke medewerkers direct met AI werken en wat hun rol is.

Stap 2: Doel bepalen

• Stel vast welke AI-kennis en tools nodig zijn per medewerker.

Stap 3: Uitvoeren

• Bepaal de strategieën en acties aan de hand van de doelen.
• Train medewerkers in AI-geletterdheid: ethisch, juridisch en technisch.
• Implementeer een AI-officer en een visiedocument over AI-gebruik.

Stap 4: Evalueren

• Monitor of AI-geletterdheid wordt nageleefd en analyseer of de doelstellingen zijn gehaald in rapportages en audits.
• Onderzoek of de maatregelen helpen om het kennisniveau te verhogen via jaarlijkse enquêtes.
• Zorg dat AI-geletterdheid een continu proces blijft.

Certificering nodig?

De ACM adviseert dus om medewerkers te trainen, maar er is geen verplichte certificering voor AI-geletterdheid nodig. Natuurlijk kan een training helpen om het kennisniveau van medewerkers te verhogen en kan het helpen om aan AI-geletterdheid aan te tonen, maar de Europese Commissie bevestigt dat er geen specifieke opleiding of certificaat vereist is om binnen een organisatie aan de verplichte AI-geletterdheid te voldoen. Veel opleidingsinstituten en andere partijen bieden een AI-geletterdheidstraining aan en zien dit als een commerciële kans. Maar de Europese Commissie erkent op dit moment geen algemeen aanvaarde training op dit gebied. Wel zijn er op hun website enkele webinars en trainingen beschikbaar voor wie zich verder wil verdiepen in het onderwerp. Er komt ook een AI-helpdesk waar organisaties hun vragen kunnen stellen, al biedt deze geen juridisch advies. Vooral in situaties met verboden praktijken en hoge risico’s, waar naleving van de menselijke toezichtplicht noodzakelijk is, kunnen certificeringen wel een belangrijke rol spelen.

Onze aanbevelingen: waar let je op bij het gebruik van AI-systemen?

• Zorg voor heldere communicatie over hoe het AI-systeem werkt. Geef inzicht in de mogelijkheden en beperkingen, zodat gebruikers goed geïnformeerde keuzes kunnen maken.
• Wees zorgvuldig en volg wetgeving zoals de AVG en DSA, zodat je risico’s op het toepassen van verboden AI-praktijken beperkt.
• Houd vast aan best practices en industrie­standaarden, zodat je een basis legt voor veilige, ethische AI-systemen en de kans op schade vermindert.
• Wees je ervan bewust dat platformen opzettelijk of onopzettelijk AI-systemen gebruiken die gebruikers kunnen manipuleren of misleiden, wat kan leiden tot dark patterns en addictive designs. Deze systemen kunnen een overtreding van de AI Act betekenen. Let er dus op dat zulke praktijken verboden zijn en dat bepaalde opties van platformen mogelijk kunnen gaan verdwijnen. Dit is vooral relevant wanneer je marketingstrategie afhankelijk is van de analyserende opties en personalisatie-algoritmen van de platformen.
• Zorg dat de relevante medewerkers binnen je organisatie AI-geletterd zijn en dat AI-geletterdheid een constant proces blijft. Maar het is niet nodig om medewerkers bij een externe partij officieel te laten certificeren.
• Blijf op de hoogte van de laatste ontwikkelingen rondom de compliant en veilige inzet van AI. Schrijf je hier in voor onze juridische nieuwsbrief!

Isa Nieuwstad

Junior Legal Counsel

Allisha Hosli

Junior Legal Counsel