Generative AI en Large Language Models Explained: Wat is het en hoe werkt het?

Wat zijn Generative AI en Large Language Models?

Generatieve AI (GEN-AI) is een specifiek type AI dat zich richt op het genereren van nieuwe inhoud, zoals tekst, afbeeldingen, audio of video. Deze systemen zijn getraind op grote datasets en gebruiken machine learning-algoritmen om nieuwe inhoud te genereren. Dit kan nuttig zijn voor eindeloos veel verschillende toepassingen. Denk bijvoorbeeld aan het genereren van tekst voor chatbots, het maken van kunst of zelfs het genereren van spraak- of mediabestanden.

Large Language Models (LLMs) zijn een vorm van generative AI en in staat om tekst te begrijpen en te genereren. Je kunt deze technologie gebruiken om antwoorden op vragen te voorspellen, creatief te schrijven (zoals koppen, blogposts, etc.), tekst te vertalen of samenvattingen van tekst te genereren. Je kunt het ook gebruiken om code te genereren, te vertalen of om fouten op te sporen. LLMs worden over het algemeen getraind op enorme hoeveelheden tekstgegevens, soms zelfs met petabytes aan data. Hierdoor begrijpen ze de relaties tussen zinnen, woorden en delen van woorden, geleerd door enorme hoeveelheden data van het web in te nemen, waaronder honderdduizenden Wikipedia-vermeldingen, social media-berichten en nieuwsartikelen. LLMs zijn zelftoezicht houdend. Met andere woorden: het is een machine learning-algoritme is dat geen geannoteerde gegevens door mensen (labeling) vereist, omdat het in de eerste fase die labels zelf genereert en deze gegenereerde labels later in een latere fase gebruikt.

Voor velen lijken LLMs magisch, maar feitelijk is het een voorspellingsmachine. Het model neemt een stukje tekst als invoer (dat noemen we de prompt) en voorspelt vervolgens wat de volgende woorden zouden moeten zijn op basis van de data waarop het model getraind is. Achter de schermen bedenkt het de kansen op de verschillende mogelijkheden en combinaties van woorden die zouden kunnen volgen. De output van het model is een gigantische lijst met mogelijke woorden en hun waarschijnlijkheden. Met andere woorden, als ik aan een Large Language Model vraag “Wie is de president van de Verenigde Staten?”, zal het waarschijnlijk zeggen: “De president van de VS is… Biden”. Niet omdat het model feiten kent, maar vanwege de waarschijnlijkheid van het woord “Biden” op basis van de data die het heeft gezien. Het woord “Biden” in de context van de Amerikaanse president zal hoger scoren dan een andere naam.

Omdat deze modellen zijn getraind op veel data, kunnen ze een enorme verscheidenheid aan teksten genereren, inclusief teksten die onverwacht zijn. Geef een LLM een tekstprompt om een tekst naar een andere taal te vertalen dan rolt daar waarschijnlijk een prima vertaling uit. Dit komt omdat het model is getraind met enorm veel meertalige tekst, wat het in staat stelt om vertalingen te doen zónder daar expliciet voor getraind te zijn.

ChatGPT en andere Large Language Models

Waarschijnlijk denk je bij de term Generatieve AI en Large Language Models direct aan ChatGPT. Een applicatie die veel in het nieuws is geweest de afgelopen maanden. ChatGPT is een LLM dat op een conversationele manier tekst kan genereren. Het is een fijn afgestelde versie van een ander groot taalmodel genaamd: GPT-3.5. OpenAI, een startup opgericht door Elon Musk. In december 2022 bracht de release van ChatGPT in slechts vijf dagen één miljoen gebruikers binnen.

Inmiddels heeft Google ook een LLM ontwikkeld: Bard. Waar ChatGPT is gebaseerd op GPT 3.5, is Bard, ook een conversational LLM, gebaseerd op (een lichtgewicht versie van) LaMDA. Een groot voordeel van Bard is dat het tekst kan genereren op basis van actuele gegevens, terwijl ChatGPT vooralsnog is getraind met gegevens tot 2021. Actuele vragen kan ChatGPT dus niet beantwoorden.

Er zijn naast Google en OpenAI nog veel meer partijen die bezig zijn met Large Language Models. Hieronder vind je een overzicht.

Hoe werken Large Language Models precies: Prompt, parameters en tokens

Om goed te kunnen begrijpen hoe een LLM precies werkt en hoe het leert, zijn er een aantal sleutelbegrippen die je moet kennen.:

1. Een prompt is de invoer waarop een LLM een antwoord op kan genereren. Op basis van de prompt voorspelt een LLM vervolgens wat de volgende woorden zouden moeten zijn op basis van de data waarop het getraind is.
2. Een zero-shot prompt is het eenvoudigste type prompt. Het geeft alleen een beschrijving van een taak, een stukje tekst voor de LLM om mee te beginnen. Het kan letterlijk alles zijn, een vraag, het begin van een verhaal, instructies, enzovoort. Hoe duidelijker je prompttekst, hoe makkelijker het is voor de LLM om de volgende tekst te voorspellen.
3. Een one-shot prompt biedt één voorbeeld dat de LLM kan gebruiken om te leren hoe de taak het beste kan worden voltooid.
4. Few-shot prompts bieden meerdere voorbeelden. Meestal tussen de 10 en 100. Het kan worden gebruikt om de LLM een patroon aan te leren dat moet worden voortgezet.
5. Grote taalmodellen zijn getraind op parameters en tokens
   1. Parameters zijn de onderdelen van het model die zijn geleerd uit historische trainingsgegevens en definiëren de vaardigheid van het model bij een probleem. Hoe groter het aantal parameters, hoe meer nuances er zijn in het begrip van elke woordbetekenis en context van het model.
   1. Tokens zijn een numerieke representatie van woorden (of vaker: delen van woorden). Wanneer je een prompt naar een LLM stuurt, wordt deze opgesplitst in tokens.

Finetune een Large Language Model naar je eigen wensen

Een LLM weet dankzij zijn training veel over taal en beschikt over kennis die nuttig is voor allerlei soorten Natural Lang Language Processing-taken (NLP-taken). Denk bijvoorbeeld het classificeren en samenvatten van tekst en het identificeren van sentiment. Daarnaast is het mogelijk om enkele kleine wijzigingen aan de structuur van het Large Language Model te brengen, zodat het zich richt op het classificeren van onderwerpen in plaats van het voorspellen van volgende woorden. Daarbij verliest het niet wat het heeft geleerd over patronen in taal. Daarnaast kun je een LLM trainen specifiek gericht op jouw bedrijfspraktijk. Stel, je wil een chatbot bouwen voor jouw reisbureau. Het gebruikte LLM weet alles over alle landen ter wereld, maar weet verder niets over de pakketreizen die jij als reisagent aanbiedt. Je kunt een LLM finetunen door het ‘foundation model’ opnieuw te trainen met je eigen data. Dit proces, ook wel bekend als transfer learning, kan nauwkeurige modellen produceren met kleinere datasets en minder trainingsuren, en is daardoor goedkoper dan het creëren van een geheel eigen model.

De prestaties van een vooraf getraind taalmodel hangen af van de grootte. Hoe groter het model, hoe beter de kwaliteit van de output, maar dat gaat wel ten koste van snelheid en prijs. Kleinere modellen zijn goedkoper in gebruik en geven sneller output dan de grotere modellen. Ze zijn alleen niet erg krachtig, en daarmee beter geschikt voor eenvoudigere taken, zoals classificatie. Grotere modellen zijn nuttig voor het genereren van creatieve inhoud.

Tot slot

We kunnen wel stellen dat de mogelijkheden van Generative AI en LLMs groot zijn. De resultaten zijn verbluffend en je kunt bestaande modellen trainen naar je eigen wensen trainen. En dat belooft wat voor de toekomst. Of alles rondom deze nieuwe technologie rozengeur en manenschijn is valt te betwijfelen. Maar daar gaan we verder in deze artikelenreeks op in.

Dit artikel is ontstaan vanuit een samenwerking met de volgende auteurs: Lee Boonstra (Google), Marike van de Klomp (ABN AMRO), Robin Hogenkamp (VodafoneZiggo) en Romar van der Leij (DDMA). Met bijdragen van Martijn van Vreeden, Kevin Duijndam (KLM), Didric van den Borne (Merkle), Jimmy de Vreede (Springbok Agency), Daan Aussems (SDIM) en Andries Hiemstra ([ah]consulting).

Meer over Generative AI en Large Language Models? Luister dan naar de eerste aflevering van het tweede seizoen van de DDMA Podcast: Shaping The Future, over de positieve én negatieve implicaties van de technologie voor het marketingvak. 

Lee Boonstra

Applied AI Engineer and Developer Advocate bij Google

Marike van de Klomp

Lead Product Owner Digital Channels & Conversational AI bij ABN AMRO

Robin Hogenkamp

Senior Business Consultant CX | VodafoneZiggo (commissievoorzitter)

Romar van der Leij

Voormalig Legal counsel | DDMA