Zo gebruik je analytics ter verbetering van je voice- of chatbot (1)

We kennen het allemaal; je probeert een gesprek te voeren met een chat- of voice-bot, maar de virtuele agent begrijpt niet wat je zegt. Een standaard fallback-bericht volgt of nog erger: een verkeerd antwoord! In de meeste gevallen werkt het ontwerp naar behoren, alleen is de bot vaak getraind met data van andere vragen. Conversational analytics wegen bij veel organisaties namelijk nauwelijks mee. Zo baseer je de mogelijke antwoorden op verkeerde data, waardoor antwoorden vaak niet aansluiten op wat er gevraagd wordt.

Het belang van (conversational) analytics

Natuurlijk kun je met een goed conversational ux-design de bovenstaande problemen voorkomen. Volgens Google’s richtlijnen voor een Conversational Design doe je dit onder meer door gebruikers goed in te lichten over de capaciteiten van je assistent. Bijvoorbeeld, een assistent moet gebruikers bij het opstarten niet alleen welkom heten, maar ook duidelijk maken wat hij voor gebruikers kan betekenen. Zo zorg je ervoor dat gebruikers de juiste vragen stellen. Hiervoor moet je wel een beeld hebben van welke problemen een assistent voor gebruikers moet oplossen. Een conversatie-design moet daarom altijd gebaseerd zijn op data die hier iets over vertelt. Kijk bijvoorbeeld naar meerdere databronnen als klantcontactcenters, social media of e-mail. Op basis hiervan kan jij achterhalen waar jouw doelgroep zich mee bezighoudt in relatie tot de diensten die je aanbiedt en weet je met welke vragen je rekening moet houden in het ontwerp van je virtuele assistent.

Bij het bouwen van zo’n virtuele assistent, via chat of voice, is het essentieel om na de livegang meteen de analytics vast te leggen. Conversational analytics zijn namelijk geen nice-to-have toevoeging op je dataverzameling, maar zijn in werkelijkheid essentieel om de klantervaring van bots te verbeteren. Deze data over het gebruik van je applicatie geeft jou als het ware directe feedback op de manier waarop klanten met jouw bot interacteren. In de haast om een volledige bot te ontwikkelen, laten organisaties deze waardevolle data nog te vaak links liggen. Waarom zou je een jaar lang achter de schermen werken aan de perfecte conversatie, terwijl je het meeste kan leren van live traffic? Al houd je maar de data bij op het gebied van een paar onderwerpen, hiermee kun je je chatbot al snel laten groeien en slimmer maken. Als jij vervolgens geleidelijk nieuwe onderwerpen toevoegt aan je design op basis van deze conversational data, bouw jij je bot langzaam op tot een contactkanaal dat antwoord heeft op alle vragen.

Zoekopdrachten en vragen aan de voicebot van de Rabobank.

Welke metrics van je conversational analytics moet je in de gaten houden?

Binnen conversational analytics bestaan er 3 specifieke categorieën metrics die bij het ontwerpen van een voice- of chatbot relevant zijn: conversatie metrics , chatsession & funnel metrics en bot health metrics.

Conversatie-metrics

Conversatie metrics vertellen wie er wanneer en met welke boodschap iets tegen een virtuele assistent heeft gezegd. Om conversatie metrics metrics bij te houden, moet je je data opslaan in een data warehouse, een enorme database waar je meerdere databronnen aan kan verbinden. Hierin kun je zoveel gestructureerde data opslaan als je wil. Denk aan website-data, website logs, login data, advertising data, maar ook aan Dialogflow-chatbotconversaties. Hoe meer data je hier verzamelt, hoe beter jij je klanten kan begrijpen en van dienst kan zijn.

De 6 belangrijkste metrics die je nodig hebt om chat- of voice-conversaties te verbeteren zijn:

1. Een session ID om alle transcripts van specifieke sessies te vinden en te lezen, maar ook om het unieke aantal gebruikers van jouw voicebot te achterhalen.
2. Een date- of timestamp om alle transcripts te vinden binnen een bepaalde tijdsperiode en om de lengte van sessies te achterhalen.
3. Een sentimentscore om alle transcripten gebaseerd op een specifiek sentiment.
4. Een dialoogtaal en een keyword om alle transcripten voor respectievelijk een specifieke taal of woord.
5. Een platform setting om alle transcripts van een specifieke platformen te halen. Dit geldt vooral bij multichannel voice-applicaties.
6. Intent Detection informatie, zoals de detected intent name-, fallback- of end-of-interaction-berichten, om te achterhalen of je bot verkeerd geantwoord heeft.

Chat session & funnel metrics

Om een beeld te krijgen van de chatfunnel en daarmee van het structurele verloop van de gesprekken die gebruikers met jouw bot voeren is het van belang om chatsession en funnel metrics bij te houden. Met deze metrics kun jij de conversationele route die gebruikers afleggen visualiseren. De volgende 8 meetpunten zijn hierbij het meest relevant:

1. Het totale gebruik van mensen die gebruik maken van je virtuele agent
2. Het percentage gebruikers waarbij zoekopdrachten aan de juiste intent werden gematched en aan hoeveel zoekopdrachten deze intent is gematched.
3. Voltooiingsratio
4. Drop-off-ratio
5. Drop-off-place
6. Gebruikersretentie
7. Endpoint Health, de mate waarin de koppeling tussen verschillende systemen goed is ingericht
8. Google Assistant: Discovery Information, over hoe gebruikers jouw action hebben gevonden

Bot Model Health metrics

Als je werkt met de meer bekende tools om conversational bots te bouwen, zal je bot gebruiken maken van Natural Language Understanding – een vorm van machine learning – om verschillende uitspraken van gebruikers te begrijpen en ze vervolgens te matchen aan een specifieke intent – ook wel intent classification genoemd. Als dit proces goed verloopt, weet je dat gebruikers de juiste antwoorden op hun vragen krijgen. Om dit te waarborgen zijn er 8 Bot Model Health metrics die je in de gaten moet houden. Daarnaast bestaan er twee tools waarmee je het intent classification proces ook kan monitoren:

Bot model health metrics:

1. True positives geven aan dat een bot opdrachten aan de juiste intent hebben gematched.
2. True negatives geven aan dat chatbots opdrachten aan het juiste fallback-bericht hebben gematched.
3. False positives geven aan dat chatbots opdrachten aan de verkeerde intent gematched, en ook niet aan een juist fallback-bericht
4. False negatives geven aan dat chatbots opdrachten niet aan juiste intent hebben gematched, terwijl die wel bestaat. De chatbot heeft de intent alleen niet opgemerkt waardoor er een fallback-bericht is geactiveerd.
5. De nauwkeurigheid is de ratio van de correct voorspelde observaties tegenover het totale aantal observaties
6. De precisie is de ratio van de positieve voorspellingswaardes
7. Recall en Fallout zijn het sensitiviteitsratio and het vals-alarm-ratio.
8. The F1 score is het gewogen gemiddelde van de precisie en recall

Tools

1. De Confusion Matrix is a tabel om de performance van een op een testdataset gebaseerd classificatiemodel te beschrijven.
2. De ROC Curve geeft een grafische representatie van hoe goed een model is in het onderscheiden van verschillende intents

Wat kunnen we nog meer verwachten over conversational analytics?

Wil je meer weten over conversational analytics? In de Whitepaper: ‘The Ultimate Guide to Conversational Analytics wordt nog dieper ingegaan op de bovengenoemde typen metrics en hoe die kunnen bijdragen aan de verbetering van jouw chat- en/of voiceplatformen en een optimale klantervaring. Ook organiseert de DDMA Commissie Voice op 25 maart een Digital Talk over dit onderwerp.

Lee Boonstra

Applied AI Engineer and Developer Advocate bij Google