Waarom een model dingen verzint
Een taalmodel raadpleegt geen database. Het voorspelt bij elk woord welk volgende woord het meest waarschijnlijk is, gegeven alles wat ervoor kwam. Dat is de hele werking.
Daardoor bestaat er geen ingebouwd verschil tussen een antwoord dat klopt en een antwoord dat plausibel klinkt. Beide zijn statistisch waarschijnlijke woordreeksen. Een verzonnen artikelnummer, een niet-bestaande klantnaam of een uitgevonden bronvermelding komen op dezelfde manier tot stand als een correct antwoord.
Dat verklaart ook waarom de fouten zo overtuigend zijn. Het model is niet in de war en twijfelt niet; het genereert de meest waarschijnlijke voortzetting, en die is grammaticaal perfect en inhoudelijk stellig.
De praktische conclusie is ongemakkelijk maar bevrijdend: je lost dit niet op door een beter model te kiezen. Je lost het op door het systeem eromheen anders in te richten.
Waar het echt een probleem is, en waar niet
De omvang van het risico hangt volledig af van wat er met het antwoord gebeurt.
Bij een concepttekst die een mens toch herschrijft, is een fout een ongemak. Bij het samenvatten van een document dat de lezer erbij heeft, wordt een fout meestal opgemerkt. Bij het classificeren van tickets in een van vijf categorieën is de uitkomstruimte zo klein dat verzinnen nauwelijks kan.
Het wordt serieus zodra drie dingen samenkomen: het antwoord bevat feiten die de gebruiker zelf niet kan controleren, het gaat rechtstreeks naar buiten of naar een systeem, en er is geen bronverwijzing.
Dat is precies de combinatie bij een klantenservicebot zonder bronvermelding, bij een agent die zelfstandig gegevens in een systeem wegschrijft, en bij een assistent die vragen beantwoordt over regelgeving of contractvoorwaarden.
Begin je risicoanalyse daar, niet bij het model.
Maatregel 1. Laat het antwoorden op bronnen, niet op geheugen
De meest effectieve maatregel. In plaats van te vragen wat het model weet, zoek je eerst de relevante passages op en geef je die mee. Het model redeneert dan over materiaal dat feitelijk klopt.
Dat is retrieval augmented generation, en de werking staat in de gids over RAG.
Twee dingen bepalen of het werkt. De zoekstap moet het juiste materiaal ophalen, want als het antwoord niet in de aangeleverde passages zit kan het model het onmogelijk goed doen. En de instructie moet expliciet zijn: antwoord uitsluitend op basis van de aangeleverde context, en zeg het als het antwoord er niet in staat.
Zonder die tweede regel vult het model de gaten alsnog aan uit zijn eigen geheugen, en dan heb je het probleem verplaatst in plaats van opgelost.
Maatregel 2. Toon altijd de bron
Een antwoord zonder verwijzing is niet te controleren, en wat niet te controleren is wordt ofwel blind vertrouwd ofwel niet gebruikt. Beide zijn slecht.
Toon per antwoord uit welk document en welke passage het komt, met een klikbare verwijzing. Dat doet drie dingen tegelijk: de gebruiker kan steekproefsgewijs controleren, een fout is herleidbaar tot het brondocument in plaats van tot een mysterie, en het gedrag van gebruikers verandert. Mensen die een bron zien, klikken erop.
Meet ook hoe vaak er geklikt wordt. Als niemand ooit een bron opent, is het vertrouwen ofwel terecht ofwel te groot, en dat verschil wil je kennen.
Bronvermelding is bovendien een voorwaarde voor het aantoonbaar maken dat de AI-verordening en de AVG van je vragen.
Maatregel 3. Geef het model ruimte om niets te weten
Een model dat altijd een antwoord produceert, produceert ook een antwoord wanneer het er geen heeft. Dat gedrag is niet vanzelfsprekend; het volgt uit hoe je het aanstuurt.
Instrueer expliciet dat "dit staat niet in de beschikbare documenten" een geldig en gewenst antwoord is. Dat klinkt triviaal en is het niet: zonder die instructie is niets zeggen statistisch onwaarschijnlijker dan iets zeggen.
Bouw daarnaast een drempel in de zoekstap. Levert die geen passage op boven een minimale relevantiescore, laat het systeem dan doorschakelen naar een mens in plaats van het model te laten improviseren op zwak materiaal.
Meet hoe vaak dat gebeurt. Een systeem dat nooit doorschakelt heeft ofwel een perfecte kennisbank ofwel een instructie die niet werkt.
Maatregel 4. Zet een mens waar het ertoe doet
Niet overal, want dan verdwijnt de winst. Wel op de plekken waar een fout gevolgen heeft.
Een bruikbaar onderscheid in drie niveaus. Bij lage impact laat je het systeem zelfstandig handelen: tickets routeren, samenvattingen maken, concepten genereren. Bij middelhoge impact stelt het systeem voor en bevestigt een mens met één handeling: een offerte, een klantantwoord, een classificatie met gevolgen. Bij hoge impact bereidt het systeem voor en beslist een mens volledig: alles wat over personen gaat, over geld boven een grens, of over onomkeerbare acties.
Het bepalen van die grens is een bedrijfsbeslissing, geen technische. Leg hem vast per toepassing, niet als algemene regel, en herzie hem als de meetgegevens daar aanleiding toe geven.
Maatregel 5. Meet het, doorlopend
Zonder meting is elke uitspraak over betrouwbaarheid een gevoel, en gevoelens verschillen per persoon en per week.
Bouw een testset van veertig tot honderd echte vragen met het verwachte antwoord en het brondocument erbij. Meet twee dingen apart: haalde de zoekstap het juiste materiaal op, en klopte het antwoord gegeven dat materiaal. Die scheiding is essentieel omdat de oplossingen verschillen.
Draai de testset opnieuw na elke wijziging: een ander model, een andere chunking, een aangepaste instructie. Modelaanbieders vervangen versies, en een upgrade die op benchmarks beter scoort kan op jouw taken slechter uitpakken.
Neem de resultaten op in je periodieke evaluatie, naast gebruik en kosten. Kwaliteit die niemand rapporteert, wordt niet bewaakt.
Wat niet werkt
Vragen om zekerheid. Een model dat je vraagt hoe zeker het is, genereert een zekerheidsscore op dezelfde manier als het de rest genereert. Er zit geen introspectie achter.
Een groter model. Nieuwere en grotere modellen verzinnen minder, maar niet nul. Wie het probleem met modelkeuze wil oplossen, blijft afhankelijk van de volgende versie.
"Verzin niets" in de instructie. Het helpt marginaal en niemand mag erop bouwen. Het model kan niet weten wat het verzint.
Een tweede model dat het eerste controleert. Nuttig als extra signaal, geen garantie: het tweede model kan met evenveel overtuiging instemmen met een onjuistheid.
Wat een realistisch doel is
Niet: nul fouten. Wel: een foutpercentage dat je kent, dat lager ligt dan het menselijke alternatief, en dat je merkt wanneer het verslechtert.
Dat laatste is het belangrijkste. Een systeem met vier procent fouten dat je meet, is veiliger dan een systeem met twee procent fouten dat niemand controleert, want het eerste zie je verschuiven en het tweede niet.
Bij Drimble, waar een agent dagelijks honderden klantvragen afhandelt, is de relevante vraag daarom niet of de agent ooit een fout maakt, maar hoeveel vragen correct en gepersonaliseerd worden beantwoord en of dat percentage stabiel blijft.