Wat een agent onderscheidt
Drie dingen worden vaak op één hoop gegooid, terwijl ze verschillende risico's en kosten kennen.
Een chatbot krijgt een vraag en geeft een antwoord. Eén verzoek, één reactie, geen actie in de buitenwereld.
Een automatisering volgt een vooraf vastgelegd pad. Als er een order binnenkomt, haal deze velden eruit, controleer die tegen dat systeem, schrijf het weg. Het model doet mogelijk een deelstap, maar de route ligt vast.
Een agent krijgt een doel en bepaalt zelf de route. Hij kan gereedschap aanroepen, tussenresultaten beoordelen, terugkeren op een eerdere stap en opnieuw proberen. Het model beslist bij elke stap wat de volgende is.
Die laatste eigenschap is de hele meerwaarde en het hele risico. Je krijgt flexibiliteit, en je verliest voorspelbaarheid.
Wanneer je géén agent nodig hebt
Dit is de belangrijkste sectie van deze gids, omdat de meeste vraagstukken die als agentvraagstuk worden gepresenteerd het niet zijn.
Is het pad voorspelbaar, dan is een agent duurder, trager en foutgevoeliger dan een gewone automatisering. Een order die altijd uit dezelfde velden bestaat, verwerk je met een pijplijn waarin het model één omschreven taak doet. Dat is goedkoper per uitvoering, het is te testen, en het doet elke keer hetzelfde.
Bij Kwabo draaide het om verkooporders die handmatig in het ERP werden gezet en bij hoog volume een bottleneck vormden. Dat is een strak proces met een vaste route: inlezen, valideren, wegschrijven. Geen agent nodig.
De vuistregel: kun je het proces uittekenen als stroomschema zonder dat het onoverzichtelijk wordt, bouw dan het stroomschema. Een agent is het antwoord op variatie, niet op complexiteit.
Wanneer een agent wél meerwaarde heeft
Drie situaties waarin het pad zich niet vooraf laat vastleggen.
Het aantal mogelijke routes is te groot. Een supportvraag kan om vijftig verschillende vervolgstappen vragen, afhankelijk van wat de klant precies bedoelt en wat er in de systemen staat. Elk pad apart bouwen is onhaalbaar.
De volgende stap hangt af van wat de vorige oplevert. Een onderzoeksvraag waarbij je pas na de eerste zoekopdracht weet waar je verder moet kijken. Bij Karregat & Koning speelt dit bij het opsporen van wijzigingen tussen tekeningversies: wat er relevant is verschilt per tekening.
Het proces vraagt om herstel na een mislukte stap. Een systeem dat niet reageert, een document dat een ander formaat heeft dan verwacht. Een agent kan opnieuw proberen of een andere route kiezen; een vast pad breekt af.
Ook dan geldt: begin met de kleinst mogelijke agent, met zo min mogelijk gereedschap.
Waaruit een agent bestaat
Vier onderdelen, en elk is een ontwerpkeuze met gevolgen.
Het model dat de beslissingen neemt. Zwaarder redeneren betekent betere routekeuzes en hogere kosten per stap.
Het gereedschap dat hij mag aanroepen: zoeken in een kennisbank, een record ophalen, een e-mail versturen, een agendapunt aanmaken. Elk stuk gereedschap vergroot wat de agent kan en wat er mis kan gaan.
Het geheugen binnen een taak: wat is er al geprobeerd, wat kwam eruit. Zonder dat blijft de agent in cirkels lopen.
De grenzen: hoeveel stappen mag hij zetten, hoeveel mag het kosten, welke acties vragen om menselijke bevestiging, en wanneer stopt hij en geeft hij het door.
Die vierde is de enige die je niet kunt overslaan. Een agent zonder grenzen is niet een agent met meer vrijheid, het is een agent zonder rem.
Waarom fouten zich opstapelen
Bij één modelaanroep met vijfennegentig procent betrouwbaarheid is de kans op een goed resultaat vijfennegentig procent. Bij tien opeenvolgende stappen die elk van de vorige afhangen, is dat nog ongeveer zestig procent.
Dat is de kern van waarom agents in demo's beter werken dan in productie. De demo laat één geslaagde keten zien; productie laat de verdeling zien.
Er zijn drie manieren om hiermee om te gaan. Verkort de keten: minder stappen betekent minder vermenigvuldiging. Bouw controlepunten in waarop de agent zijn eigen tussenresultaat toetst voordat hij verder gaat. En laat de agent falen naar een mens in plaats van door te modderen.
Wat niet werkt is hopen dat het volgende model dit oplost. De vermenigvuldiging blijft; alleen het grondtal verschuift.
Wat je moet loggen
Bij een agent is de vraag "wat is er gebeurd" moeilijker te beantwoorden dan bij een gewone automatisering, precies omdat de route per keer verschilt.
Leg daarom per uitvoering vast: wat was de opdracht, welke stappen zijn gezet, welk gereedschap is aangeroepen met welke invoer, wat kwam eruit, en wat waren de kosten. Dat is geen luxe voor achteraf; het is de enige manier om te begrijpen waarom een agent tot een uitkomst kwam.
Dit is ook wat de AI-verordening bedoelt met herleidbaarheid. Artikel 12 gaat over logging, artikel 86 over het recht op uitleg bij besluiten. Achteraf logging inbouwen betekent de architectuur openbreken.
Pilex Secure levert dit als trace explorer: elke run stap voor stap terug te lezen, met kosten per gesprek. Bouw je het zelf, dan hoort het vanaf de eerste versie in het ontwerp.
Rechten en beperkingen
Een agent handelt namens iemand, en de rechten van die persoon bepalen wat er kan misgaan.
Geef een agent nooit ruimere rechten dan de gebruiker namens wie hij handelt. Een agent met beheerderstoegang die een verzoek van een gewone medewerker uitvoert, is een rechtenprobleem dat je zelf hebt gebouwd.
Scheid daarnaast lezen van schrijven. De meeste agents hebben alleen leestoegang nodig plus de bevoegdheid om een voorstel te doen. Schrijfrechten geef je per actie, niet per agent.
En stel harde grenzen in aan het aantal stappen en de kosten per uitvoering. Een agent die in een lus terechtkomt, doet dat sneller dan iemand het merkt.
Dat brengt een groter risico met zich mee dat een eigen gids verdient: een agent die inhoud leest die door een ander is geschreven, kan door die inhoud worden aangestuurd. Zie prompt injection.
Hoe je begint
Vier stappen, in deze volgorde.
- Toets of je een agent nodig hebt. Teken het proces uit. Past het in een stroomschema, bouw dat.
- Begin met één stuk gereedschap. Leestoegang tot één bron. Voeg pas toe wat aantoonbaar nodig is.
- Zet een mens op elke uitgaande actie. Pas als de kwaliteit gemeten stabiel is, verlaag je die drempel per actietype.
- Meet vanaf dag één. Slagingspercentage, aantal stappen, kosten per uitvoering, hoe vaak er wordt doorgeschakeld.
Deze volgorde omdraaien is de meest voorkomende manier om zes weken te verliezen.