Hoe test je een AI-agent voordat die in je bedrijfsproces meewerkt?
Een geslaagde demo bewijst nog niet dat een agent goed omgaat met echte uitzonderingen, bestaande werkwijzen en systeemrechten. Test eerst het hele werkproces.
Door Ilja Vinzenz · · Circa 6 minuten leestijd
De belangrijkste testvraag is niet alleen of een AI-agent een taak kan afmaken. Je wilt ook weten of hij op tijd stopt, om hulp vraagt, bestaande afspraken respecteert en geen ongewenste gevolgen veroorzaakt.
Begin bij het werk, niet bij de prompt
Beschrijf welke stap de agent ondersteunt, welke informatie hij ontvangt en wat een goed resultaat is. Leg ook vast welke systemen hij mag gebruiken en welke beslissingen bij een medewerker blijven. Een duidelijke taakgrens maakt fouten zichtbaar én voorkomt dat een succesvolle demo ongemerkt uitgroeit tot een veel bredere opdracht.
Selecteer daarna representatieve praktijkgevallen. Neem niet alleen eenvoudige verzoeken op, maar ook ontbrekende gegevens, tegenstrijdige informatie, een dubbele opdracht, een niet-beschikbare koppeling en een situatie waarin de juiste uitkomst is om niets te doen.
Een voorbeeld uit ons ontwikkelwerk
Novi ondersteunde ons bij een wijziging aan het certificatenoverzicht van de digitale kennisbank voor laswerkzaamheden bij ProRail. Een bestaande tabel werd omgezet naar kaarten. Die uitwerking was technisch te testen en oogde overzichtelijk. Toch paste zij niet bij de dagelijkse werkwijze: de gebruikers waren ingenieurs die de informatie als tabel, vergelijkbaar met hun Excel-overzichten, wilden blijven bekijken.
Na menselijke feedback is de kaartweergave teruggedraaid. De tabel bleef bestaan en de opmaak werd verbeterd. Daarna zijn de weergave en relevante tests opnieuw gecontroleerd. De case beschrijft de kennisbank; deze wijziging is een voorbeeld uit het latere ontwikkelwerk. Novi ondersteunde dat werk als AI-hulpmiddel en werkte niet autonoom in het bedrijfsproces van ProRail. Juist dat onderscheid is belangrijk: zelfs bij begeleid ontwikkelwerk kan een voorstel technisch werken en toch de verkeerde oplossing zijn.
Test op vier niveaus
- Taak: is het antwoord of voorstel inhoudelijk juist en bruikbaar voor de gebruiker?
- Proces: blijven volgorde, uitzonderingen en bestaande werkwijzen behouden?
- Bevoegdheden: kan de agent alleen toegestane gegevens lezen en acties voorstellen of uitvoeren?
- Herstel: is duidelijk wat er gebeurde en kan een verkeerde actie worden gestopt of teruggedraaid?
Maak de uitkomst toetsbaar
Leg per testgeval vast wat de verwachte uitkomst is, welke actie verboden is en wanneer menselijke beoordeling verplicht wordt. Noteer niet alleen hoeveel gevallen lukken, maar ook hoeveel voorstellen moeten worden gecorrigeerd, welke fouten schade kunnen veroorzaken en waar de agent onzekerheid niet goed herkent.
Herhaal dezelfde testset na wijzigingen aan instructies, modellen, databronnen of gekoppelde tools. Een verbetering in de ene categorie kan een andere categorie verslechteren. Bewaar daarom een vaste basisset naast nieuwe gevallen uit de praktijk.
Bouw autonomie in stappen op
Start met een agent die alleen adviseert. Laat medewerkers voorstellen accepteren, aanpassen of afwijzen en onderzoek de redenen. Geef pas daarna toestemming voor beperkte, omkeerbare acties. Voor publicaties, betalingen, verwijderingen of wijzigingen aan klantgegevens kan expliciete goedkeuring nodig blijven.
Zorg dat iemand eigenaar is van de testresultaten, monitoring en incidentafhandeling. Een lokale test, een proef met echte gebruikers en acceptatie in productie zijn verschillende mijlpalen. Beschrijf bij elke stap precies wat is gecontroleerd.
Van incident naar eigen testplan
Het OpenAI/Hugging Face-incident toont waarom ook grenzen en toegangsrechten getest moeten worden. Het voorbeeld uit ons ontwikkelwerk toont waarom de gebruiker en diens werkwijze even belangrijk zijn. Samen geven ze een praktisch uitgangspunt: test de taak, de omgeving én de gevolgen voordat je een agent meer ruimte geeft.
Veelgestelde vragen
Hoeveel testgevallen heb je nodig voor een AI-agent?
Er is geen universeel aantal. Begin met representatieve normale gevallen, uitzonderingen en risicovolle situaties. Breid de set uit met fouten en correcties uit het werkproces.
Wanneer mag een agent zelfstandig acties uitvoeren?
Pas wanneer de taakgrenzen, bevoegdheden, foutimpact, monitoring en herstelroute passen bij die acties en de kwaliteit in relevante praktijkgevallen is aangetoond.
Lees ook hoe wij AI inzetten bij softwareontwikkeling en wat er verandert tussen een AI-pilot en productie.
Van inzicht naar uitvoering
Bekijk de diensten en expertise waarmee we dit vraagstuk analyseren en realiseren.
Verder lezen
Bekijk de andere inzichten binnen dit onderwerp voor aanvullende afwegingen en praktische uitleg.
Wat leert het Hugging Face-incident over AI-agenten?
Bekijk waarom bevoegdheden, technische grenzen en toezicht belangrijk zijn.
Lees het inzicht
Wanneer is AI geschikt voor een bedrijfsproces?
Beoordeel taak, data, risico, kwaliteit en menselijke controle.
Lees het inzicht
RAG of een AI-model trainen: wat past bij interne kennis?
Kies tussen kennis ophalen, modelgedrag aanpassen of beide.
Lees het inzicht
Hoe meet je de kwaliteit van een AI-oplossing?
Maak technische kwaliteit, bruikbaarheid en procesrisico toetsbaar.
Lees het inzichtWaar loopt jouw organisatie vast in processen, systemen of data?
Vertel ons wat er speelt. In een eerste gesprek verkennen we de vraag, de randvoorwaarden en een passende vervolgstap.
