Hoe bouw je een RAG-oplossing

Stap 1: Definieer wat een goed antwoord is

Verzamel vijftig tot tweehonderd representatieve vragen met de antwoorden die een expert zou geven, inclusief verwachte bronnen. Dit is je evaluatieset, je regressietest voor AI, die je bij elke wijziging draait. Zonder gemeten kwaliteit is elke verbetering giswerk.

Beslissing: wat doet het systeem bij twijfel, gokken of weigeren? In vrijwel elke enterprise-context is weigeren het juiste antwoord.

Stap 2: Breng je bronnen op orde

Inventariseer de documenten: eigenaar, actualiteit, dubbele versies. Archiveer wat verouderd is vóórdat je indexeert.

Beslissing: welke bronnen zijn autoritatief? RAG op tegenstrijdige bronnen geeft tegenstrijdige antwoorden, geen enkel model lost dat op.

Stap 3: Chunking en indexering

Chunk op documentstructuur (koppen, artikelen, clausules) met overlap. Indexeer in Azure AI Search met zowel vectors als keywords, en zet semantic ranking aan. Neem metadata mee: bron, versie, publicatiedatum, doelgroep.

Beslissing: chunkgrootte. Te klein verliest context, te groot verwatert de relevantie. Start rond enkele honderden tokens en laat je evaluatieset beslissen.

Stap 4: Retrieval afstellen

Test hybride zoeken tegen je evaluatieset vóórdat er een model aan te pas komt: staat het juiste stuk tekst in de top-vijf resultaten? Zo niet, dan is dit je probleem, niet de generatie.

Beslissing: retrieval-drempel. Onder welke score weiger je te antwoorden?

Stap 5: Generatie met grounding

Kies in Foundry een model en schrijf een systeem-prompt met drie harde regels: antwoord uitsluitend op basis van de aangeleverde passages, citeer altijd de bron, en zeg het expliciet wanneer de informatie ontbreekt.

Beslissing: modelgrootte. Begin klein; upgrade alleen als je evaluatieset aantoont dat het nodig is. Het verschil zit vaker in retrieval dan in het model.

Stap 6: Evalueren en loggen

Draai je evaluatieset bij elke wijziging (Foundry evaluations helpt hierbij): groundedness, relevantie, weigeringsgedrag. Log in productie elke interactie met opgehaalde chunks en scores.

Stap 7: Beheer als product

Documenten wijzigen, dus indexen ook. Regel herindexering bij publicatie, monitor onbeantwoorde vragen als backlog en herhaal de evaluatie maandelijks. RAG is geen project met een einddatum; het is een product met een dataketen.