Finance: RAG voor compliance-vragen met Microsoft Foundry

Business challenge

Acceptanten en schadebehandelaars van een verzekeraar zochten dagelijks in duizenden versies van polisvoorwaarden, interne richtlijnen en DNB-beleid. Fout gequote voorwaarden leidden tot klachten en herstelkosten. Een publieke chatbot was uitgesloten: antwoorden moeten aantoonbaar herleidbaar zijn naar brondocumenten.

Architectuur

Een RAG-oplossing op Microsoft Foundry. Documenten worden bij publicatie gechunkt en geïndexeerd in Azure AI Search (hybride: vector plus keyword, met semantic ranking). De applicatie beantwoordt vragen uitsluitend op basis van opgehaalde passages, citeert altijd bron en versienummer, en weigert te antwoorden wanneer de retrieval-score onder een drempel ligt. Elke interactie wordt gelogd met prompt, opgehaalde chunks en antwoord voor audit en evaluatie.

Waarom deze keuze

Grounding met verplichte bronvermelding maakt het verschil tussen "een chatbot" en een verdedigbaar hulpmiddel in een gereguleerde sector. Foundry biedt de modelkeuzevrijheid (een klein model voor herformulering, een groter voor synthese) en de evaluatietooling die nodig is om kwaliteit te bewijzen, niet alleen te claimen.

Alternatieven

Microsoft 365 Copilot met een declarative agent was eenvoudiger geweest, maar gaf onvoldoende controle over retrieval-drempels, weigeringsgedrag en logging. Een volledig zelfgebouwde stack (open-source vectordatabase plus eigen orchestratie) gaf maximale controle, maar tegen structureel hogere beheerlast.

Trade-offs

• Strikte grounding betekent vaker "ik weet het niet", bewust geaccepteerd; een fout antwoord is hier duurder dan geen antwoord.
• Semantic ranking en vectorisering kosten geld per query; caching van veelgestelde vragen was nodig om de businesscase rond te krijgen.
• Versiebeheer van documenten werd ineens een harde eis: RAG legt genadeloos bloot dat er zeven versies van hetzelfde beleid circuleren.

Microsoft-producten

Microsoft Foundry (modelcatalogus, evaluations, content safety), Azure AI Search, Azure OpenAI-modellen, Application Insights voor tracing, Entra ID.

Best practices

• Chunk op documentstructuur (artikelen, clausules), niet op vaste tekenaantallen.
• Evalueer met een vaste vragenset per release; groundedness is een metriek, geen gevoel.
• Log retrieval-scores mee, de meeste "hallucinaties" blijken retrieval-problemen.

Lessons learned

Tachtig procent van de kwaliteitswinst kwam uit de dataketen: documenten opschonen, dubbele versies archiveren en metadata toevoegen. Het model wisselen gaf enkele procenten verbetering; de indexering verbeteren gaf tientallen.