Finance: aantoonbare lineage voor toezichtrapportage

Consolidatie op Microsoft Fabric met een strikte silver/gold-scheiding volgens het medallion-patroon. Gecontroleerde gold-rapportages draaien in het Warehouse (T-SQL, multi-table transacties) in plaats van de Lakehouse, zodat er harde garanties zijn over consistentie binnen een rapportagerun. Microsoft Purview volgt lineage automatisch van bron tot rapport. OneLake Security regelt toegang op kolom- en rijniveau, zodat gevoelige posities alleen zichtbaar zijn voor wie daar een rol voor heeft. Alle wijzigingen aan pipelines en modellen lopen via Git-integratie en Deployment Pipelines, uitgevoerd door een service principal, nooit handmatig in productie.

De toezichthouder vraagt niet om snelheid, maar om reproduceerbaarheid: kun je aantonen dat elk cijfer in het rapport op dezelfde manier tot stand komt, elke keer opnieuw. Dat is precies wat Git plus Deployment Pipelines oplevert, elke wijziging aan een pipeline of model is een pull request met review, geen klik in een portal die niemand kan reconstrueren. Het Warehouse boven de Lakehouse kiezen voor de gold-laag gaf de multi-table transacties die financiële rapportage vereist.

De bestaande lappendeken van diensten aanhouden en alleen de rapportagelaag verbeteren loste het kernprobleem niet op: lineage bleef versnipperd over systemen die elk hun eigen audittrail hadden. Een volledig extern lineage-platform bovenop de bestaande diensten plakken gaf een tweede bron van waarheid naast de systemen zelf, precies het soort inconsistentie die de toezichthouder wilde zien verdwijnen.

• Gereserveerde capaciteit voor productie is duurder dan pay-as-you-go, maar geeft de voorspelbaarheid die een gereguleerde omgeving vraagt.
• Strikte scheiding tussen productie en de rest betekent meer omgevingen om te beheren, niet minder.
• Elke wijziging via pull request vertraagt kleine aanpassingen; voor een gereguleerde instelling is dat een bewuste ruil, geen ongewenst neveneffect.

Microsoft Fabric (Warehouse, Lakehouse, Git-integratie, Deployment Pipelines), Microsoft Purview (lineage, classificatie), OneLake Security, Microsoft Entra ID, Azure Key Vault voor customer-managed keys.

• Behandel elke wijziging aan productie als een pull request met review, geen uitzonderingen, ook niet voor "kleine" fixes.
• Kies het Warehouse voor rapportages die multi-table transacties en harde consistentiegaranties nodig hebben; laat de Lakehouse voor engineering.
• Laat Purview-lineage automatisch meelopen in plaats van het handmatig te documenteren; handmatige documentatie loopt binnen een kwartaal achter.

De grootste tijdswinst zat niet in snellere rapportages maar in minder tijd besteed aan het reconstrueren van hoe een cijfer tot stand kwam, dat werk verdween grotendeels omdat lineage nu automatisch wordt vastgelegd. Een onderschatte hobbel: service principals kregen in eerste instantie te brede rollen om "het maar werkend te krijgen", wat de auditors terecht aanmerkten als een risico. Least privilege alsnog toepassen op bestaande automatisering kostte meer tijd dan het vanaf dag één goed inrichten had gekost.