Een model dat 96% haalt maar niet kan vertellen waaróm, is in een gereguleerde omgeving minder waard dan een model dat 91% haalt en zijn werk laat zien.
Dat klinkt onlogisch als je gewend bent modellen af te rekenen op nauwkeurigheid. Maar in de financiële sector is de score zelden het eindproduct. Het eindproduct is een besluit dat iemand moet kunnen verdedigen — tegenover een klant, een compliance-officer, of uiteindelijk een toezichthouder.
Wat artikel 22 werkelijk vraagt
De AVG bepaalt in artikel 22 dat iemand niet onderworpen mag worden aan een uitsluitend geautomatiseerd besluit met rechtsgevolgen of vergelijkbare impact. Er zijn uitzonderingen, maar die komen allemaal met dezelfde voorwaarde: er moet een menselijke tussenkomst mogelijk zijn, en de betrokkene moet uitleg kunnen krijgen.
“Uitleg” is daarbij geen wiskundig bewijs. Niemand verwacht dat je de gewichten van een gradient boosting-model overhandigt. Wat wél verwacht wordt, is dat je kunt benoemen welke factoren de doorslag gaven — in taal die de ontvanger begrijpt.
Drie dingen die wij standaard meeleveren
- De bijdragende kenmerken per besluit. Niet het hele model, maar de drie tot vijf factoren die deze specifieke uitkomst bepaalden, met hun richting en gewicht.
- De modelversie. Zonder te weten welk model het besluit nam, kun je een half jaar later niets meer reconstrueren.
- De drempel die gold. Drempels verschuiven, en een score van 62 betekende in maart iets anders dan in september.
De prijs die je ervoor betaalt
Uitlegbaarheid kost meestal wat nauwkeurigheid. Een lineair model of een beslisboom met beperkte diepte is makkelijker te verantwoorden dan een ensemble van honderden bomen. Ons uitgangspunt: begin met het eenvoudigste model dat goed genoeg is, en verhoog de complexiteit alleen als het meetbaar iets oplevert dat je ook nog kunt verdedigen.
In de praktijk blijkt dat verschil vaak kleiner dan verwacht. En de twee procentpunt die je inlevert, win je terug op het moment dat je bij een audit niet drie weken kwijt bent aan reconstructie.