De financiële paradox: Kan een model voor verwachte kredietverliezen goed gekalibreerd zijn en toch onvoldoende ondersteuning bieden bij besluitvorming?
Bij recente projecten met Braziliaanse financiële instellingen hebben wij modellen aangetroffen die redelijke geaggregeerde schattingen opleverden, maar moeite hadden om leningen met een hoger risico te onderscheiden van leningen met een lager risico. In één geval identificeerde een regel 80% van de toekomstige wanbetalers, maar markeerde deze ook 73% van de klanten die hun betalingen zouden blijven nakomen als problematisch. In een ander geval was de correlatie tussen de voorspelde en de gerealiseerde LGD vrijwel nul, wat erop wijst dat het model leningen nauwelijks op basis van risico kon rangschikken.
Dit is van belang bij de beoordeling van modellen die zijn geïmplementeerd op grond van resoluties zoals de Braziliaanse CMN-resolutie 4.966/2021, die in overeenstemming is met IFRS 9. Alvorens de algoritmen te bespreken, moeten wij vaststellen of de onderliggende economische uitkomst correct is gedefinieerd, of de data ons in staat stellen deze te reconstrueren, en bovenal of het model risico op het niveau van individuele leningen kan onderscheiden.
Dat is wat een model dat is ontwikkeld om aan een wettelijke vereiste te voldoen, kan veranderen in een effectief hulpmiddel bij de besluitvorming.
Alvorens het model te verbeteren, moesten wij het probleem opnieuw in kaart brengen.
LGD meet het percentage van de kredietpositie dat verloren gaat wanneer een lening in gebreke blijft. In een dergelijk project verwachtten wij mogelijkheden te vinden om het bestaande model te verbeteren. In plaats daarvan ontdekten wij dat het grootste probleem lag in de wijze waarop LGD zelf werd gemeten.
Het vorige model hield de terugvorderingen iets meer dan een jaar bij en paste behandelingsregels toe die juist van invloed waren op de LGD die het moest schatten. Onze eerste beslissing was dan ook om het debat over algoritmen te beëindigen en de doelvariabele opnieuw op te bouwen.
Wij hebben onderzocht wanneer de terugvorderingen daadwerkelijk plaatsvonden, wat het marginale voordeel was van het verlengen van de herstructureringsperiode, wat de terugvorderingskosten waren en hoe de tijdswaarde van geld in de berekening moest worden meegenomen. Wij hebben de herstructureringsperiode verlengd tot 72 maanden.
Die wijziging loste het ene probleem op, maar creëerde een ander: recentere wanbetalingen hadden nog geen zes jaar aan gegevens. In plaats van deze simpelweg uit te sluiten, hebben wij expliciet rekening gehouden met herstelprocessen die nog niet waren waargenomen, alvorens terug te keren naar de modellering.
In één segment van de detailhandel daalde de MAE van 37% naar 20%, een daling van 48%. Wat nog belangrijker is voor de risicodifferentiatie, is dat de Spearman-correlatie tussen de voorspelde en de gerealiseerde LGD is gestegen van vrijwel nul naar 0,94.
De les die uit dit project kan worden getrokken, is duidelijk: een beter algoritme kan een slecht opgezet doel niet verhelpen.
Complexiteit is alleen de moeite waard als zij resultaten oplevert.
Het begrip ‘verklaarbaarheid’ komt in vrijwel elk gesprek dat wij met risicoteams voeren ter sprake. Daarom kiezen wij niet automatisch voor het meest complexe algoritme.
Wij testen verschillende benaderingen en stellen daarbij een specifieke vraag: wat levert de extra complexiteit ons op?
Het kan gaan om een aanzienlijke vermindering van de out-of-sample-fout, een betere differentiatie tussen leningen of een andere meetbare verbetering. Indien het voordeel gering is, wegen verklaarbaarheid, stabiliteit en onderhoudsgemak zwaarder.
Dit heeft ook gevolgen voor de manier waarop wij modellen opstellen.
Wij werken nauw samen met de teams van elke instelling vanaf de allereerste structurele beslissingen: het vaststellen van definities van wanbetaling en herstel, segmentatie, variabele selectie, afwikkelingstermijnen en validatiestrategie. Hierdoor wordt zakelijke kennis ingebracht die mogelijk niet in de data tot uiting komt, terwijl het verantwoordelijke team tegelijkertijd inzicht krijgt in de redenen waarom het model een bepaalde schatting oplevert.
Wij willen geen ‘black box’ leveren die alleen het adviesteam kan uitleggen.
Wat wij hebben vastgesteld en wat er is veranderd:
- LGD met beperkte mogelijkheid om onderscheid te maken tussen leningen
Wij hebben de doelstelling, de trainingsperiode, de segmentatie en de modellen opnieuw onder de loep genomen. De MAE daalde van 37% naar 20%, terwijl de Spearman-correlatie steeg van vrijwel nul naar 0,94. - Regel voor kredietbeslissingen die te veel kredietwaardige klanten afwijst
Wij hebben PD-schattingen op leningniveau ontwikkeld en de beslissingsdrempel bijgesteld. Terwijl wij nog steeds 80% van de toekomstige wanbetalers konden identificeren, daalde het percentage valse positieven van 73% naar 31%. - De complexiteit van het model bemoeilijkt de uitleg en het onderhoud ervan
Wij eisten meetbare voordelen om de toegenomen complexiteit te rechtvaardigen en hebben de modellen samen met het interne team ontwikkeld. Het resultaat was een model dat begrijpelijk was voor degenen die verantwoordelijk waren voor het gebruik en de verdediging ervan.
Een beter risicomodel kan betekenen dat er meer krediet wordt verstrekt
Dat was de tegen de intuïtie ingaande bevinding uit een ander project.
De bestaande regel van de instelling identificeerde 80% van de toekomstige wanbetalers. Het probleem was echter dat hierdoor ook 73% van de klanten die hun betalingen zouden blijven nakomen, als problematisch werd aangemerkt.
Ons PD-model behaalde een AUC van 0,82. Bij een recall van 80% zou het percentage vals-positieve resultaten kunnen dalen tot 31%, een daling van 42 procentpunten.
Bij een andere drempelwaarde, waarbij het aantal afwijzingen gelijk blijft, zou het model het percentage geïdentificeerde toekomstige wanbetalers kunnen verhogen tot 98%.
Toen wij de resultaten aan de leiding van de instelling presenteerden, ging het gesprek verder dan AUC en kalibratie.
De klant heeft zelf nog andere toepassingen voor PD geïdentificeerd: het objectiever maken van beslissingen van de kredietcommissie, het onderbouwen van goedkeuringen en afwijzingen, het verminderen van de invloed van persoonlijke beoordeling, en het verstrekken van een meer informatieve toelichting aan klanten wanneer een kredietaanvraag werd afgewezen.
Op dit punt begint een complianceproject bedrijfswaarde te creëren.
Banken hebben reeds aanzienlijk geïnvesteerd om te voldoen aan CMN-resolutie 4.966. Dezelfde data, modellen en infrastructuur die zijn ontwikkeld om aan de regelgeving te voldoen, kunnen worden ingezet ter ondersteuning van kredietgoedkeuringen, kredietlimieten, prijsstelling, incasso’s en portefeuillebeheer.
Er is echter één voorwaarde: het model moet onderscheid maken tussen verschillende risico’s en mag zich niet beperken tot het weergeven van het gemiddelde verlies.
Voor een instelling die haar kredietrisicomodellen al in productie heeft, raden wij aan de evaluatie te beginnen met een eenvoudige vraag:
Wanneer wij leningen rangschikken van de laagste naar de hoogste voorspelde PD of LGD, nemen de waargenomen verliezen dan toe zoals te verwachten is?
Als het model het gemiddelde wel correct berekent, maar de risico’s niet kan rangschikken, is de beoordeling nog niet voltooid.
Woordenlijst:
- CMN-besluit nr. 4.966/2021: een verordening van de Nationale Monetaire Raad van Brazilië die de boekhoudkundige verwerking van financiële instrumenten in Brazilië in overeenstemming brengt met IFRS 9 en voorzieningen op basis van verwachte kredietverliezen voorschrijft.
- Verwacht kredietverlies (ECL): een schatting van het bedrag dat een financiële instelling naar verwachting op een lening zal verliezen, berekend aan de hand van PD, LGD en EAD.
- PD (kans op wanbetaling): de kans dat een kredietnemer of een lening standaard gedurende een bepaalde tijdsperiode.
- LGD (verlies bij wanbetaling): het deel van een kredietpositie dat een financiële instelling uiteindelijk verliest na een wanbetaling, na aftrek van de teruggevorderde bedragen.
- EAD (blootstelling bij wanbetaling): het bedrag dat op het moment van wanbetaling aan kredietrisico is blootgesteld.
- Standaard: het moment waarop een lening op grond van de criteria van de instelling en de toepasselijke regelgeving als in gebreke zijnde wordt aangemerkt.
- Genezing: het herstel van de status van een achterstallige lening naar de status van een lening zonder achterstand.
- Training: de periode waarin een financiële instelling de terugvorderingen na wanbetaling bijhoudt om de gerealiseerde verliezen te berekenen.
- Kalibratie: het vermogen van een model om het gemiddelde risico- of verliesniveau van de portefeuille nauwkeurig in te schatten.
- Discriminatie: het vermogen van een model om leningen met een hoger risico te onderscheiden van leningen met een lager risico.
- AUC (oppervlakte onder de curve): een discriminatiemaatstaf die varieert van 0,5 (willekeurige classificatie) tot 1 (volledige scheiding) tussen kredietnemers die hun verplichtingen nakomen en kredietnemers die in gebreke blijven.
- Spearman-correlatie: geeft aan in hoeverre de rangorde van de modelvoorspellingen overeenkomt met de rangorde van de waargenomen uitkomsten; waarden die dichter bij 1 liggen, duiden op een betere risicorangschikking.
- MAE (gemiddelde absolute fout): het gemiddelde absolute verschil tussen de voorspelde en de werkelijke waarden.
- Herinneringsvermogen (gevoeligheid): het percentage toekomstige wanbetalers dat het model correct identificeert.
- Vals-positief: een klant die als hoog risico is aangemerkt, maar die in werkelijkheid geen betalingsachterstand heeft.

BLOG





