Das finanzielle Paradoxon: Kann ein Modell zur Ermittlung erwarteter Kreditverluste zwar gut kalibriert sein, aber dennoch nur unzureichend zur Entscheidungsfindung beitragen?
Bei jüngsten Projekten mit brasilianischen Finanzinstituten stießen wir auf Modelle, die zwar vernünftige Gesamtschätzungen lieferten, jedoch Schwierigkeiten hatten, Kredite mit höherem Risiko von solchen mit geringerem Risiko zu unterscheiden. In einem Fall identifizierte eine Regel zwar 80 % der zukünftigen Zahlungsausfälle, stufte jedoch auch 73 % der Kunden, die ihre Zahlungen weiterhin pünktlich leisten würden, als problematisch ein. In einem anderen Fall lag die Korrelation zwischen prognostizierter und realisierter LGD praktisch bei Null, was darauf hindeutet, dass das Modell Kredite kaum nach ihrem Risiko einstufen konnte.
Dies ist von Bedeutung bei der Überprüfung von Modellen, die im Rahmen von Verordnungen wie der brasilianischen CMN-Verordnung 4.966/2021 implementiert wurden, die an IFRS 9 angelehnt ist. Bevor wir auf Algorithmen eingehen, müssen wir klären, ob das zugrunde liegende wirtschaftliche Ergebnis ordnungsgemäß definiert wurde, ob die data es uns ermöglichen, dieses zu rekonstruieren, und vor allem, ob das Modell Risiken auf der Ebene einzelner Kredite unterscheiden kann.
Genau das kann ein Modell, das zur Erfüllung einer regulatorischen Anforderung entwickelt wurde, zu einem wirksamen Instrument der Entscheidungsfindung machen.
Bevor wir das Modell verbessern konnten, mussten wir das Problem neu formulieren.
Die LGD misst den Anteil des Kreditengagements, der bei einem Kreditausfall verloren geht. In einem solchen Projekt gingen wir davon aus, Möglichkeiten zur Verbesserung des bestehenden Modells zu finden. Stattdessen stellten wir fest, dass das größte Problem in der Art und Weise lag, wie die LGD selbst gemessen wurde.
Das bisherige Modell erfasste die Rückflüsse lediglich über einen Zeitraum von etwas mehr als einem Jahr und wandte Behandlungsregeln an, die genau jene LGD beeinflussten, die es eigentlich schätzen sollte. Unsere erste Entscheidung bestand daher darin, die Diskussion über Algorithmen zu beenden und die Zielvariable neu zu definieren.
Wir haben untersucht, wann die Rückflüsse tatsächlich erfolgten, welchen Grenznutzen eine Verlängerung der Umschuldungsfrist hatte, wie hoch die Rückflusskosten waren und inwieweit der Zeitwert des Geldes in die Berechnung einfließen sollte. Wir haben die Umschuldungsfrist auf 72 Monate verlängert.
Diese Änderung löste zwar ein Problem, schuf jedoch ein neues: Neuere Zahlungsausfälle wiesen noch keine sechsjährige Historie auf. Anstatt diese einfach auszuschließen, haben wir uns ausdrücklich mit den noch nicht beobachteten Erholungen befasst, bevor wir zur Modellierung zurückkehrten.
In einem Segment des Privatkundengeschäfts sank der MAE von 37 % auf 20 %, was einem Rückgang um 48 % entspricht. Noch wichtiger für die Risikodifferenzierung ist, dass die Spearman-Korrelation zwischen prognostizierter und realisierter LGD von praktisch null auf 0,94 anstieg.
Die Erkenntnis aus diesem Projekt ist eindeutig: Ein besserer Algorithmus kann ein schlecht konzipiertes Ziel nicht beheben.
Komplexität lohnt sich nur dann, wenn sie zu Ergebnissen führt.
Das Thema Erklärbarkeit kommt in fast jedem Gespräch, das wir mit Risikoteams führen, zur Sprache. Aus diesem Grund wählen wir nicht automatisch den komplexesten Algorithmus aus.
Wir erproben verschiedene Ansätze und stellen dabei eine konkrete Frage: Was gewinnen wir durch die zusätzliche Komplexität?
Dies kann eine signifikante Verringerung des Out-of-Sample-Fehlers, eine bessere Unterscheidung zwischen den Krediten oder eine andere messbare Verbesserung sein. Ist der Gewinn gering, kommen Erklärbarkeit, Stabilität und einfache Wartbarkeit stärker zum Tragen.
Dies hat auch Auswirkungen darauf, wie wir Modelle erstellen.
Wir arbeiten bereits ab den frühesten strukturellen Entscheidungen eng mit den Teams der jeweiligen Institution zusammen: bei der Definition von Ausfall und Behebung, der Segmentierung, der Variablenauswahl, den Abwicklungszeiträumen und der Validierungsstrategie. Dadurch fließt Geschäftswissen ein, das in den data möglicherweise nicht erfasst ist, während das zuständige Team gleichzeitig versteht, warum das Modell eine bestimmte Schätzung liefert.
Wir möchten keine „Black Box“ liefern, die nur das Beratungsteam erklären kann.
Was wir festgestellt haben und was sich geändert hat:
- LGD mit eingeschränkter Fähigkeit zur Unterscheidung zwischen Krediten
Wir haben die Zielvorgabe, den Trainingszeitraum, die Segmentierung und die Modelle erneut überprüft. Der MAE sank von 37 % auf 20 %, während die Spearman-Korrelation von praktisch null auf 0,94 stieg. - Kreditentscheidungsregel, durch die zu viele kreditwürdige Kunden abgelehnt werden
Wir haben PD-Schätzungen auf Einzelkreditebene entwickelt und den Entscheidungsgrenzwert angepasst. Während weiterhin 80 % der künftigen Ausfälle identifiziert wurden, sank die Falsch-Positiv-Rate von 73 % auf 31 %. - Die Komplexität des Modells erschwert dessen Erläuterung und Wartung
Wir benötigten messbare Vorteile, um die zusätzliche Komplexität zu rechtfertigen, und entwickelten die Modelle gemeinsam mit dem internen Team. Das Ergebnis war ein Modell, das auch diejenigen verstehen konnten, die für dessen Anwendung und Verteidigung verantwortlich waren.
Ein besseres Risikomodell kann dazu führen, dass mehr Kredite vergeben werden
Das war das überraschende Ergebnis eines anderen Projekts.
Die bestehende Regelung des Instituts identifizierte 80 % der künftigen Zahlungsausfälle. Das Problem bestand darin, dass dabei auch 73 % der Kunden, die ihre Zahlungen weiterhin pünktlich leisten würden, fälschlicherweise als problematisch eingestuft wurden.
Unser PD-Modell erzielte einen AUC-Wert von 0,82. Bei einem Recall von 80 % konnte die Falsch-Positiv-Rate auf 31 % gesenkt werden, was einer Verringerung um 42 Prozentpunkte entspricht.
Bei einem anderen Schwellenwert und unter Beibehaltung der gleichen Anzahl an Ablehnungen könnte das Modell den Anteil der identifizierten zukünftigen Zahlungsausfälle auf 98 % erhöhen.
Als wir der Leitung der Einrichtung die Ergebnisse vorstellten, ging das Gespräch über AUC und Kalibrierung hinaus.
Der Kunde selbst hat weitere Anwendungsmöglichkeiten für PD ermittelt: die Objektivierung von Entscheidungen des Kreditausschusses, die bessere Begründung von Genehmigungen und Ablehnungen, die Verringerung des Einflusses persönlicher Ermessensentscheidungen sowie die Bereitstellung aussagekräftigerer Erläuterungen für Kunden im Falle einer Kreditverweigerung.
An dieser Stelle beginnt ein Compliance-Projekt, geschäftlichen Mehrwert zu schaffen.
Banken haben bereits erhebliche Investitionen getätigt, um die Anforderungen der CMN-Entscheidung 4.966 zu erfüllen. Dieselben data, Modelle und Infrastruktur, die zur Einhaltung der aufsichtsrechtlichen Vorschriften entwickelt wurden, können auch bei der Kreditgenehmigung, der Festlegung von Kreditlimits, der Preisgestaltung, dem Inkasso und dem Portfoliomanagement genutzt werden.
Es gibt jedoch eine Voraussetzung: Das Modell muss zwischen verschiedenen Risiken unterscheiden und darf nicht lediglich den durchschnittlichen Verlust wiedergeben.
Für ein Institut, das seine Kreditrisikomodelle bereits im operativen Einsatz hat, empfehlen wir, die Überprüfung mit einer einfachen Frage zu beginnen:
Wenn wir Kredite nach der niedrigsten bis zur höchsten prognostizierten Ausfallwahrscheinlichkeit (PD) oder Verlustquote (LGD) ordnen, steigen dann die beobachteten Verluste wie erwartet an?
Wenn das Modell zwar den Durchschnittswert korrekt ermittelt, aber keine Risikoeinstufung vornehmen kann, ist die Überprüfung noch nicht abgeschlossen.
Glossar:
- CMN-Beschluss Nr. 4.966/2021: Eine vom brasilianischen Nationalen Währungsrat erlassene Verordnung, die die Bilanzierung von Finanzinstrumenten in Brasilien an IFRS 9 angleicht und Rückstellungen auf der Grundlage erwarteter Kreditverluste vorschreibt.
- Erwarteter Kreditverlust (ECL): eine Schätzung des Betrags, den ein Finanzinstitut bei einem Kredit voraussichtlich verlieren wird, berechnet anhand von PD, LGD und EAD.
- PD (Ausfallwahrscheinlichkeit): die Wahrscheinlichkeit, dass ein Kreditnehmer oder ein Kredit Standard über einen festgelegten Zeithorizont.
- LGD (Verlust bei Ausfall): Der Anteil eines Kreditengagements, den ein Finanzinstitut nach einem Ausfall letztendlich verliert, abzüglich der erzielten Rückflüsse.
- EAD (Exposure at Default): der Betrag, der zum Zeitpunkt des Ausfalls einem Kreditrisiko ausgesetzt ist.
- Standard: der Zeitpunkt, zu dem ein Kredit gemäß den Kriterien des Instituts und den geltenden aufsichtsrechtlichen Vorgaben als notleidend eingestuft wird.
- Heilung: die Rückkehr eines notleidenden Kredits in den Status „ordnungsgemäß bedient“.
- Training: Der Zeitraum, in dem ein Finanzinstitut die Rückflüsse nach einem Zahlungsausfall erfasst, um die realisierten Verluste zu ermitteln.
- Kalibrierung: die Fähigkeit eines Modells, das durchschnittliche Risiko- oder Verlustniveau des Portfolios genau abzuschätzen.
- Diskriminierung: die Fähigkeit eines Modells, Kredite mit höherem Risiko von solchen mit geringerem Risiko zu unterscheiden.
- AUC (Fläche unter der Kurve): Ein Diskriminanzmaß, das zwischen 0,5 (zufällige Klassifizierung) und 1 (vollständige Trennung) zwischen zahlungsfähigen und säumigen Kreditnehmern reicht.
- Spearman-Korrelation: Misst, inwieweit die Rangfolge der Modellvorhersagen mit der Rangfolge der beobachteten Ergebnisse übereinstimmt; Werte, die näher bei 1 liegen, weisen auf eine bessere Risikoeinstufung hin.
- MAE (mittlerer absoluter Fehler): die durchschnittliche absolute Abweichung zwischen den prognostizierten und den tatsächlichen Werten.
- Erinnerungsleistung (Sensitivität): der Prozentsatz der zukünftigen Zahlungsausfälle, die das Modell korrekt identifiziert.
- Falsch-positiv: ein Kunde, der als Hochrisikokunde eingestuft wurde, der jedoch tatsächlich seinen Zahlungsverpflichtungen nachkommt.

BLOG





