Le paradoxe financier : un modèle de perte de crédit attendue peut-il être correctement calibré tout en s'avérant peu utile pour étayer les décisions ?

Dans le cadre de projets récents menés avec des institutions financières brésiliennes, nous avons constaté que certains modèles produisaient des estimations globales raisonnables, mais peinaient à distinguer les prêts à haut risque de ceux à faible risque. Dans un cas précis, une règle a permis d’identifier 80 % des futurs défaillants, mais a également signalé comme problématiques 73 % des clients qui resteraient à jour dans leurs paiements. Dans un autre cas, la corrélation entre la perte en cas de défaut (LGD) prévue et la LGD effective était pratiquement nulle, ce qui indique que le modèle parvenait à peine à classer les prêts par niveau de risque.

Ce point revêt une importance particulière lors de l'examen des modèles mis en œuvre en vertu de résolutions telles que la résolution n° 4 966/2021 du CMN brésilien, qui s'aligne sur la norme IFRS 9. Avant d’aborder les algorithmes, il convient de déterminer si le résultat économique sous-jacent a été correctement défini, si les data permettent de le reconstituer et, surtout, si le modèle est capable de différencier les risques au niveau de chaque prêt.

C'est ce qui peut transformer un modèle élaboré pour répondre à une exigence réglementaire en un outil décisionnel efficace.

Avant d'améliorer le modèle, nous avons dû reformuler le problème.

La LGD mesure la part de l'exposition de crédit perdue en cas de défaut de paiement d'un prêt. Dans le cadre d'un projet de ce type, nous nous attendions à identifier des possibilités d'amélioration du modèle existant. Au lieu de cela, nous avons découvert que le problème le plus important résidait dans la manière même dont la LGD était mesurée.

Le modèle précédent suivait les recouvrements depuis un peu plus d'un an et appliquait des règles de traitement qui influaient précisément sur la LGD qu'il était censé estimer. Notre première décision a donc été de cesser de débattre des algorithmes et de reconstruire la variable cible.

Nous avons examiné à quel moment les recouvrements avaient effectivement eu lieu, l'avantage marginal d'une prolongation de la période de restructuration, quels étaient les coûts liés à ces recouvrements, et comment la valeur temporelle de l'argent devait être prise en compte dans le calcul. Nous avons prolongé la période de restructuration à 72 mois.

Ce changement a résolu un problème, mais en a créé un autre : les défauts de paiement les plus récents n'avaient pas encore six ans d'antécédents. Plutôt que de simplement les exclure, nous avons explicitement pris en compte les recouvrements qui n'avaient pas encore été observés avant de reprendre la modélisation.

Dans un segment du commerce de détail, le MAE est passé de 37 % à 20 %, soit une baisse de 48 %. Plus important encore pour la différenciation des risques, la corrélation de Spearman entre la LGD prévue et la LGD réalisée est passée de pratiquement zéro à 0,94.

La leçon à tirer de ce projet est simple : un meilleur algorithme ne peut pas compenser une cible mal conçue.

La complexité n'a de sens que si elle permet d'obtenir des résultats.

La question de l'explicabilité revient dans presque toutes les conversations que nous avons avec les équipes chargées de la gestion des risques. C'est pourquoi nous ne choisissons pas systématiquement l'algorithme le plus complexe.

Nous testons différentes approches et nous posons une question précise : qu'apportent-nous cette complexité supplémentaire ?

Il peut s'agir d'une réduction significative de l'erreur hors échantillon, d'une meilleure différenciation entre les prêts ou de toute autre amélioration mesurable. Si le gain est faible, l'explicabilité, la stabilité et la facilité de maintenance prennent le dessus.

Cela modifie également la manière dont nous élaborons nos modèles.

Nous travaillons aux côtés des équipes de chaque établissement dès les premières décisions structurelles : définitions des notions de défaut et de retour à la normale, segmentation, sélection des variables, durées de restructuration et stratégie de validation. Cela permet d’intégrer une connaissance métier qui pourrait ne pas être reflétée dans les data, tout en permettant à l’équipe en charge de comprendre pourquoi le modèle produit une estimation donnée.

Nous ne souhaitons pas vous livrer une « boîte noire » dont seul l'équipe de consultants serait en mesure de vous expliquer le fonctionnement.

Ce que nous avons constaté et ce qui a changé :

  • LGD avec une capacité limitée à distinguer les différents types de prêts
    Nous avons réexaminé la cible, la période d'entraînement, la segmentation et les modèles. L'erreur moyenne absolue (MAE) est passée de 37 % à 20 %, tandis que la corrélation de Spearman est passée de pratiquement zéro à 0,94.
  • Règle de décision en matière de crédit qui rejette un trop grand nombre de clients solvables
    Nous avons élaboré des estimations de la probabilité de défaut (PD) au niveau des prêts et révisé le seuil de décision. Tout en continuant à identifier 80 % des futurs défaillants, le taux de faux positifs est passé de 73 % à 31 %.
  • La complexité du modèle rend son explication et sa maintenance difficiles
    Nous avions besoin de gains mesurables pour justifier cette complexité supplémentaire et avons développé les modèles en collaboration avec l'équipe interne. Le résultat a été un modèle compréhensible pour les personnes chargées de l'utiliser et de le défendre.

Un meilleur modèle de gestion des risques peut permettre d'accorder davantage de crédits

C'est là la conclusion contre-intuitive issue d'un autre projet.

La règle en vigueur au sein de l'établissement permettait d'identifier 80 % des futurs débiteurs défaillants. Le problème était que, pour ce faire, elle classait également comme « à risque » 73 % des clients qui resteraient à jour dans leurs paiements.

Notre modèle de PD a atteint une AUC de 0,82. En maintenant le taux de rappel à 80 %, le taux de faux positifs pourrait descendre à 31 %, soit une réduction de 42 points de pourcentage.

Avec un seuil différent, tout en conservant le même nombre de rejets, le modèle pourrait porter à 98 % la proportion de futurs défaillants identifiés.

Lorsque nous avons présenté les résultats à la direction de l'établissement, la discussion a dépassé le cadre de l'AUC et de l'étalonnage.

Le client lui-même a identifié d'autres utilisations possibles de l'analyse prédictive : rendre les décisions du comité de crédit plus objectives, aider à justifier les acceptations et les refus, réduire l'influence du pouvoir discrétionnaire individuel et fournir aux clients une explication plus détaillée en cas de refus de crédit.

C'est à ce stade qu'un projet de mise en conformité commence à générer de la valeur ajoutée pour l'entreprise.

Les banques ont déjà réalisé d'importants investissements pour se conformer à la résolution n° 4 966 du CMN. Ces mêmes data, modèles et infrastructures mis en place pour assurer la conformité réglementaire peuvent servir à l'approbation des crédits, à la fixation des limites de crédit, à la tarification, au recouvrement et à la gestion de portefeuille.

Il y a toutefois une condition : le modèle doit permettre de différencier les risques, et non pas se contenter de reproduire la perte moyenne.

Pour un établissement dont les modèles de risque de crédit sont déjà en production, nous vous recommandons de commencer cet examen par une question simple :

Lorsque l'on classe les prêts du plus faible au plus élevé en fonction de leur PD ou LGD prévue, les pertes observées augmentent-elles comme elles le devraient ?

Si le modèle calcule correctement la moyenne mais ne parvient pas à hiérarchiser les risques, l'analyse n'est pas terminée.

Glossaire:

  • Résolution n° 4 966/2021 du CMN: un règlement publié par le Conseil monétaire national du Brésil qui aligne la comptabilisation des instruments financiers au Brésil sur la norme IFRS 9 et impose la constitution de provisions fondées sur les pertes de crédit attendues.
  • Perte de crédit attendue (ECL): estimation du montant qu'un établissement financier s'attend à perdre sur un prêt, calculée à partir de la probabilité de défaut (PD), de la perte en cas de défaut (LGD) et de l'exposition au risque (EAD).
  • PD (probabilité de défaut): la probabilité qu'un emprunteur ou un prêt par défaut sur un horizon temporel défini.
  • LGD (perte en cas de défaut): la part d'une exposition de crédit qu'un établissement financier perd en définitive à la suite d'un défaut de paiement, déduction faite des recouvrements.
  • EAD (exposition en cas de défaut): le montant exposé au risque de crédit au moment du défaut.
  • Par défaut: le seuil à partir duquel un prêt est considéré comme en situation de défaut selon les critères de l'établissement et les dispositions réglementaires applicables.
  • Remède: le retour d'un prêt en défaut de paiement à un statut de prêt performant.
  • Séance d'entraînement: période durant laquelle un établissement financier suit les recouvrements intervenant après un défaut de paiement afin de mesurer les pertes effectives.
  • Étalonnage: la capacité d'un modèle à estimer avec précision le niveau moyen de risque ou de perte du portefeuille.
  • Discrimination: la capacité d'un modèle à distinguer les prêts à haut risque de ceux à faible risque.
  • AUC (aire sous la courbe): un indicateur de discrimination allant de 0,5 (classification aléatoire) à 1 (séparation parfaite) entre les emprunteurs qui honorent leurs engagements et ceux qui sont en défaut de paiement.
  • Corrélation de Spearman: permet de déterminer si le classement des prévisions du modèle correspond au classement des résultats observés ; les valeurs proches de 1 indiquent un meilleur classement des risques.
  • MAE (erreur absolue moyenne): la différence absolue moyenne entre les valeurs prévues et les valeurs observées.
  • Rappel (sensibilité): le pourcentage de futurs défaillants que le modèle identifie correctement.
  • Faux positif: un client classé comme présentant un risque élevé mais qui, en réalité, reste à jour dans ses paiements.