La paradoja financiera: ¿Puede un modelo de pérdidas crediticias esperadas estar bien calibrado y, aun así, resultar poco útil a la hora de respaldar la toma de decisiones?

En proyectos recientes con entidades financieras brasileñas, hemos observado modelos que generaban estimaciones agregadas razonables, pero que tenían dificultades para distinguir entre préstamos de mayor riesgo y aquellos de menor riesgo. En un caso, una regla identificó al 80 % de los futuros morosos, pero también señaló como problemáticos al 73 % de los clientes que seguirían al corriente de pago. En otro caso, la correlación entre la LGD prevista y la real fue prácticamente nula, lo que indica que el modelo apenas era capaz de clasificar los préstamos según su riesgo.

Esto resulta relevante a la hora de analizar los modelos aplicados en virtud de resoluciones como la Resolución n.º 4.966/2021 del CMN de Brasil, que se ajusta a la NIIF 9. Antes de abordar los algoritmos, debemos determinar si el resultado económico subyacente se definió adecuadamente, si los data nos permiten reconstruirlo y, sobre todo, si el modelo es capaz de diferenciar el riesgo a nivel de cada préstamo individual.

Eso es lo que puede convertir un modelo desarrollado para cumplir un requisito normativo en una herramienta eficaz para la toma de decisiones.

Antes de mejorar el modelo, tuvimos que replantearnos el problema.

La LGD mide la proporción de la exposición crediticia que se pierde cuando un préstamo entra en mora. En uno de estos proyectos, esperábamos encontrar oportunidades para mejorar el modelo existente. En cambio, descubrimos que el problema más importante radicaba en la propia forma de calcular la LGD.

El modelo anterior realizaba un seguimiento de las recuperaciones durante poco más de un año y aplicaba reglas de tratamiento que afectaban precisamente a la LGD que se suponía que debía estimar. Por lo tanto, nuestra primera decisión fue dejar de debatir sobre algoritmos y reconstruir la variable objetivo.

Analizamos cuándo se producían realmente las recuperaciones, el beneficio marginal de ampliar el plazo de renegociación, cuáles eran los costes de recuperación y cómo debía tenerse en cuenta el valor temporal del dinero en el cálculo. Ampliamos el plazo de renegociación a 72 meses.

Ese cambio resolvió un problema, pero generó otro: los impagos más recientes aún no contaban con seis años de historial. En lugar de limitarnos a excluirlos, abordamos de forma explícita las recuperaciones que aún no se habían observado antes de volver a la modelización.

En un segmento minorista, el MAE descendió del 37 % al 20 %, lo que supone una reducción del 48 %. Y lo que es más importante para la diferenciación del riesgo, la correlación de Spearman entre la LGD prevista y la LGD observada aumentó de prácticamente cero a 0,94.

La lección que se desprende de este proyecto es clara: un algoritmo mejor no puede solucionar un objetivo mal diseñado.

La complejidad solo merece la pena cuando aporta resultados.

La explicabilidad surge en casi todas las conversaciones que mantenemos con los equipos de gestión de riesgos. Por eso no seleccionamos automáticamente el algoritmo más complejo.

Probamos diferentes enfoques y nos planteamos una pregunta concreta: ¿qué ganamos con esa complejidad adicional?

Podría tratarse de una reducción significativa del error fuera de la muestra, de una mejor diferenciación entre los préstamos o de cualquier otra mejora cuantificable. Si la mejora es escasa, la explicabilidad, la estabilidad y la facilidad de mantenimiento cobran mayor importancia.

Esto también modifica la forma en que elaboramos los modelos.

Trabajamos codo con codo con los equipos de cada institución desde las primeras decisiones estructurales: definiciones de impago y regularización, segmentación, selección de variables, plazos de renegociación y estrategia de validación. Esto aporta conocimientos del negocio que quizá no queden reflejados en los data, al tiempo que permite al equipo responsable comprender por qué el modelo genera una estimación determinada.

No queremos entregar una «caja negra» que solo el equipo de consultoría pueda explicar.

Lo que descubrimos y lo que cambió:

  • LGD con capacidad limitada para diferenciar entre préstamos
    Hemos revisado el objetivo, el periodo de entrenamiento, la segmentación y los modelos. El error medio absoluto (MAE) se redujo del 37 % al 20 %, mientras que la correlación de Spearman aumentó de prácticamente cero a 0,94.
  • Regla de decisión crediticia que rechaza a demasiados clientes solventes
    Hemos elaborado estimaciones de la probabilidad de impago (PD) a nivel de préstamo y hemos revisado el umbral de decisión. Aunque seguimos identificando al 80 % de los futuros morosos, la tasa de falsos positivos se redujo del 73 % al 31 %.
  • La complejidad del modelo dificulta su explicación y mantenimiento
    Exigimos beneficios cuantificables para justificar la mayor complejidad y desarrollamos los modelos junto con el equipo interno. El resultado fue un modelo que las personas encargadas de utilizarlo y defenderlo podían comprender.

Un modelo de riesgo más eficaz puede suponer la concesión de más crédito

Ese fue el hallazgo, contrario a lo que cabría esperar, al que se llegó en otro proyecto.

La norma vigente de la entidad identificaba al 80 % de los futuros morosos. El problema era que, al hacerlo, también señalaba como problemáticos al 73 % de los clientes que seguirían al corriente de pago.

Nuestro modelo de PD alcanzó un AUC de 0,82. Manteniendo la tasa de recuperación en el 80 %, la tasa de falsos positivos podría reducirse hasta el 31 %, lo que supone una reducción de 42 puntos porcentuales.

Con un umbral diferente, manteniendo el mismo volumen de rechazos, el modelo podría aumentar hasta el 98 % la proporción de futuros morosos identificados.

Cuando presentamos los resultados a la dirección de la institución, la conversación fue más allá del AUC y la calibración.

El propio cliente identificó otros usos para el PD: hacer que las decisiones del comité de crédito fueran más objetivas, ayudar a justificar las aprobaciones y denegaciones, reducir la influencia de la discrecionalidad personal y ofrecer a los clientes una explicación más detallada cuando se denegaba un crédito.

Es en este punto donde un proyecto de cumplimiento normativo comienza a generar valor empresarial.

Los bancos ya han realizado importantes inversiones para cumplir con la Resolución 4.966 de la CMN. Los mismos data, modelos e infraestructura desarrollados para el cumplimiento normativo pueden servir de apoyo en la concesión de créditos, los límites de crédito, la fijación de precios, el cobro de deudas y la gestión de carteras.

Pero hay una condición: el modelo debe diferenciar el riesgo, no limitarse a reproducir la pérdida media.

En el caso de una entidad que ya cuente con modelos de riesgo de crédito en funcionamiento, recomendamos comenzar la revisión con una pregunta sencilla:

Cuando clasificamos los préstamos de menor a mayor PD o LGD previstas, ¿aumentan las pérdidas observadas tal y como cabría esperar?

Si el modelo calcula correctamente la media, pero no es capaz de clasificar el riesgo, la revisión no se da por concluida.

Glosario:

  • Resolución n.º 4.966/2021 de la CMN: una normativa promulgada por el Consejo Monetario Nacional de Brasil que armoniza la contabilidad de los instrumentos financieros en Brasil con la NIIF 9 y exige la constitución de provisiones basadas en las pérdidas crediticias esperadas.
  • Pérdida crediticia esperada (ECL): una estimación del importe que una entidad financiera prevé perder en un préstamo, calculada a partir de la probabilidad de impago (PD), la pérdida en caso de impago (LGD) y la exposición al riesgo (EAD).
  • PD (Probabilidad de impago): la probabilidad de que un prestatario o un préstamo por defecto durante un horizonte temporal determinado.
  • LGD (pérdida en caso de impago): la parte de una exposición crediticia que una entidad financiera acaba perdiendo tras un impago, una vez deducidas las recuperaciones.
  • EAD (Exposición en caso de impago): el importe expuesto al riesgo de crédito en el momento del impago.
  • Por defecto: el momento en el que un préstamo se clasifica como moroso con arreglo a los criterios de la entidad y a la normativa aplicable.
  • Cura: el restablecimiento de la situación de un préstamo en mora a la de préstamo al corriente.
  • Entrenamiento: el período durante el cual una entidad financiera realiza un seguimiento de las recuperaciones tras el impago para calcular las pérdidas efectivas.
  • Calibración: la capacidad de un modelo para estimar con precisión el nivel medio de riesgo o de pérdida de la cartera.
  • Discriminación: la capacidad de un modelo para distinguir entre préstamos de mayor riesgo y préstamos de menor riesgo.
  • AUC (área bajo la curva): un indicador de discriminación que oscila entre 0,5 (clasificación aleatoria) y 1 (separación perfecta) entre los prestatarios que cumplen con sus obligaciones y los que incumplen.
  • Correlación de Spearman: mide si la clasificación de las predicciones del modelo coincide con la clasificación de los resultados observados; los valores más cercanos a 1 indican una mejor clasificación del riesgo.
  • MAE (error absoluto medio): la diferencia absoluta media entre los valores previstos y los valores observados.
  • Recuperación (sensibilidad): el porcentaje de futuros morosos que el modelo identifica correctamente.
  • Falso positivo: un cliente clasificado como de alto riesgo que, de hecho, se mantiene al corriente de pago.