O paradoxo financeiro: será que um modelo de perda de crédito esperada pode estar bem calibrado e, mesmo assim, ser ineficaz no apoio à tomada de decisões?

Em projetos recentes com instituições financeiras brasileiras, constatamos que os modelos produziam estimativas agregadas razoáveis, mas apresentavam dificuldades para distinguir empréstimos de maior risco daqueles de menor risco. Em um caso, uma regra identificou 80% dos futuros inadimplentes, mas também sinalizou como problemáticos 73% dos clientes que permaneceriam em dia com os pagamentos. Em outro caso, a correlação entre a LGD prevista e a efetiva foi praticamente nula, indicando que o modelo mal conseguia classificar os empréstimos por nível de risco.

Isso é relevante ao analisar modelos implementados de acordo com resoluções como a Resolução nº 4.966/2021 do CMN, que está alinhada com a IFRS 9. Antes de discutirmos os algoritmos, precisamos determinar se o resultado econômico subjacente foi devidamente definido, se os data nos permitem reconstruí-lo e, acima de tudo, se o modelo é capaz de diferenciar o risco no nível de cada empréstimo individual.

É isso que pode transformar um modelo desenvolvido para atender a uma exigência regulatória em uma ferramenta eficaz de tomada de decisão.

Antes de aprimorar o modelo, tivemos que reformular o problema.

A LGD mede a parcela da exposição de crédito perdida quando um empréstimo entra em inadimplência. Em um desses projetos, esperávamos encontrar oportunidades para aprimorar o modelo existente. Em vez disso, descobrimos que o problema mais significativo residia na própria forma como a LGD era calculada.

O modelo anterior acompanhava as recuperações por pouco mais de um ano e aplicava regras de tratamento que afetavam justamente a LGD que deveria estimar. Nossa primeira decisão, portanto, foi deixar de debater algoritmos e reconstruir a variável-alvo.

Analisamos quando as recuperações realmente ocorreram, o benefício marginal de prolongar o período de renegociação, quais foram os custos de recuperação e como o valor temporal do dinheiro deveria ser considerado no cálculo. Prolongamos o período de renegociação para 72 meses.

Essa mudança resolveu um problema, mas criou outro: os casos de inadimplência mais recentes ainda não tinham seis anos de histórico. Em vez de simplesmente excluí-los, abordamos explicitamente as recuperações que ainda não haviam sido observadas antes de retomarmos a modelagem.

Em um segmento do varejo, o MAE caiu de 37% para 20%, o que representa uma redução de 48%. Mais importante ainda para a diferenciação de riscos, a correlação de Spearman entre a LGD prevista e a LGD efetiva aumentou de praticamente zero para 0,94.

A lição a ser tirada deste projeto é clara: um algoritmo melhor não consegue corrigir um alvo mal elaborado.

A complexidade só vale a pena quando traz resultados.

A explicabilidade surge em praticamente todas as conversas que temos com as equipes de risco. É por isso que não selecionamos automaticamente o algoritmo mais complexo.

Testamos diferentes abordagens e fazemos uma pergunta específica: o que ganhamos com essa complexidade adicional?

Pode ser uma redução significativa no erro fora da amostra, uma melhor diferenciação entre os empréstimos ou outra melhoria mensurável. Se o ganho for pequeno, a explicabilidade, a estabilidade e a facilidade de manutenção têm maior peso.

Isso também altera a forma como construímos modelos.

Trabalhamos em conjunto com as equipes de cada instituição desde as primeiras decisões estruturais: definições de inadimplência e regularização, segmentação, seleção de variáveis, prazos de renegociação e estratégia de validação. Isso traz um conhecimento de negócios que pode não estar refletido nos data, ao mesmo tempo em que permite que a equipe responsável compreenda por que o modelo produz uma determinada estimativa.

Não queremos entregar uma “caixa preta” cujo funcionamento apenas a equipe de consultoria seja capaz de explicar.

O que constatamos e o que mudou:

  • LGD com capacidade limitada de diferenciar entre empréstimos
    Revisamos a meta, o período de treinamento, a segmentação e os modelos. O MAE caiu de 37% para 20%, enquanto a correlação de Spearman subiu de praticamente zero para 0,94.
  • Regra de decisão de crédito que rejeita um número excessivo de clientes com boa capacidade de crédito
    Desenvolvemos estimativas de PD no nível do empréstimo e revisamos o limite de decisão. Embora continuássemos a identificar 80% dos futuros inadimplentes, a taxa de falsos positivos caiu de 73% para 31%.
  • A complexidade do modelo dificulta a explicação e a manutenção
    Exigimos ganhos mensuráveis para justificar a complexidade adicional e desenvolvemos os modelos em conjunto com a equipe interna. O resultado foi um modelo que as pessoas responsáveis por utilizá-lo e defendê-lo pudessem compreender.

Um modelo de risco mais eficaz pode significar a concessão de mais crédito

Essa foi a descoberta contrária ao que se esperaria, resultante de outro projeto.

A regra vigente da instituição identificava 80% dos futuros inadimplentes. O problema era que, para isso, ela também classificava como problemáticos 73% dos clientes que permaneceriam em dia com seus pagamentos.

Nosso modelo de PD alcançou uma AUC de 0,82. Mantendo o recall em 80%, a taxa de falsos positivos poderia cair para 31%, o que representa uma redução de 42 pontos percentuais.

Com um limite de classificação diferente, mantendo o mesmo volume de rejeições, o modelo poderia elevar a proporção de futuros inadimplentes identificados para 98%.

Quando apresentamos os resultados à direção da instituição, a conversa foi além do AUC e da calibração.

O próprio cliente identificou outros usos para a PD: tornar as decisões do comitê de crédito mais objetivas, ajudar a justificar aprovações e recusas, reduzir a influência do critério pessoal e fornecer aos clientes uma explicação mais informativa quando o crédito fosse negado.

É nesse ponto que um projeto de conformidade começa a gerar valor para a empresa.

Os bancos já realizaram investimentos substanciais para atender à Resolução nº 4.966 da CMN. Os mesmos data, modelos e infraestrutura desenvolvidos para fins de conformidade regulatória podem servir de base para aprovações de crédito, limites de crédito, definição de preços, cobranças e gestão de carteiras.

Mas há uma condição: o modelo deve diferenciar os riscos, e não se limitar a reproduzir a perda média.

Para uma instituição que já possui seus modelos de risco de crédito em operação, recomendamos iniciar a análise com uma pergunta simples:

Quando classificamos os empréstimos do menor para o maior valor previsto de PD ou LGD, as perdas observadas aumentam como deveriam?

Se o modelo acertar a média, mas não conseguir classificar os riscos, a análise não estará concluída.

Glossário:

  • Resolução CMN nº 4.966/2021: um regulamento emitido pelo Conselho Monetário Nacional do Brasil que alinha a contabilização de instrumentos financeiros no Brasil com a IFRS 9 e exige provisões com base na perda de crédito esperada.
  • Perda de crédito esperada (ECL): uma estimativa do valor que uma instituição financeira espera perder com um empréstimo, calculada com base na PD, na LGD e na EAD.
  • PD (Probabilidade de Inadimplência): a probabilidade de que um tomador de empréstimo ou um empréstimo venha a padrão ao longo de um horizonte temporal definido.
  • LGD (Perda em caso de inadimplência): a parcela de uma exposição de crédito que uma instituição financeira acaba perdendo após uma inadimplência, líquida de recuperações.
  • EAD (Exposição em caso de inadimplência): o valor exposto ao risco de crédito no momento da inadimplência.
  • Padrão: o momento em que um empréstimo é classificado como inadimplente, de acordo com os critérios da instituição e os critérios regulatórios aplicáveis.
  • Cura: o retorno de um empréstimo inadimplente ao status de em dia.
  • Treino: o período durante o qual uma instituição financeira acompanha as recuperações após a inadimplência para calcular as perdas efetivas.
  • Calibração: a capacidade de um modelo de estimar com precisão o nível médio de risco ou perda da carteira.
  • Discriminação: a capacidade de um modelo de distinguir empréstimos de maior risco daqueles de menor risco.
  • AUC (Área sob a curva): uma métrica de discriminação que varia de 0,5 (classificação aleatória) a 1 (separação perfeita) entre mutuários em dia e inadimplentes.
  • Correlação de Spearman: avalia se a classificação das previsões do modelo está alinhada com a classificação dos resultados observados; valores mais próximos de 1 indicam uma melhor classificação de risco.
  • MAE (Erro Absoluto Médio): a diferença absoluta média entre os valores previstos e os valores observados.
  • Recuperação (Sensibilidade): a porcentagem de futuros inadimplentes que o modelo identifica corretamente.
  • Falso positivo: um cliente classificado como de alto risco que, na verdade, continua em dia com seus pagamentos.