Démystifier le backtesting et le recalibrage des modèles de risque de crédit …

introduction

Le contre-test et le recalibrage du modèle sont des étapes importantes et naturelles du cycle de vie de tout modèle statistique et doivent être effectués sur une base annuelle. Chez S&P Global Market Intelligence, nous fournissons aux gestionnaires de risques des sociétés non financières et financières une série de modèles statistiques pour aider à évaluer le risque de crédit des contreparties. Les modèles font partie de l'offre Credit Analytics. Nous produisons des rapports de backtesting annuels pour chacun de nos modèles, qui fournissent des évaluations complètes des performances du modèle en utilisant les données de l'année civile la plus récente. Chaque fois qu'une détérioration significative des performances du modèle est observée dans le processus annuel de contre-vérification du modèle, un recalibrage du modèle devient nécessaire. Les sections suivantes expliquent les définitions du backtest et du recalibrage dans le contexte des modèles S&P Global Market Intelligence.

Backtesting du modèle

Nos modèles quantitatifs de risque de crédit sont développés sur la base d'une base de données complète (y compris les données financières des entreprises et d'autres informations axées sur le marché, ainsi que des facteurs macroéconomiques et socio-économiques) et de techniques d'optimisation avancées, et ont généralement de solides performances de modèle dans l'échantillon pendant le développement. Cependant, les performances du modèle hors échantillon sur de nouveaux ensembles de données peuvent également être importantes pour les gestionnaires des risques. Le backtesting annuel du modèle sert à tester les performances du modèle hors échantillon, en utilisant souvent les données de l'année civile la plus récente. De manière générale, un bon modèle statistique prédictif devrait démontrer de bonnes performances dans l'échantillon, ainsi que des performances de backtesting (hors échantillon) excellentes et stables. Sinon, cela peut indiquer des problèmes pendant le développement (tels que le sur-ajustement, la multi-colinéarité, etc.) et la nécessité de recalibrer, que nous aborderons plus en détail plus tard.

Méthodologie de backtesting

Premièrement, les observations disponibles et non biaisées de l'année civile la plus récente provenant de la base de données pré-notée sont collectées en tant qu'échantillon de contre-test. Ensuite, les hypothèses du modèle sont vérifiées pour voir si elles sont toujours applicables. Ensuite, des statistiques importantes et pertinentes sont générées qui sont utilisées pour mesurer les performances du modèle pendant le développement. Si tous les résultats de performance sont satisfaisants, nous concluons que nos modèles peuvent continuer à servir leurs objectifs.

Étant donné que différents modèles utilisent des techniques et des méthodologies de modélisation distinctes en raison d'objectifs différents, les mesures de performances correspondantes peuvent varier d'un modèle à l'autre.

Probabilité de modèles par défaut (PD)

Pour les modèles PD, y compris les principes fondamentaux du modèle PD (PDFN) et les signaux du marché du modèle PD (PDMS), la sortie principale est une valeur PD prospective d'un an. Les résultats des tests primaires suivants sont présentés dans la partie principale du rapport annuel de backtesting:

  • 1. Précision du modèle: la caractéristique de fonctionnement du récepteur (ROC) est utilisée pour évaluer la capacité du modèle à distinguer correctement les défaillants des non-défaillants, et un ROC de 80% indique de bonnes performances du modèle.
  • 2. Valeurs moyennes de PD par rapport aux taux de défaut observés (ODR): la PD moyenne des défaillants devrait être beaucoup plus élevée que celle des non-défaillants, et une séparation claire des distributions des scores mappés de PD est un bon signe du fort pouvoir discriminatoire du modèle . La valeur PD moyenne est également comparée à l'ODR, après avoir été mise en correspondance avec un pointage de crédit.[1] Une différence de deux crans ou moins suggère un faible risque de modèle.
  • 3. Mobilité: elle est utilisée pour refléter la stabilité des résultats du modèle et elle se rapporte à la «philosophie» choisie derrière chaque modèle. Habituellement, un modèle avec une métrique de mobilité supérieure à 80% est considéré comme un modèle «ponctuel». Comme démontré dans le dernier rapport de backtesting, PDMS est un modèle axé sur le marché et a une métrique de mobilité beaucoup plus élevée que PDFN (environ 88% contre 53%) qui génère des valeurs de PD «tout au long du cycle».
  • Analyse secondaire

    La description

    Distribution des variables d'entrée

    Vérifiez s'il y a des valeurs aberrantes dans l'échantillon de backtesting.

    Corrélation entre les variables d'entrée

    Testez si la matrice de corrélation de rang change de manière significative par rapport à celle du développement de modèle.

    Centiles des valeurs PD

    Présentez plusieurs valeurs de percentile PD de l'échantillon de backtesting.

    Analyse de tendance

    Affichez les tendances des valeurs de PD des défaillants et des non-défaillants dans les deux ans précédant le défaut.

    Log-vraisemblance, probabilité moyenne géométrique (GMP) et reprise sur modèle naïf[2]

    La log-vraisemblance et le GMP mesurent la qualité de l'ajustement du modèle à l'échantillon de backtesting, tandis que la troisième mesure quantifie dans quelle mesure le modèle statistique surpasse le modèle naïf.

    Erreurs de type I et de type II

    Deux types d’erreurs sont présentés sous différentes valeurs de coupure pour illustrer le pouvoir discriminatoire du modèle.

    Examen des biais

    Les tests de Monte Carlo sont utilisés pour comparer le niveau des PD estimés et la fréquence par défaut observée sous différentes hypothèses de corrélation entre les variables d'entrée.

    Modèles de notation

    CreditModel ™ de Credit Analytics est un modèle de notation qui vise à générer des scores de crédit qui correspondent statistiquement aux notations de crédit de S&P Global Ratings. Dans ce cas, la mesure de performance la plus importante est l'accord entre les résultats du modèle et leur profil de crédit autonome S&P Global Ratings Standalone (SACP). Nous fournissons des résultats de backtest primaire principalement sous trois angles:

  • 1. Alignement statistique: pour chaque sous-modèle, des statistiques de rapport de correspondance sont générées pour refléter dans quelle mesure la sortie du modèle s'aligne avec les SACP. Par exemple, le ratio de correspondance exact montre le pourcentage d'entreprises dont les scores sont les mêmes que leur SACP, tandis que le ratio de correspondance dans un cran mesure le pourcentage d'entreprises dont les scores sont à moins d'un cran de leur SACP. Les valeurs seuils de risque de modèle faible sont fixées à 20% pour la correspondance exacte, 55% pour un cran et 80% pour deux crans, respectivement.
  • 2. Neutralité: La neutralité indique la distance moyenne entre les scores de l'entreprise et les SACP correspondants. Le risque lié au modèle est faible si la neutralité se situe entre -0,8 et 0,8.
  • 3. Mobilité: CreditModel a généralement une valeur de mobilité d'environ 40% à 50%, compte tenu de la stabilité inhérente des évaluations de notation que le modèle tente d'imiter.
  • En général, des statistiques de rapport de correspondance plus élevées et une neutralité plus faible sont des indicateurs de bonnes performances du modèle. Le tableau ci-dessous affiche des informations supplémentaires figurant dans l'annexe des rapports annuels de backtesting.

    Analyse secondaire

    La description

    Performance par industrie

    Répétez les tests d'alignement statistique et de neutralité pour chaque industrie.

    Performance par classe d'actifs

    Séparez l'échantillon de backtesting en deux classes d'actifs et générez des statistiques de rapport de correspondance et de neutralité.

    Impact de la superposition Parental & Government (P&G)

    Testez l'impact de la superposition P&G sur les performances du modèle.

    Réétalonnage du modèle

    De manière générale, un modèle statistique prédictif pourrait très bien fonctionner pendant quelques années après sa publication. Au fil du temps, cependant, son pouvoir prédictif peut s'affaiblir, soit en raison d'un changement structurel des facteurs de risque sous-jacents qui déterminent la solvabilité d'une entreprise, soit en raison de conditions de marché différentes: environnement macroéconomique (par exemple, récessions mondiales), structure de l'industrie, modèles commerciaux, normes comptables, etc. Au fil du temps, certains intrants peuvent devenir plus importants que d'autres et, par conséquent, nécessiter des pondérations plus élevées ou doivent être remplacés / exclus. Dans ce cas, le recalibrage du modèle devient nécessaire et est généralement déclenché par une détérioration significative des résultats annuels du contre-test du modèle par rapport au développement du modèle d'origine. Chez S&P Global Market Intelligence, le recalibrage du modèle ne consiste pas seulement à actualiser les coefficients des variables, mais il sert également à examiner le modèle plus en détail (y compris la méthodologie, les données, la structure, etc.).

    Outre la détérioration des performances du modèle, le recalibrage du modèle pourrait également être déclenché par la nécessité de refléter les observations des dernières années. Par exemple, le PDFN – Public Corporates recalibré comprend près de 10 000 nouvelles observations en prolongeant la période de formation de l'exercice 2002-2002 à l'exercice 2002 à l'exercice 2019-2020. Par conséquent, quelle que soit la détérioration des performances du modèle, nous recalibrons les modèles tous les quatre à six ans environ. De plus, chaque fois que nous lançons un recalibrage du modèle, nous essayons également d'intégrer les commentaires des clients. Par exemple, la volatilité élevée des PD était un problème avec PDMS 1.1, qui a été résolu dans le PDMS 2.0 recalibré.

    Méthodologie de recalibrage

    Le recalibrage du modèle comprend souvent les étapes suivantes:

  • 1. Révision des entrées du modèle: nous testons les variables indépendantes existantes pour vérifier si elles jouent toujours un rôle important dans la détermination de la sortie du modèle et ajoutons / supprimons des variables si nécessaire. Nous pouvons également remplacer certaines variables pour nous aligner sur les entrées de S&P Global Market Intelligence's Credit Assessment Scorecards (Scorecards) et les critères généraux de S&P Global Ratings.
  • 2. Modification des structures du modèle: Parfois, il est nécessaire de changer les caractéristiques du modèle pour améliorer les performances et / ou simplifier la structure du modèle. Par exemple, dans PDFN 1.1, les variables de risque financier et les variables de risque d'entreprise ont été ajustées séparément pour obtenir une PD de risque financier et une PD de risque d'entreprise, puis ces deux PD ont été combinés pour obtenir la PD globale finale. En revanche, PDFN 2.0 recalibré adopte un cadre plus simple et plus facile à comprendre qui s'adapte à toutes les variables indépendantes simultanément pour obtenir le PD final.
  • 3. Recyclage du modèle: Après avoir finalisé toutes les variables indépendantes et la structure du modèle, nous formons le modèle et obtenons un nouvel ensemble de paramètres, reflétant la relation mise à jour entre les variables d'entrée et la sortie du modèle.
  • 4. Ajustement: La dernière étape consiste à aligner la sortie du modèle sur certains indices de référence, tels que les notations de crédit S&P Global Ratings et le tableau de bord des risques de l'Autorité bancaire européenne, afin de refléter l'univers de la population.[3]
  • Le tableau ci-dessous décrit les principaux changements pour les modèles recalibrés d'analyse de crédit qui seront publiés en 2020. La caractéristique commune est que les modèles recalibrés incluent des observations récentes dans le processus de formation, tandis que leurs performances restent à un niveau similaire élevé ou s'améliorent.

    Modèles entrants

    Points forts

    CreditModel 3.0

  • Les problèmes de corrélation élevée sont résolus.
  • Les performances pour des secteurs spécifiques et la Chine sont optimisées.
  • Le score de risque pays est aligné sur celui utilisé dans les tableaux de bord.
  • PDFN 2.0

  • Les variables non significatives et fortement corrélées sont supprimées.
  • Quelques variables d'entrée sont remplacées.
  • La structure du modèle est simplifiée, sans compromettre les performances du modèle.
  • Le score de risque pays et le score de risque de l'industrie d'entreprise sont alignés sur ceux utilisés dans les tableaux de bord.
  • PDMS 2.0

  • La distribution de PD est plus alignée sur les notations de crédit de S&P Global Ratings.
  • La volatilité PD est réduite.
  • L'ajustement de la taille PD est plus granulaire.
  • Un ajustement du spread dérivé du marché des swaps sur défaillance de crédit est introduit.
  • Le score de risque pays est aligné sur celui utilisé dans les tableaux de bord.
  • Pour plus d'informations sur chaque modèle et les améliorations spécifiques par rapport à la version précédente, veuillez consulter la section «Aide» de Credit Analytics sur la plateforme S&P Capital IQ.

    [1] La nomenclature en minuscules est utilisée pour différencier les scores du modèle de crédit S&P Global Market Intelligence des notations de crédit émises par S&P Global Ratings.

    [2] Le modèle naïf devine le résultat au hasard (sans pouvoir discriminatoire), tout en donnant le taux de défaut moyen correct.

    Démystifier le backtesting et le recalibrage des modèles de risque de crédit …
    4.9 (98%) 32 votes