Difficultés de quantification des risques

Le programme TPRM d’une société de crédit à la consommation avait élaboré une méthode de notation produisant un score de risque numérique pour chaque fournisseur, combinaison pondérée des réponses aux questionnaires, de la qualité des preuves et des notations de sécurité externes. Les scores servaient à prioriser les efforts de remédiation, à fixer l’intensité de la surveillance et à rendre compte du risque fournisseurs au conseil d’administration. Le conseil, à qui l’on présentait un rapport de risques classant les fournisseurs de 23 à 87 sur une échelle de cent points, a posé au CISO une question à laquelle la méthode n’avait pas été conçue pour répondre : « Quelle est l’exposition financière si notre fournisseur le plus à risque subit une violation ? » Le CISO n’avait pas de réponse. Les scores classaient les fournisseurs les uns par rapport aux autres et par rapport à une grille de notation définie. Ils ne représentaient ni la probabilité d’une violation, ni l’ampleur de l’impact, ni la perte financière attendue. Le conseil utilisait les scores comme s’il s’agissait d’un risque quantifié, en calculant l’exposition totale de l’organisation à partir des scores des fournisseurs et des volumes de données. Les scores étaient des classements ordinaux déguisés en indicateurs quantifiés.

Que sont les difficultés de la quantification des risques, réellement ?

La quantification des risques consiste à exprimer le risque en termes de probabilité et d’ampleur : la probabilité qu’un événement défavorable précis se produise et l’impact financier ou opérationnel s’il se produit. Un risque réellement quantifié éclaire les décisions financières : allocation budgétaire à la réduction des risques, fixation des primes d’assurance, décisions de transfert du risque et reporting au conseil d’administration sur l’exposition financière. La quantification exige des données sur la fréquence des incidents, la distribution des impacts et le lien entre qualité des contrôles et probabilité d’incident, des données souvent indisponibles ou peu fiables pour des relations fournisseurs précises.

Le classement ordinal déguisé en quantification est le problème de notation des risques le plus courant. La plupart des méthodes de notation des risques fournisseurs produisent des classements ordinaux : elles classent les fournisseurs les uns par rapport aux autres sur une échelle définie par les critères et pondérations de la méthode. Ces classements sont réellement utiles pour prioriser : ils identifient les fournisseurs dont les programmes de sécurité sont plus solides ou plus faibles par rapport à la population évaluée. Ils ne constituent pas un risque quantifié au sens actuariel : ils ne représentent ni des probabilités, ni des pertes attendues, ni une exposition financière. Présenter des classements ordinaux sur une échelle numérique crée une apparence de quantification que la méthode ne justifie pas.

Le problème du calibrage est la difficulté technique spécifique qui consiste à convertir des évaluations de la qualité des contrôles en estimations de probabilité et d’impact. Même si une équipe TPRM voulait produire des scores de risque réellement quantifiés (des estimations de probabilité de violation plutôt que des classements de qualité des contrôles), les données nécessaires pour calibrer le modèle sont en grande partie indisponibles. Le lien entre des lacunes de contrôle précises et la probabilité de violation pour des types de fournisseurs précis, dans des secteurs précis, avec des types de données précis, exige des données historiques de violations qui sont soit confidentielles, soit incomplètes, soit non publiées sous une forme permettant le calibrage d’un modèle. Sans données de calibrage, les estimations de probabilité sont spéculatives : ce sont des estimations éclairées fondées sur le jugement d’experts plutôt que des modèles validés statistiquement.

• Classements ordinaux présentés comme un risque quantifié : scores de qualité des contrôles exprimés en chiffres sans fondement en probabilité ou en impact
• Aucune composante de probabilité : les scores ne représentent pas la probabilité d’événements défavorables précis
• Aucune composante d’impact : les scores ne représentent pas l’ampleur financière ou opérationnelle des événements défavorables
• Aucun calibrage sur des données réelles de violations : scores non validés au regard des fréquences historiques d’incidents
• Décisions du conseil d’administration fondées sur des classements ordinaux : calculs d’exposition financière fondés sur des classements qui ne représentent pas des pertes attendues

Pourquoi c’est important

Les difficultés de la quantification des risques sont importantes pour le TPRM parce que les décisions de gouvernance et métier qui reposent sur les évaluations des risques fournisseurs (allocation budgétaire, assurance, transfert du risque, reporting au conseil d’administration et priorisation de la remédiation) exigent de plus en plus une expression financière du risque plutôt que des classements ordinaux. Un conseil d’administration qui doit comprendre l’exposition totale de l’organisation aux risques fournisseurs en termes financiers pour prendre des décisions d’appétence au risque ne peut pas extraire cette information d’un portefeuille de scores de qualité des contrôles, aussi bien conçue que soit la méthode de notation. Le décalage entre ce dont les parties prenantes ont besoin (l’exposition financière au risque) et ce que le TPRM produit généralement (des classements de qualité des contrôles) crée une lacune de reporting que les scores numériques masquent au lieu de la révéler.

Le problème de la qualité des décisions d’allocation des ressources est tout aussi concret. Les décisions de remédiation (combien investir pour exiger d’un fournisseur qu’il améliore un contrôle donné) exigent de connaître le lien entre l’amélioration du contrôle et la variation de la perte attendue. Un fournisseur dont le score de risque passe de 47 à 52 a amélioré son classement. Le score ne permet pas de déterminer si cette amélioration correspond à une quelconque réduction de la perte financière attendue, ni si l’investissement nécessaire pour l’obtenir est justifié par la réduction de la perte attendue.

Là où la plupart des équipes se trompent

La défaillance la plus constante consiste à ne pas distinguer classement ordinal et quantification lorsque l’on communique des scores de risque aux parties prenantes. Présenter des classements ordinaux comme s’il s’agissait de probabilités quantifiées ou de pertes attendues donne aux parties prenantes une confiance dans la précision de l’information que la méthode ne justifie pas, et fonde les décisions sur une fausse précision.

• Présenter des classements ordinaux comme un risque quantifié sans distinguer les deux
• Aucune composante de probabilité ou d’impact dans la méthode de notation des risques
• Aucun calibrage des scores au regard des données historiques de violations
• Décisions financières fondées sur des scores qui ne représentent pas des indicateurs financiers
• Aucune distinction communiquée aux parties prenantes entre classements et quantification

À quoi ressemblent les bonnes pratiques

Les programmes de quantification des risques matures sont transparents sur les limites de la notation ordinale et complètent les classements de qualité des contrôles par une analyse de l’exposition financière fondée sur des scénarios, en utilisant des modèles de dépassement de pertes, la méthode FAIR ou une estimation de l’impact fondée sur le jugement d’experts pour apporter le contexte financier que les classements ordinaux ne peuvent pas fournir.

• Communication transparente sur ce que représentent les scores : classements ordinaux ou probabilité et impact quantifiés
• Analyse de l’exposition financière fondée sur des scénarios : scénarios de violation précis avec estimation de l’impact financier
• Méthode FAIR : Factor Analysis of Information Risk pour la quantification probabiliste des risques
• Compléter les classements par une estimation de l’impact : volume de données, exposition réglementaire et dépendances opérationnelles traduits en fourchette d’exposition financière
• Transparence sur le calibrage : communiquer le fondement et les limites de toute estimation quantitative

Outils

Quantification des risques FAIR : RiskLens, ressources du FAIR Institute

La méthode FAIR (Factor Analysis of Information Risk) fournit un cadre pour produire des estimations calibrées de probabilité et d’impact pour des scénarios de risque précis, en exprimant le risque sous forme de courbes de dépassement de pertes qui décrivent l’éventail des résultats financiers possibles. Pour les praticiens TPRM, utiliser FAIR pour les scénarios fournisseurs les plus à risque fournit des estimations de risque financièrement significatives en complément des classements ordinaux de qualité des contrôles.

Plateformes de quantification des risques : Axio, Kovrr

Les plateformes de quantification du cyberrisque combinent des données sur la qualité des contrôles et des données actuarielles issues de bases de données d’incidents de violation pour produire des estimations calibrées de probabilité et d’impact. Pour les praticiens TPRM, demander si le programme de gestion des risques du fournisseur utilise des plateformes de quantification en complément de la notation ordinale constitue une question précise sur sa capacité de quantification.

Enjeux de gouvernance

Le défi de gouvernance de la quantification des risques tient à la limite des données. Les modèles quantitatifs de risque calibrés exigent des données historiques de violations pour valider les estimations de probabilité, des données propriétaires, déclarées de manière hétérogène et non disponibles au niveau de précision requis pour le calibrage. La solution de gouvernance est la transparence : communiquer clairement ce que représentent les scores ordinaux, les compléter par une analyse financière fondée sur des scénarios lorsque c’est possible, et ne pas présenter des classements comme des probabilités.

• Être transparent sur ce que représentent les scores : des classements ordinaux, non des probabilités
• Compléter par une analyse de scénarios pour le reporting au conseil d’administration : scénarios de violation précis avec fourchettes d’impact financier
• Utiliser FAIR pour les scénarios les plus à risque lorsque des décisions exigent une quantification financière
• Adapter la communication aux besoins des parties prenantes : le CISO a besoin de classements pour prioriser, le conseil d’administration a besoin de l’exposition financière
• Indiquer les limites de la méthode : ce que le score peut et ne peut pas étayer

Si vous êtes une petite équipe

Ajoutez une diapositive à votre prochain rapport de risques au conseil d’administration pour traduire les scores de vos trois fournisseurs les plus à risque en fourchettes d’exposition financière, en utilisant le volume de données, l’exposition aux sanctions réglementaires et la dépendance opérationnelle pour estimer la fourchette d’impact financier si une violation survient chez chacun de ces fournisseurs. La fourchette d’exposition financière n’exige pas de modèle de probabilité calibré : elle exige de savoir quelle quantité de données détient le fournisseur, quelles sont les sanctions réglementaires en cas d’exposition de ces données et quelle perturbation opérationnelle causerait une défaillance du fournisseur. Cette traduction, du score ordinal à une fourchette d’impact financier, donne au conseil le contexte dont il a besoin pour ses décisions de risque financier.

• Traduire les scores des fournisseurs les plus à risque en fourchettes d’exposition financière pour le reporting au conseil d’administration
• Utiliser le volume de données, l’exposition aux sanctions réglementaires et la dépendance opérationnelle pour estimer l’impact
• Être transparent sur ce que représentent les scores par rapport à ce que représentent les fourchettes d’exposition financière
• Utiliser la méthode FAIR pour le ou les deux scénarios les plus à risque qui exigent une précision financière

Ce qu’il faut exiger

Demandez directement :

« Pour notre évaluation des risques, pouvez-vous nous fournir des données permettant d’estimer l’exposition financière, en particulier le volume et la sensibilité de nos données que vous traitez, votre expérience des coûts de notification des violations et les plafonds de couverture de votre cyberassurance ? »

Preuves attendues

• Volume et classification des données clients traitées
• Estimations des coûts de notification et de réponse en cas de violation
• Plafonds de couverture de la cyberassurance et exclusions pertinentes
• Estimations de l’impact sur la continuité d’activité en cas d’interruption de service

Un score de risque fournisseur de 47 classe le fournisseur sur l’échelle de la méthode d’évaluation. La question de l’exposition financière exige des données sur la quantité de données à risque, les sanctions réglementaires en cas d’exposition de ces données et l’impact opérationnel d’une défaillance du fournisseur. Demandez les données qui permettent le calcul financier que le score ne peut pas fournir.

Comment le prouver

• Documentation de transparence de la méthode : ce que représentent les scores et leurs limites
• Analyse de l’exposition financière pour les fournisseurs les plus à risque
• FAIR ou quantification équivalente pour les scénarios des fournisseurs critiques
• Reporting au conseil d’administration qui distingue classements ordinaux et exposition financière

À retenir

Un score de 47 classe le fournisseur sur une échelle calibrée selon une méthode. Il ne représente pas la probabilité d’une violation. Il ne représente pas l’impact financier si la violation se produit. Il ne répond pas à la question du conseil d’administration sur l’exposition financière totale aux fournisseurs. La quantification des risques est réellement difficile : les modèles calibrés de probabilité et d’impact exigent des données souvent indisponibles. Faire passer des classements ordinaux pour un risque quantifié est facile et crée une fausse précision. L’engagement de gouvernance est la transparence : communiquer clairement ce que représentent les scores, compléter les classements par une analyse de scénarios financiers lorsque c’est possible, et ne pas présenter l’apparence de la quantification comme un substitut à sa substance.