Le programme interne de gouvernance de l’IA d’une société de crédit à la consommation avait considérablement mûri en trois ans : un comité d’éthique de l’IA à composition transversale, un cadre de gestion du risque de modèle adapté des orientations SR 11-7, un inventaire de l’IA avec des classifications de risque et un processus d’évaluation de l’IA des fournisseurs qui exigeait une revue avant tout déploiement d’un produit d’IA de fournisseur dans des processus en contact avec la clientèle. Le programme était réellement mature au regard des normes selon lesquelles il avait été construit. Le cadre de gouvernance avait été conçu en 2022 en fonction de l’environnement réglementaire de l’époque, avant la finalisation du règlement européen sur l’IA, avant que l’approche du Royaume-Uni en matière de réglementation de l’IA ne soit clarifiée et avant que les agences fédérales des États-Unis n’aient publié des orientations spécifiques sur l’IA pour le secteur des services financiers. Lorsque l’équipe conformité de la société a mené une évaluation de préparation au règlement européen sur l’IA en 2024, elle a constaté que trois systèmes d’IA de fournisseurs en production active répondaient à la définition des systèmes d’IA à haut risque du règlement européen sur l’IA, en particulier des systèmes prenant ou influençant de manière significative des décisions de crédit concernant des particuliers. Les systèmes d’IA à haut risque relevant du règlement européen sur l’IA sont soumis à des exigences spécifiques : analyses d’impact sur les droits fondamentaux, mécanismes de contrôle humain, obligations de transparence envers les personnes concernées, enregistrement dans la base de données de l’UE prévue par le règlement et évaluations de la conformité. Aucune de ces exigences ne faisait partie du cadre de gouvernance de l’IA lorsque ces systèmes avaient été approuvés. Le cadre de gouvernance était mature au regard de ses bases de conception. L’environnement réglementaire l’avait largement dépassé.
Que sont réellement les lacunes de gouvernance de l’IA ?
Les lacunes de gouvernance de l’IA sont les insuffisances du cadre de gouvernance de l’IA d’une organisation (politiques, processus, comités de revue et cadres de conformité) qui conduisent au déploiement ou au maintien en fonctionnement de systèmes d’IA sans contrôle, transparence ou conformité suffisants au regard des exigences réglementaires applicables. Elles peuvent provenir de cadres de gouvernance dépassés par rapport à l’évolution de l’environnement réglementaire, de cas d’usage de l’IA non anticipés lors de la conception du cadre, ou de processus de gouvernance qui évaluent les mauvaises dimensions de risque pour les systèmes d’IA qu’ils examinent.
L’écart d’évolution réglementaire est le principal moteur des défaillances de gouvernance de l’IA dans les entreprises. Le paysage réglementaire de l’IA a évolué rapidement depuis 2022 : le règlement européen sur l’IA, le NIST AI Risk Management Framework, les orientations sur l’IA de l’OCC et de la FRB pour le secteur des services financiers, et l’approche sectorielle du Royaume-Uni en matière de réglementation de l’IA. Des cadres de gouvernance de l’IA matures au regard de l’environnement réglementaire de 2022 peuvent être largement non conformes aux exigences actuelles. La maturité d’un cadre de gouvernance est relative à l’environnement réglementaire pour lequel il a été conçu, et non à celui qui s’applique actuellement.
Le problème de l’exactitude de la classification des risques est la deuxième dimension des lacunes de gouvernance. La classification des risques de l’IA (risque élevé, risque moyen, risque limité, risque minimal) détermine quelles exigences de gouvernance s’appliquent à chaque système d’IA. Une mauvaise classification des systèmes d’IA, qu’il s’agisse de classer un système à haut risque comme présentant un risque moyen ou de ne pas reclasser un système lorsque son cas d’usage s’élargit, signifie que les exigences de gouvernance qui devraient s’appliquer au système ne sont pas appliquées. Les définitions des systèmes d’IA à haut risque du règlement européen sur l’IA dépendent du cas d’usage et du secteur : un système qui n’est pas à haut risque dans un cas d’usage peut le devenir si son application est élargie.
Le problème de la couverture de la gouvernance de l’IA des fournisseurs en est la dimension TPRM. Les cadres de gouvernance de l’IA des entreprises qui examinent les systèmes d’IA internes n’appliquent pas toujours systématiquement une gouvernance équivalente aux systèmes d’IA des fournisseurs. Le cadre de gouvernance de l’entreprise peut prévoir une revue par le comité d’éthique de l’IA pour les développements internes, mais un processus d’évaluation simplifié pour les produits d’IA achetés. Le produit d’IA du fournisseur peut présenter un risque plus élevé, parce qu’il fonctionne à grande échelle, parce qu’il est utilisé pour des décisions plus lourdes de conséquences ou parce que la provenance de ses données d’entraînement est moins transparente, que les systèmes d’IA internes soumis à une revue de gouvernance plus approfondie.
Le problème de la mise en œuvre du contrôle humain est une lacune spécifique du règlement européen sur l’IA pour les systèmes à haut risque. Le règlement exige que les systèmes d’IA à haut risque soient conçus pour permettre un contrôle humain approprié, en particulier que des humains soient en mesure de comprendre les capacités et les limites du système, de surveiller son fonctionnement, et de passer outre ses résultats ou d’intervenir sur eux. Les systèmes d’IA à haut risque déployés dans des processus où le contrôle humain est nominal plutôt qu’effectif, c’est-à-dire où des humains examinent les résultats de l’IA à une vitesse et à une échelle qui rendent tout contrôle réel impossible, peuvent ne pas satisfaire aux exigences de contrôle humain du règlement, même si un humain examine techniquement chaque décision.
Pourquoi c’est important
Les lacunes de gouvernance de l’IA sont importantes pour le TPRM, car les obligations de conformité réglementaire de l’entreprise s’appliquent aux systèmes d’IA des fournisseurs qui exercent des fonctions réglementées dans ses processus, que ces systèmes aient été achetés ou développés en interne. Un système d’IA de décision de crédit qui répond à la définition du haut risque du règlement européen sur l’IA déclenche des obligations de conformité pour l’entreprise qui le déploie, qu’elle ait construit le système ou qu’elle l’ait acheté à un fournisseur.
Là où la plupart des équipes se trompent
La défaillance la plus constante consiste à appliquer aux déploiements d’IA actuels des fournisseurs un cadre de gouvernance de l’IA conçu pour un environnement réglementaire antérieur, et à traiter l’évaluation de l’IA des fournisseurs séparément des exigences internes de gouvernance de l’IA de l’entreprise. Les obligations réglementaires s’appliquent au déploiement, quel que soit celui qui a développé le système.
- Cadre de gouvernance non mis à jour en fonction de l’environnement réglementaire actuel
- Évaluation de l’IA des fournisseurs non alignée sur les exigences de gouvernance de l’entreprise
- Classification des risques non revue lorsque le cas d’usage ou l’environnement réglementaire change
- Classification à haut risque au titre du règlement européen sur l’IA non évaluée pour les systèmes concernés des fournisseurs
- Mise en œuvre du contrôle humain non validée : nominal ou effectif
À quoi ressemblent les bonnes pratiques
Les programmes matures de gouvernance de l’IA mènent chaque année une revue de l’environnement réglementaire, en mettant à jour le cadre de gouvernance en fonction des nouvelles exigences réglementaires, et appliquent aux systèmes d’IA des fournisseurs les mêmes normes de gouvernance qu’aux systèmes internes, avec une évaluation spécifique de la classification à haut risque au titre du règlement européen sur l’IA pour tous les systèmes d’IA utilisés dans des cas d’usage réglementés.
- Revue annuelle de l’environnement réglementaire : cadre de gouvernance mis à jour en fonction des nouvelles exigences
- Évaluation de la classification à haut risque au titre du règlement européen sur l’IA pour toute IA utilisée dans des cas d’usage réglementés
- IA des fournisseurs soumise à une gouvernance équivalente à celle de l’IA interne
- Validation du contrôle humain : contrôle effectif confirmé, et non nominal
- Inventaire de l’IA tenu à jour avec la classification réglementaire actuelle
Outils
Gouvernance de l’IA : IBM OpenScale/Watson OpenScale, Microsoft Responsible AI Dashboard
Les plateformes de gouvernance de l’IA fournissent des outils de surveillance des modèles, d’évaluation de l’équité et d’explicabilité qui soutiennent les exigences techniques de conformité applicables aux systèmes d’IA à haut risque. Pour les professionnels du TPRM, demander si les systèmes d’IA à haut risque du fournisseur s’appuient sur une plateforme de gouvernance de l’IA qui soutient les exigences techniques des réglementations applicables, en particulier les obligations de transparence et de surveillance du règlement européen sur l’IA, constitue une question précise sur l’infrastructure de conformité.
Conformité réglementaire : cadres de conformité au règlement européen sur l’IA, NIST AI RMF, SR 11-7 pour les services financiers
Le NIST AI Risk Management Framework propose une approche structurée de la gestion des risques liés à l’IA, alignée sur les exigences réglementaires émergentes de plusieurs juridictions. Pour les professionnels du TPRM, demander si le programme de gouvernance de l’IA du fournisseur est aligné sur le NIST AI RMF et sur les exigences actuelles du règlement européen sur l’IA constitue une question sur l’actualité réglementaire.
Enjeux de gouvernance
La difficulté de gouvernance liée aux lacunes de gouvernance de l’IA tient à la vitesse d’évolution réglementaire. L’environnement réglementaire de l’IA évolue plus vite que la plupart des cadres de gouvernance ne sont mis à jour. La solution de gouvernance consiste à traiter les mises à jour du cadre de gouvernance de l’IA comme un processus continu, déclenché par les évolutions réglementaires, plutôt que comme une revue périodique selon un cycle fixe.
- Évaluer la gouvernance de l’IA du fournisseur au regard de l’environnement réglementaire actuel, et pas seulement l’existence d’un cadre
- Interroger sur l’évaluation de la conformité au règlement européen sur l’IA pour les systèmes concernés
- Interroger sur la mise en œuvre du contrôle humain : effectif ou nominal
- Demander si le cadre de gouvernance du fournisseur a été mis à jour en fonction des réglementations actuelles
- Exiger contractuellement la conformité aux réglementations applicables à l’IA pour les systèmes à haut risque
Si vous êtes une petite équipe
Pour tout système d’IA d’un fournisseur utilisé dans un contexte réglementé (crédit, santé, emploi, éducation, activités répressives), posez une question sur le règlement européen sur l’IA : ce système a-t-il été évalué au regard des critères des systèmes d’IA à haut risque du règlement européen sur l’IA pour votre secteur, et s’il est considéré comme à haut risque, disposez-vous de la documentation requise en matière de transparence, de contrôle humain et d’évaluation de la conformité ? Cette question révèle si le cadre de gouvernance de l’IA du fournisseur a été mis à jour en fonction de l’environnement réglementaire actuel ou s’il fonctionne encore sur une base antérieure.
- Demander si le système a été évalué au regard des critères de haut risque du règlement européen sur l’IA
- Interroger sur l’analyse d’impact sur les droits fondamentaux pour les systèmes à haut risque
- Interroger sur la mise en œuvre du contrôle humain : confirmation de son caractère effectif
- Demander si le cadre de gouvernance de l’IA du fournisseur a été mis à jour en fonction des réglementations actuelles
Ce qu’il faut exiger
Demandez directement :
« Votre système d’IA a-t-il été évalué au regard des critères des systèmes d’IA à haut risque du règlement européen sur l’IA pour notre cas d’usage, et s’il est considéré comme à haut risque, pouvez-vous fournir l’analyse d’impact sur les droits fondamentaux, la documentation relative au contrôle humain et les preuves d’évaluation de la conformité exigées par le règlement ? »
Preuves attendues
- Évaluation du haut risque au titre du règlement européen sur l’IA pour les systèmes concernés
- Analyse d’impact sur les droits fondamentaux
- Documentation de la mise en œuvre du contrôle humain
- Preuves d’évaluation de la conformité
Il faut interroger sur l’alignement réglementaire actuel un fournisseur qui confirme la maturité de sa gouvernance de l’IA. La maturité de la gouvernance décrit le cadre. L’actualité réglementaire indique si le cadre reflète les réglementations actuellement applicables.
Comment le prouver
- Registres d’évaluation de la conformité au règlement européen sur l’IA
- Registres de mise à jour réglementaire du cadre de gouvernance de l’IA
- Registres de validation du contrôle humain
- Classification réglementaire pour l’inventaire de l’IA
À retenir
Revue par le comité d’éthique de l’IA : terminée. Classification à haut risque au titre du règlement européen sur l’IA : non évaluée. Le cadre de gouvernance était mature pour l’environnement réglementaire de 2022. Les exigences du règlement européen sur l’IA relatives aux systèmes à haut risque (analyse d’impact sur les droits fondamentaux, contrôle humain, obligations de transparence, évaluation de la conformité) s’appliquent à ce système de décision de crédit et ne faisaient pas partie du cadre lorsque le système a été approuvé. La maturité de la gouvernance de l’IA est relative à l’environnement réglementaire pour lequel le cadre a été conçu. L’environnement réglementaire a évolué. Le cadre doit évoluer avec lui. La revue annuelle de l’environnement réglementaire est le mécanisme qui maintient les cadres de gouvernance à jour. La question sur le règlement européen sur l’IA, à savoir si ce système a été évalué au regard des critères de haut risque, est la question précise qui révèle si le cadre a suivi le rythme.