La principal IA de decisiones crediticias de una fintech de préstamos al consumo era un modelo de ensamble de gradient boosting, un tipo de modelo muy exacto pero intrínsecamente opaco que produce decisiones mediante interacciones complejas entre cientos de valores de variables a lo largo de múltiples etapas de boosting. El modelo se había seleccionado para su despliegue por su rendimiento predictivo superior, que se traducía directamente en una mejor discriminación del riesgo crediticio y en menores tasas de incumplimiento. La documentación de cumplimiento del proveedor era exhaustiva: certificación de cumplimiento de GDPR, informe SOC 2 Tipo II, certificación ISO 27001 y una revisión interna de ética de la IA. El programa de cumplimiento era genuino: el proveedor había invertido significativamente en privacidad de datos, controles de seguridad y procesos de revisión ética. Lo que el programa de cumplimiento no había abordado específicamente era el cumplimiento del modelo con el artículo 22 del GDPR, que crea el derecho de las personas a no ser objeto de decisiones basadas únicamente en el tratamiento automatizado que produzcan efectos jurídicos o significativamente similares, y el derecho a obtener información significativa sobre la lógica aplicada. Las decisiones de crédito que tomaba el modelo eran exactamente el tipo de decisiones automatizadas a las que se aplica el artículo 22. La lógica interna del modelo (los pesos de importancia de las variables en múltiples árboles de gradient boosting, los efectos de interacción entre variables, los valores umbral en cada división) no podía expresarse de una forma que una persona no especialista pudiera entender de manera significativa como explicación de su decisión de crédito concreta. El proveedor cumplía con GDPR. El proveedor no cumplía con el artículo 22 en las decisiones de crédito automatizadas. Ambas cosas no son lo mismo.
¿Qué es realmente la brecha entre el cumplimiento y la seguridad de la IA?
La brecha entre el cumplimiento y la seguridad de la IA es la distinción entre el cumplimiento por parte de un sistema de IA de las normas generales de protección de datos y seguridad (GDPR para el manejo de datos, SOC 2 para los controles de seguridad, ISO 27001 para la gestión de la seguridad de la información) y su cumplimiento de los requisitos específicos que se aplican a los sistemas de IA que toman decisiones automatizadas de consecuencia: obligaciones de explicabilidad, requisitos de supervisión humana, mandatos de evaluación de la equidad y requisitos regulatorios específicos de la IA. Un sistema de IA puede cumplir plenamente los requisitos generales de protección de datos y seguridad e incumplir al mismo tiempo las normas específicas que rigen la toma de decisiones automatizadas.
El problema de explicabilidad del artículo 22 es la brecha de cumplimiento específica de la IA con mayor importancia operativa. El artículo 22 del GDPR crea el derecho de los titulares de los datos a no ser objeto de decisiones basadas únicamente en el tratamiento automatizado que produzcan efectos jurídicos o significativamente similares, y el derecho a obtener información significativa sobre la lógica aplicada en dichas decisiones. Muchos modelos de IA de alto rendimiento (ensambles de gradient boosting, redes neuronales profundas, métodos de ensamble complejos) producen decisiones mediante interacciones que no pueden expresarse de forma natural como una explicación significativa que una persona no especialista pueda entender. Desplegar estos modelos para decisiones de crédito, seguros, empleo u otras con efectos significativos para las personas genera obligaciones de cumplimiento del artículo 22 que los modelos pueden ser estructuralmente incapaces de satisfacer.
La dimensión del cumplimiento en materia de equidad es una segunda brecha regulatoria específica de la IA. Los reguladores de los servicios financieros (la CFPB en EE. UU., la FCA en el Reino Unido, reguladores de toda la UE) aplican cada vez más los requisitos contra la discriminación a las decisiones de crédito y seguros basadas en IA. Un modelo de IA que produce un impacto dispar sobre grupos protegidos, aun cuando no se incluyan variables de grupos protegidos entre las entradas del modelo, puede infringir los requisitos de préstamos justos. El cumplimiento general de GDPR y de seguridad no aborda la equidad. Los modelos que no se han probado específicamente en cuanto al impacto dispar pueden estar infringiendo los requisitos de préstamos justos aun cuando cumplan plenamente los requisitos de protección de datos.
Los requisitos para sistemas de alto riesgo de la Ley de IA de la UE crean la tercera dimensión de cumplimiento. La categoría de alto riesgo de la Ley de IA de la UE incluye los sistemas de IA utilizados en la calificación crediticia, así como los utilizados en decisiones de empleo, educación, salud y aplicación de la ley. Los sistemas de IA de alto riesgo tienen requisitos obligatorios (evaluaciones de impacto en los derechos fundamentales, documentación técnica, registro del funcionamiento, transparencia ante las personas afectadas, supervisión humana) que van sustancialmente más allá de los requisitos de las normas generales de protección de datos. Un sistema de IA que cumple con GDPR puede, al mismo tiempo, incumplir los requisitos para sistemas de alto riesgo de la Ley de IA de la UE.
Por qué es importante
La brecha entre el cumplimiento y la seguridad de la IA es relevante para TPRM porque la empresa que despliega el sistema de IA de un proveedor en un caso de uso regulado hereda las obligaciones de cumplimiento de ese caso de uso, independientemente de que la documentación de cumplimiento del proveedor cubra esas obligaciones. La empresa cuyas decisiones de crédito las toma el sistema de IA de un proveedor que no puede proporcionar las explicaciones exigidas por el artículo 22 tiene responsabilidad conforme al artículo 22, independientemente de la certificación GDPR del proveedor.
Dónde se equivocan la mayoría de los equipos
La falla más sistemática es aceptar certificaciones generales de cumplimiento (GDPR, SOC 2, ISO 27001) como prueba del cumplimiento regulatorio específico de la IA. Las certificaciones generales abarcan requisitos generales. Las normas específicas de la IA imponen obligaciones específicas que las certificaciones generales no abordan.
- Cumplimiento general aceptado como cumplimiento específico de la IA
- Explicabilidad conforme al artículo 22 no evaluada para los modelos de toma de decisiones automatizadas
- Pruebas de equidad no evaluadas en los modelos de crédito, seguros y empleo
- Requisitos de alto riesgo de la Ley de IA de la UE no evaluados para los sistemas aplicables
- Capacidad de explicabilidad del modelo no acorde con la obligación regulatoria
Cómo se ve una buena práctica
Los programas maduros de cumplimiento en materia de IA evalúan cada sistema de IA frente a las normas específicas que se aplican a su caso de uso, no solo frente a las normas generales de protección de datos y seguridad, y validan que la capacidad de explicabilidad del modelo se corresponda con las obligaciones legales de explicación que genera su caso de uso.
- Evaluación del cumplimiento específica de cada caso de uso: artículo 22, préstamos justos, Ley de IA de la UE según el caso de uso
- Capacidad de explicabilidad acorde con la obligación: tipo de modelo evaluado frente a los requisitos de explicación
- Pruebas de equidad para el impacto dispar sobre grupos protegidos
- Evaluación de alto riesgo conforme a la Ley de IA de la UE para los casos de uso aplicables
- Documentación de las brechas de cumplimiento: dónde no se cumplen actualmente las obligaciones de cumplimiento
Herramientas
Explicabilidad: SHAP, LIME, IBM Watson OpenScale para explicaciones conformes a GDPR
Las herramientas de explicabilidad de modelos, SHAP (SHapley Additive exPlanations) y LIME (Local Interpretable Model-Agnostic Explanations), generan explicaciones de la contribución de cada variable a las decisiones individuales que pueden servir de base para las explicaciones exigidas por el artículo 22. Para los profesionales de TPRM, preguntar si el modelo de toma de decisiones automatizadas del proveedor utiliza herramientas de explicabilidad capaces de generar explicaciones individuales jurídicamente adecuadas aporta una pregunta concreta de cumplimiento del artículo 22.
Pruebas de equidad de la IA: AI Fairness 360 (IBM), Fairlearn (Microsoft) para la evaluación del impacto dispar
Los marcos de pruebas de equidad evalúan los modelos en cuanto al impacto dispar sobre grupos protegidos, un requisito para los sistemas de IA utilizados en decisiones de crédito, seguros, empleo y otras decisiones reguladas. Para los profesionales de TPRM, preguntar si el modelo del proveedor se ha evaluado en cuanto al impacto dispar mediante un marco de pruebas de equidad aporta una pregunta concreta de cumplimiento en materia de préstamos justos.
Desafíos de gobernanza
El desafío de gobernanza de las brechas de cumplimiento de la IA es la complejidad regulatoria entre jurisdicciones. El artículo 22 se aplica en la UE. Los requisitos de préstamos justos se aplican en EE. UU. La Ley de IA de la UE se aplica en todos los Estados miembros de la UE con distintos calendarios de implementación. Un producto de IA desplegado en varias jurisdicciones puede enfrentar obligaciones de cumplimiento diferentes en cada una. La solución de gobernanza es la evaluación del cumplimiento basada en casos de uso: evaluar cada caso de uso específico de IA frente a todas las normas aplicables en todas las jurisdicciones pertinentes.
- Realice una evaluación del cumplimiento específica del caso de uso para cada despliegue de IA
- Evalúe la explicabilidad conforme al artículo 22 para la toma de decisiones automatizadas
- Realice pruebas de equidad en los modelos de crédito, seguros y empleo
- Evalúe los requisitos de alto riesgo de la Ley de IA de la UE para los sistemas aplicables
- Mapee las obligaciones de cumplimiento por jurisdicción para los despliegues transfronterizos
Si usted forma parte de un equipo pequeño
Para cada sistema de IA de un proveedor que tome o influya de forma significativa en decisiones con efectos importantes para las personas (crédito, seguros, empleo, salud, educación), formule dos preguntas específicas de cumplimiento. Primera: ¿este sistema genera explicaciones individuales conformes al artículo 22 para cada decisión, y puede proporcionar un ejemplo de explicación en el formato que entregaría a una persona afectada? Segunda: ¿se ha probado este sistema en cuanto al impacto dispar sobre grupos protegidos, y puede proporcionar los resultados de la evaluación del impacto dispar? Esas dos preguntas revelan las brechas de cumplimiento específicas de la IA que las certificaciones generales no abordan.
- Solicite un ejemplo de explicación individual conforme al artículo 22
- Solicite los resultados de la evaluación del impacto dispar
- Evalúe la clasificación de alto riesgo conforme a la Ley de IA de la UE
- Mapee las obligaciones de cumplimiento específicas de cada caso de uso
Qué exigir
Pregunte directamente:
“Respecto de su IA de decisiones crediticias, ¿puede proporcionar un ejemplo de la explicación individual conforme al artículo 22 que entregaría a un solicitante, y puede proporcionar los resultados de su evaluación más reciente del impacto dispar sobre grupos protegidos?”
Evidencia que debe esperar
- Ejemplo de explicación individual conforme al artículo 22
- Resultados de la evaluación del impacto dispar
- Evaluación de alto riesgo conforme a la Ley de IA de la UE
- Documentación de la metodología de explicabilidad
A un proveedor que confirma el cumplimiento de GDPR se le debe solicitar el ejemplo de explicación conforme al artículo 22. El cumplimiento de GDPR abarca el manejo de datos. El cumplimiento del artículo 22 abarca la toma de decisiones automatizadas. La misma norma, obligaciones distintas.
Cómo demostrarlo
- Registros de la evaluación del cumplimiento del artículo 22
- Registros de las pruebas de impacto dispar
- Evaluación del cumplimiento de la Ley de IA de la UE
- Documentación del cumplimiento específica del caso de uso
Conclusión clave
Cumplimiento de GDPR: confirmado. SOC 2: confirmado. Derecho a explicación del artículo 22 para las decisiones de crédito automatizadas: el ensamble de gradient boosting no puede proporcionarlo. El cumplimiento de GDPR y el cumplimiento del artículo 22 son ambos obligaciones del GDPR. Abordan cosas distintas. Se requieren tanto el cumplimiento en el manejo de datos como el cumplimiento en la toma de decisiones automatizadas. Certificar uno no certifica el otro. La evaluación del cumplimiento específica del caso de uso (artículo 22 para la toma de decisiones automatizadas, préstamos justos para crédito y seguros, requisitos de alto riesgo de la Ley de IA de la UE para los sistemas aplicables) es la capa adicional que las certificaciones generales de cumplimiento no ofrecen. Solicite el ejemplo de explicación conforme al artículo 22. Solicite los resultados del impacto dispar. Las certificaciones generales son el piso. El cumplimiento específico del caso de uso es la obligación.