El equipo de TPRM de una empresa de servicios financieros realizó un ejercicio de fiabilidad entre evaluadores: dos evaluadores puntuaron de forma independiente al mismo proveedor con la metodología estándar de evaluación de riesgos de la organización y el mismo paquete de evidencias. El primer evaluador otorgó al proveedor 34 de 100 (riesgo bajo). El segundo otorgó al mismo proveedor 67 de 100 (riesgo de moderado a alto). Ambos evaluadores utilizaron la misma rúbrica de puntuación, evaluaron la misma evidencia y aplicaron la misma fórmula de ponderación. La divergencia se debió a la interpretación de evidencias ambiguas y de los controles compensatorios. El proveedor carecía de MFA en las cuentas de servicio y ofrecía segmentación de red más monitoreo como controles compensatorios. El evaluador 1 dio un peso considerable a los controles compensatorios y redujo el impacto del hallazgo de control de acceso a menor. El evaluador 2 consideró que la segmentación de red era un control compensatorio inadecuado para la falta de MFA y mantuvo el hallazgo de control de acceso con un impacto significativo. Una diferencia de treinta y tres puntos para el mismo proveedor con la misma evidencia, ambos con la misma metodología. Ninguna de las dos puntuaciones era incorrecta según las reglas de la metodología. Ambas eran interpretaciones válidas. La organización no tenía ningún mecanismo para determinar cuál era más exacta. Llevaba tres años utilizando la misma metodología sin saber que producía este rango de variación entre evaluadores.
¿Qué es realmente la subjetividad en la puntuación de riesgos?
La subjetividad en la puntuación de riesgos es la variación en los resultados de las evaluaciones que se debe a diferencias en la interpretación que hacen los evaluadores de la evidencia, los controles compensatorios y los criterios de puntuación dentro de una metodología de evaluación de riesgos definida. No es una falla de la estructura de la metodología: la estructura puede ser totalmente coherente y estar bien definida. Es una propiedad de cualquier metodología de evaluación que requiere la interpretación humana de datos ambiguos, es decir, de cualquier metodología que evalúe cuestiones de seguridad complejas a partir de evidencias que nunca son perfectamente completas ni inequívocas.
El problema de la interpretación de los controles compensatorios es la fuente más importante de subjetividad en la puntuación en TPRM. Los controles compensatorios son medidas de seguridad alternativas que se ofrecen en lugar de un control especificado por el marco de evaluación pero no implementado por el proveedor. Si un control compensatorio específico reduce adecuadamente el riesgo creado por el control ausente es un juicio que depende de la comprensión que tenga el evaluador del modelo de amenazas, de la eficacia real del control alternativo y de los factores propios del contexto que hacen que un control compensatorio sea más o menos adecuado. Dos evaluadores con distinta formación (uno procedente de la seguridad de redes y otro de la seguridad de identidades) pueden llegar a conclusiones genuinamente diferentes sobre si la segmentación de red compensa adecuadamente la falta de MFA en las cuentas de servicio.
El problema de la interpretación de la calidad de la evidencia agrava el de los controles compensatorios. La evidencia que confirma que un control existe (un documento de política, una captura de pantalla de una configuración, una certificación de un tercero) requiere interpretación para evaluar su calidad y su pertinencia para la cuestión de riesgo concreta. Un evaluador que ha visto muchos documentos de política de baja calidad que no se aplican puede restar más valor a la documentación de políticas que un evaluador que trata la documentación como evidencia significativa de la intención del programa. El mismo documento, evaluado por dos evaluadores con distinta experiencia de la brecha entre documentación e implementación, puede producir hallazgos diferentes.
- Variación en la interpretación de los controles compensatorios: evaluadores con distinta formación en seguridad llegan a conclusiones diferentes sobre la adecuación de los controles compensatorios
- Variación en la interpretación de la calidad de la evidencia: distintas ponderaciones de la documentación frente a la evidencia técnica
- Diferencias en la calibración de los umbrales: los evaluadores calibran de forma distinta lo que se considera satisfactorio, parcialmente satisfactorio e insatisfactorio
- Sin pruebas de fiabilidad entre evaluadores: organizaciones que desconocen la variación de puntuaciones que produce su metodología
- Una precisión de la puntuación que implica una exactitud falsa: puntuaciones numéricas que sugieren una precisión que la subjetividad de la interpretación no puede respaldar
Por qué es importante
La subjetividad en la puntuación de riesgos importa para TPRM porque las puntuaciones de riesgo impulsan decisiones de gran trascendencia: la aprobación o el rechazo de proveedores, las medidas de mitigación de riesgos exigidas, la intensidad del monitoreo y los requisitos contractuales. Una puntuación de riesgo que varía treinta y tres puntos según el evaluador que realizó la evaluación produce decisiones tan variables como los evaluadores. Los proveedores a los que les toca un evaluador más indulgente reciben un mejor trato que proveedores equivalentes evaluados por uno más estricto. Las decisiones de evaluación que parecen basarse en una metodología objetiva están sustancialmente influidas por el evaluador concreto.
El problema de la comparabilidad de la cartera es la consecuencia operativa de la subjetividad de la puntuación a gran escala. Los programas de TPRM que gestionan cientos de relaciones con proveedores necesitan comparar las puntuaciones de riesgo entre proveedores para priorizar los recursos de remediación, monitoreo y reevaluación. Si las puntuaciones de distintos proveedores las produjeron distintos evaluadores con distintas tendencias de interpretación, es posible que las puntuaciones no sean comparables: una puntuación de 45 de un evaluador puede no representar el mismo nivel de riesgo que una puntuación de 45 de otro evaluador. Un análisis de riesgos a nivel de cartera basado en puntuaciones no comparables produce una priorización incorrecta.
Dónde se equivocan la mayoría de los equipos
La falla más constante es no probar la fiabilidad entre evaluadores antes de tratar las puntuaciones como comparables y accionables. La mayoría de los programas de TPRM desarrollan una metodología de puntuación y la implementan sin medir la variación que esa metodología produce entre evaluadores. La variación existe e influye en las decisiones antes de que nadie sepa que existe.
- Sin pruebas de fiabilidad entre evaluadores de la metodología de puntuación
- Criterios de adecuación de los controles compensatorios no definidos: se dejan al juicio del evaluador
- Criterios de calidad de la evidencia no especificados: la documentación frente a la evidencia técnica se pondera según la experiencia del evaluador
- Variación de las puntuaciones no detectada: distintos evaluadores producen puntuaciones diferentes para el mismo proveedor sin que se comparen
- Decisiones sobre la cartera basadas en puntuaciones no comparables
Cómo se ve una buena práctica
Los programas maduros de puntuación de riesgos definen criterios que reducen la libertad de interpretación (especificando qué se considera un control compensatorio adecuado para brechas de control específicas y qué umbrales de calidad de la evidencia se requieren para los distintos niveles de puntuación) y realizan pruebas periódicas de fiabilidad entre evaluadores para medir y abordar la variación de las puntuaciones.
- Criterios de controles compensatorios definidos: criterios específicos sobre qué controles compensatorios son adecuados para brechas de control específicas
- Umbrales de calidad de la evidencia especificados: qué tipos de evidencia se requieren para cada nivel de puntuación
- Pruebas de fiabilidad entre evaluadores: pruebas periódicas de la variación de las puntuaciones entre evaluadores
- Sesiones de calibración de puntuaciones: los evaluadores revisan juntos los mismos casos para alinear sus criterios de interpretación
- Puntuación automatizada donde sea factible: reducir la libertad de interpretación automatizando las decisiones que pueden basarse en reglas
Herramientas
Plataformas de TPRM con puntuación automatizada: BitSight, SecurityScorecard, RiskRecon
Las plataformas de calificación de seguridad proporcionan puntuaciones de riesgo automatizadas y derivadas algorítmicamente a partir de señales externas observables, lo que reduce la interpretación del evaluador al sustituir el juicio humano por algoritmos definidos para tipos de señales específicos. Para los profesionales de TPRM, incorporar componentes de puntuación automatizada junto con la evaluación basada en cuestionarios reduce la subjetividad general de la puntuación para las señales que las herramientas automatizadas pueden medir.
GRC con calibración de puntuaciones: Archer, MetricStream
Las plataformas de GRC con funciones de calibración de puntuaciones facilitan la alineación de los evaluadores mediante rúbricas de puntuación compartidas, bibliotecas de casos de calibración y el seguimiento de la fiabilidad entre evaluadores. Para los profesionales de TPRM, utilizar plataformas que faciliten la calibración de los evaluadores y den seguimiento a la variación de las puntuaciones proporciona la infraestructura organizativa para gestionar la subjetividad.
Desafíos de gobernanza
El desafío de gobernanza de la subjetividad en la puntuación de riesgos es que no es posible eliminarla por completo: cualquier evaluación de cuestiones de seguridad complejas requiere juicio humano, y el juicio humano varía. El objetivo de gobernanza es reducir la variación a un nivel aceptable mediante la especificación de criterios, la formación de los evaluadores, los ejercicios de calibración y los componentes de puntuación automatizada; no eliminarla, sino gestionarla para que las decisiones sean lo suficientemente coherentes como para ser defendibles.
- Realizar pruebas anuales de fiabilidad entre evaluadores: probar la variación de las puntuaciones y darle seguimiento a lo largo del tiempo
- Definir criterios de adecuación para los controles compensatorios que se ofrecen con más frecuencia
- Celebrar sesiones de calibración en las que los evaluadores puntúen al mismo proveedor de forma independiente y comparen los resultados
- Documentar las decisiones de interpretación: cómo se interpretó una evidencia específica y por qué
- Utilizar la puntuación automatizada para las señales objetivas: reducir la interpretación subjetiva donde sea factible una puntuación basada en reglas
Si usted forma parte de un equipo pequeño
Realice una prueba de fiabilidad entre evaluadores con su equipo de evaluación. Tome una evaluación completada con su paquete de evidencias y pida a dos evaluadores que la puntúen de forma independiente sin ver el trabajo del otro. Compare las puntuaciones. Si la diferencia es de más de diez puntos en una escala de cien puntos, su metodología está produciendo más variación de la aceptable para una toma de decisiones coherente. Identifique las preguntas concretas en las que más divergieron las puntuaciones y desarrolle criterios más específicos para esas preguntas.
- Realizar una prueba de fiabilidad entre evaluadores con dos evaluadores sobre la misma evaluación completada
- Identificar las preguntas con mayor divergencia de puntuación: necesitan criterios más específicos
- Definir criterios de adecuación para los controles compensatorios más comunes
- Celebrar sesiones trimestrales de calibración para los evaluadores
Qué exigir
Pregunte directamente:
"Para cualquier control compensatorio que ofrezcan en lugar de controles que exige nuestro marco de evaluación, en concreto [indique la brecha de control y el control compensatorio ofrecido], ¿pueden proporcionar evidencia técnica de la implementación del control compensatorio y explicar específicamente cómo reduce el riesgo creado por el control ausente?"
Evidencia que debe esperar
- Evidencia técnica de la implementación de los controles compensatorios
- Explicación específica de cómo el control compensatorio reduce el riesgo del control ausente
- Cualquier validación independiente de la eficacia de los controles compensatorios
Los evaluadores que discrepan sobre la adecuación de los controles compensatorios no tienen por qué estar ambos equivocados. Necesitan un criterio definido sobre lo que significa la adecuación en este contexto. Defina el criterio. Aplíquelo de forma coherente. La puntuación resultante es más defendible que la puntuación que refleja el juicio de un solo evaluador.
Cómo demostrarlo
- Registros de las pruebas de fiabilidad entre evaluadores
- Documentación de los criterios de adecuación de los controles compensatorios
- Registros de las sesiones de calibración de evaluadores
- Seguimiento de la variación de las puntuaciones a lo largo del tiempo
Conclusión clave
La puntuación de 34 y la puntuación de 67 son ambas interpretaciones válidas de la misma evidencia con la misma metodología. La metodología es coherente. El margen de interpretación dentro de la metodología es lo bastante amplio como para que dos evaluadores lleguen a conclusiones diferentes sobre la adecuación de la segmentación de red como control compensatorio para la falta de MFA en las cuentas de servicio. El número implica precisión. La metodología no la ofrece. Probar la fiabilidad entre evaluadores antes de confiar en las puntuaciones para decisiones trascendentes es el paso de gobernanza que revela cuánta precisión ofrece realmente la metodología. Defina los criterios de los controles compensatorios. Calibre a los evaluadores. Pruebe la variación. La puntuación que surge de un equipo calibrado es más defendible que la que refleja la tendencia de interpretación de un evaluador en un martes ajetreado.