Uma empresa farmacêutica recebia relatórios semanais de monitoramento de segurança com IA de seu provedor de serviços gerenciados de segurança, cujo programa de monitoramento era baseado em uma plataforma de SIEM e detecção com IA. Os relatórios tinham formatação profissional, eram entregues com regularidade e continham dados reais: volumes de alertas por categoria, tempo médio de detecção na semana anterior, taxas de resolução de alertas e estatísticas de cobertura por domínio tecnológico monitorado. A liderança de segurança da empresa farmacêutica revisava os relatórios em sua reunião semanal de segurança e, em geral, os considerava satisfatórios: as métricas estavam dentro das faixas esperadas, e os indicadores verdes de cobertura sugeriam um monitoramento abrangente. O que os relatórios não continham era uma prestação de contas honesta das limitações do programa: as categorias de técnicas sem cobertura ativa de detecção, os sistemas e ambientes específicos não integrados ao monitoramento, as categorias de alertas em que as taxas de falsos positivos eram altas o suficiente para prejudicar a eficácia dos analistas, as áreas em que se sabia que a lógica de detecção da IA tinha menor confiança e as circunstâncias específicas em que era necessária a complementação por analistas humanos, porque a IA não conseguia classificar o comportamento de forma confiável. Os relatórios descreviam o que o programa estava detectando. Não descreviam o que o programa não estava detectando, não conseguia detectar ou detectava de forma pouco confiável. Depois que foi descoberta uma violação que vinha se desenvolvendo havia seis semanas em um ambiente não coberto pelo programa de monitoramento, a liderança de segurança da empresa farmacêutica olhou para trás e viu seis semanas de relatórios de monitoramento totalmente verdes que não haviam dado nenhuma indicação de que a lacuna existia.
O que é, de fato, um monitoramento de segurança com IA abrangente?
Um monitoramento de segurança com IA abrangente exige não apenas que o programa de monitoramento relate o que detecta, mas que ofereça uma prestação de contas honesta do que não detecta, de onde sua confiança de detecção é menor e de quais atividades de analistas humanos são necessárias para compensar as limitações da IA. Um relatório de monitoramento que mostra apenas os sucessos do programa (o que foi detectado, com que rapidez, com que taxa de resolução) sem divulgar seus pontos cegos, lacunas de cobertura e limitações de confiança oferece um quadro sistematicamente otimista que impede a empresa de compreender sua verdadeira postura de segurança.
O problema do relato das lacunas de cobertura é o principal déficit de prestação de contas. Programas de monitoramento de segurança com IA que operam com lacunas de cobertura conhecidas (categorias de técnicas sem cobertura de detecção, sistemas não integrados, ambientes não monitorados) devem relatar essas lacunas à empresa que recebe o serviço de monitoramento. Um relatório de monitoramento que mostra indicadores verdes de cobertura para todas as categorias configuradas, sem divulgar que categorias significativas de técnicas não estão configuradas, oferece uma falsa garantia. Os indicadores verdes descrevem a cobertura configurada. A cobertura não configurada é invisível: não aparece em vermelho nem em amarelo no painel, simplesmente não aparece.
O problema do relato das limitações de confiança é a segunda lacuna de prestação de contas. Os sistemas de detecção com IA têm confiança variável entre diferentes categorias de técnicas: alguns comportamentos são detectados com alta confiança (correspondências exatas de assinatura), outros com menor confiança (anomalias comportamentais que exigem contexto adicional para uma classificação confiável). Relatórios de monitoramento que apresentam todos os alertas como equivalentes em confiabilidade, sem divulgar a variação de confiança por categoria, impedem a empresa de aplicar o escrutínio adequado aos alertas de menor confiança. Um alerta de baixa confiança que exige investigação humana adicional antes da classificação deve ser divulgado como tal, e não apresentado junto com alertas de alta confiança como evidência equivalente de cobertura de segurança.
O problema da variação da taxa de falsos positivos é a dimensão da eficácia operacional. As plataformas de monitoramento de segurança com IA produzem alertas falsos positivos em taxas que variam conforme a categoria de alerta: algumas categorias têm taxas muito baixas de falsos positivos, outras têm taxas tão altas que a maioria dos alertas daquela categoria é falso positivo. Taxas elevadas de falsos positivos em categorias específicas degradam a eficácia dos analistas nessas categorias: o sinal é encoberto pelo ruído. Relatórios de monitoramento que mostram apenas as taxas gerais de falsos positivos, sem detalhamento por categoria, ocultam as categorias em que a IA gera mais ruído do que sinal.
Por que isso importa
Um monitoramento de segurança com IA abrangente é importante para o TPRM porque a garantia de segurança que os relatórios de monitoramento oferecem depende de esses relatórios representarem com precisão tanto as capacidades do programa quanto suas limitações. Relatórios de monitoramento totalmente verdes que descrevem apenas o que está funcionando oferecem uma falsa garantia: confirmam que o programa está operando dentro de seus parâmetros configurados, enquanto ocultam as lacunas que atacantes determinados visam especificamente.
Onde a maioria das equipes erra
A falha mais constante é aceitar relatórios de monitoramento que descrevem o desempenho do programa sem solicitar relatórios que descrevam suas limitações. Os relatórios de desempenho confirmam o que está funcionando. Os relatórios de limitações permitem que a empresa entenda onde são necessários complementação humana, controles adicionais ou ampliação da cobertura.
- Relatórios de monitoramento revisados sem solicitar a divulgação das lacunas
- Relatório de lacunas de cobertura não exigido: lacunas não divulgadas nos relatórios semanais
- Taxa de falsos positivos por categoria não relatada: apenas taxas agregadas
- Variação de confiança por categoria não divulgada
- Requisitos de complementação humana não incluídos nos relatórios de monitoramento
Como é uma boa prática
Relatórios maduros de monitoramento de segurança com IA incluem tanto métricas de desempenho quanto a divulgação das limitações, especificamente lacunas de cobertura, variação de confiança por categoria de alerta, taxas de falsos positivos por categoria e as circunstâncias específicas em que é necessária a complementação por analistas humanos.
- Divulgação das lacunas de cobertura: categorias de técnicas não configuradas relatadas explicitamente
- Taxa de falsos positivos por categoria, e não apenas taxas agregadas
- Divulgação da variação de confiança: categorias de alertas com menor confiança de detecção identificadas
- Requisitos de complementação humana: onde a IA não consegue classificar de forma confiável sem a revisão de um analista
- Acompanhamento da remediação das lacunas: progresso no fechamento das lacunas de cobertura identificadas
Ferramentas
Relatórios de segurança: painéis do Splunk com métricas de lacunas, workbooks do Microsoft Sentinel para análise de cobertura
Plataformas de relatórios de segurança que podem ser configuradas para relatar as lacunas de cobertura junto com o desempenho da cobertura oferecem o panorama completo do monitoramento que os painéis de desempenho padrão não oferecem. Para profissionais de TPRM, perguntar se os relatórios de monitoramento do fornecedor incluem a divulgação das lacunas de cobertura e as taxas de falsos positivos por categoria, junto com as métricas de desempenho padrão, é uma pergunta específica sobre a completude dos relatórios.
Desafios de governança
O desafio de governança dos relatórios de monitoramento de segurança com IA abrangentes é o desalinhamento de incentivos do fornecedor. Os fornecedores de monitoramento de segurança têm incentivos comerciais para apresentar seus programas da forma mais favorável possível, enfatizando o que está funcionando e minimizando a divulgação de lacunas e limitações. Exigir a divulgação das lacunas nos requisitos contratuais de relatório é o mecanismo de governança que alinha os relatórios do fornecedor às necessidades de garantia da empresa.
- Exigir contratualmente a divulgação das lacunas nos relatórios de monitoramento
- Solicite as taxas de falsos positivos por categoria, e não apenas as taxas agregadas
- Solicitar a divulgação da variação de confiança por categoria de alerta
- Pergunte quais atividades de analistas humanos complementam o monitoramento por IA
- Exigir relatórios de remediação das lacunas de cobertura com prazos
Se você faz parte de uma equipe pequena
Solicite um acréscimo ao formato padrão do relatório de monitoramento: uma seção de limitações que divulgue, para o período de relatório atual, as três principais categorias de técnicas ou ambientes sem cobertura ativa de detecção, as categorias de alertas com as maiores taxas de falsos positivos e as circunstâncias em que é necessária a revisão por analistas humanos, em vez da classificação automatizada pela IA. Essa seção de limitações transforma um relatório de desempenho em um relatório de monitoramento completo. Sua ausência revela a lacuna naquilo que o programa de monitoramento considera digno de relato.
- Solicitar uma seção de limitações nos relatórios de monitoramento: lacunas de cobertura, categorias com muitos FP, necessidades de complementação humana
- Solicite as taxas de falsos positivos por categoria
- Solicite a divulgação das lacunas de cobertura junto com o desempenho da cobertura
- Exigir contratualmente a divulgação das lacunas nos relatórios de monitoramento
O que exigir
Pergunte diretamente:
“Os seus relatórios semanais de monitoramento podem incluir uma seção de limitações que divulgue as principais lacunas de cobertura, as categorias de alertas com as maiores taxas de falsos positivos e as circunstâncias em que é necessária a complementação por analistas humanos, junto com as métricas de desempenho padrão?”
O que esperar como evidência
- Divulgação das lacunas de cobertura nos relatórios de monitoramento
- Taxas de falsos positivos por categoria
- Divulgação da variação de confiança por categoria de alerta
- Divulgação dos requisitos de complementação humana
Um fornecedor que entregue relatórios semanais de monitoramento com IA deve ser solicitado a acrescentar uma seção de limitações. As métricas de desempenho descrevem o que está funcionando. A divulgação das limitações descreve o que as métricas de desempenho não mostram. Ambas são necessárias para um relatório de monitoramento de segurança honesto.
Como comprovar
- Formato de relatório de monitoramento com divulgação das limitações
- Registros de acompanhamento das lacunas de cobertura
- Relatórios da taxa de FP por categoria
- Documentação dos requisitos de complementação humana
Principal conclusão
Seis semanas de relatórios de monitoramento totalmente verdes. Seis semanas de desenvolvimento de uma violação em um ambiente não monitorado. Os relatórios eram precisos quanto ao que mostravam. O que mostravam era a cobertura configurada funcionando dentro dos parâmetros. O que não mostravam era o ambiente não integrado ao monitoramento, as categorias de técnicas sem configuração de detecção e as áreas específicas em que era necessária a complementação por analistas humanos. Um relatório que mostra apenas o que está funcionando é um resumo de desempenho. Um relatório de monitoramento mostra tanto o que está funcionando quanto o que não está. A divulgação das lacunas de cobertura, as taxas de falsos positivos por categoria e os requisitos de complementação humana são as limitações que completam o quadro que as métricas de desempenho não mostram.