O relatório SOC 2 Tipo II de um fornecedor de SaaS cobria um período de auditoria de doze meses, de janeiro a dezembro. O controle de revisão de acessos, que exigia certificações de acesso trimestrais, foi testado com uma amostra de três revisões de acesso entre as quarenta e oito realizadas no período. As três revisões amostradas apresentavam evidências adequadas: contas revisadas, decisões documentadas, revogações executadas. Os auditores concluíram que o controle operou com eficácia durante todo o período. O que o teste não revelou: durante o Q2, o fornecedor havia migrado sua plataforma de IGA e, por seis semanas durante a transição, as revisões de acesso foram feitas com um processo manual em planilha, sem a enumeração automatizada de contas que normalmente garantia a completude. Uma nota da auditoria interna do Q2 documentou que sete contas haviam sido deixadas de fora nas revisões do período de transição. As contas omitidas foram descobertas durante a revisão do Q3 e corrigidas. A amostra de teste do SOC 2 havia selecionado revisões do Q1, do Q3 e do Q4, todos períodos anteriores ou posteriores à migração, com controles operando corretamente. O período de transição do Q2 não estava na amostra. O achado da auditoria era preciso quanto ao que foi testado. O período em que o controle havia operado com um problema de qualidade conhecido não foi testado.
O que são, de fato, as limitações de escopo de auditoria?
As limitações de escopo de auditoria são os limites do que uma auditoria examinou, testou e sobre o que concluiu e, por consequência, do que a auditoria não examinou, não testou ou sobre o que não chegou a conclusões. Toda auditoria tem um escopo definido: o período coberto, os sistemas e serviços incluídos, os controles avaliados e a metodologia de amostragem aplicada a cada controle testado. Os achados e as conclusões são válidos dentro do escopo da auditoria. Extrapolar as conclusões da auditoria para além do escopo (para períodos não testados, sistemas excluídos ou instâncias de controle não amostradas) produz uma garantia que a auditoria não sustenta.
A amostragem é a limitação de escopo mais relevante para o SOC 2 Tipo II e outros relatórios de eficácia de controles. Os testes do SOC 2 usam amostragem estatística para testar controles que operaram muitas vezes durante o período de auditoria: revisões mensais de acesso, testes de intrusão trimestrais, rotinas diárias de backup, verificações de monitoramento a cada hora. Em vez de testar todas as instâncias de todos os controles, os auditores selecionam uma amostra estatisticamente projetada para oferecer garantia razoável de que toda a população de instâncias do controle operou com eficácia. O tamanho da amostra é calibrado de acordo com a frequência do controle: controles mais frequentes exigem amostras maiores, mas nenhum teste de controle cobre todas as instâncias. A conclusão de operação eficaz reflete as instâncias amostradas.
O problema da detecção de falhas sistemáticas versus isoladas é a limitação fundamental dos testes de auditoria baseados em amostragem. As amostras de auditoria são projetadas para detectar falhas sistemáticas de controle: se um controle deixa de operar com regularidade, uma amostra estatisticamente projetada detectará essa falha com alta probabilidade. Elas são menos eficazes para detectar falhas isoladas em períodos específicos: um período de transição de seis semanas em que um controle operou com qualidade degradada, um trimestre específico em que o responsável por um controle-chave estava em licença prolongada ou uma migração de sistema específica em que os controles operaram temporariamente de forma manual, e não automática. Uma falha isolada pode ocorrer nos períodos não amostrados e produzir uma amostra aprovada a partir dos períodos em que o controle operou corretamente.
- Amostragem que não cobre todas as instâncias do controle: conclusões sobre a eficácia em todo o período baseadas em um subconjunto de instâncias
- Falhas isoladas em períodos não amostrados: operação degradada do controle em períodos que a amostra não incluiu
- Migrações e transições de sistemas não amostradas: períodos de transição frequentemente ausentes das amostras do SOC 2
- Sistemas excluídos não auditados: sistemas fora do escopo do SOC 2, com sua própria qualidade de controles
- Período do relatório que não reflete o estado atual: relatório SOC 2 que cobre um período encerrado, e não o ambiente atual
Por que isso importa
As limitações de escopo de auditoria são relevantes para TPRM porque relatórios SOC 2, certificados ISO 27001 e outros relatórios de auditoria de terceiros são as principais evidências da eficácia dos controles nas avaliações de fornecedores, e todos eles têm limitações de escopo que afetam o que as conclusões do relatório sustentam de forma válida. Um programa de TPRM que trata os relatórios de auditoria como garantia abrangente aceita conclusões sobre as instâncias amostradas e o escopo definido como se cobrissem toda a população de controles e todo o ambiente. A diferença entre o que o relatório cobriu e o que se usa o relatório para afirmar é a lacuna de limitação de escopo.
O problema da defasagem temporal agrava a limitação da amostragem. Os relatórios SOC 2 cobrem um período de auditoria encerrado, uma janela de doze meses que terminou na data do relatório. Quando um cliente recebe o relatório e passa a confiar nele, o período mais recente do relatório pode estar de doze a dezoito meses no passado. O ambiente continuou a evoluir. Os controles que operavam com eficácia no período de auditoria podem ou não estar operando hoje com a mesma qualidade. O relatório é evidência do passado. O risco do cliente está no presente.
Onde a maioria das equipes erra
A falha mais recorrente é aceitar as conclusões da auditoria como garantia abrangente de todo o período, e não como garantia razoável baseada em amostras. Garantia razoável é um termo técnico de auditoria: significa que a auditoria fornece evidências suficientes para sustentar a conclusão com o nível de confiança adequado, e não que a conclusão é certa ou que todas as instâncias foram testadas. Aceitar a garantia razoável como certeza, e períodos amostrados como períodos completos, exagera o que o relatório de auditoria sustenta de forma válida.
- Aceitar conclusões de auditoria baseadas em amostras como garantia abrangente do período
- Nenhuma revisão da metodologia de amostragem: quais instâncias específicas do controle foram testadas
- Nenhuma consulta sobre problemas de controle conhecidos no período de auditoria
- Atualidade do relatório não considerada: confiança em relatórios que cobrem períodos de doze a dezoito meses atrás
- Seções de exclusão não revisadas: sistemas e serviços fora do escopo da auditoria
Como é uma boa prática
Programas maduros de confiança no SOC 2 revisam as seções de descrição do sistema, de metodologia de amostragem e de resposta da administração do relatório, perguntam aos fornecedores sobre problemas de controle conhecidos no período de auditoria, confirmam a atualidade do relatório e avaliam diretamente os controles no intervalo entre a data do relatório e a avaliação atual.
- Revise a seção de resposta da administração: o reconhecimento das exceções pelo fornecedor e as ações de correção
- Pergunte sobre problemas de controle conhecidos no período de auditoria: problemas corrigidos antes da auditoria, mas que representam lacunas de qualidade
- Confirme a atualidade do relatório: quão recente é o período de auditoria e o que mudou desde então
- Revise a seção de exceções e ressalvas: quaisquer controles que não operaram com eficácia nas instâncias amostradas
- Pergunte sobre transições de sistemas durante o período de auditoria: migrações, atualizações ou mudanças operacionais que possam ter afetado a qualidade dos controles
Ferramentas
Análise do relatório SOC 2: estrutura do SOC 2 Tipo II (descrição do sistema, critérios, controles, testes, exceções)
Os relatórios SOC 2 Tipo II seguem uma estrutura definida que contém várias seções especificamente relevantes para as limitações de escopo: a descrição do sistema (o que está no escopo), a metodologia de amostragem (como os controles foram testados), a seção de exceções (onde os controles não operaram com eficácia) e a resposta da administração (como as exceções foram corrigidas). Para profissionais de TPRM, ler especificamente essas seções, em vez de confiar na opinião geral da auditoria, fornece as informações sobre limitações de escopo que a opinião, sozinha, não fornece.
Monitoramento contínuo de controles: Drata, Vanta, Secureframe
Plataformas automatizadas de conformidade oferecem monitoramento contínuo de controles que complementa a amostragem pontual da auditoria, detectando falhas de controle à medida que ocorrem, em vez de esperar o próximo ciclo de auditoria. Para profissionais de TPRM, perguntar se os fornecedores usam monitoramento contínuo de controles capaz de detectar falhas isoladas em períodos não amostrados é uma pergunta específica sobre a cobertura dessa lacuna.
Desafios de governança
O desafio de governança das limitações de escopo de auditoria é saber o que ler em relatórios de auditoria extensos. Os relatórios SOC 2 podem ser documentos longos, com muitos detalhes sobre os testes de controle. As informações sobre as limitações de escopo (o que foi excluído, o que foi amostrado, quais exceções ocorreram) estão em seções específicas que exigem uma leitura direcionada. A maioria dos revisores de relatórios lê a opinião geral da auditoria e a descrição do sistema. A metodologia de amostragem, a seção de exceções e as respostas da administração são igualmente importantes para entender o que o relatório afirma de forma válida.
- Leia as seções de exceções: quaisquer controles que não passaram nas instâncias amostradas
- Leia a resposta da administração: como o fornecedor tratou as exceções encontradas nos testes
- Pergunte sobre problemas de controle conhecidos no período de auditoria que não foram registrados nas exceções
- Confirme a atualidade do relatório: quão recente é o período coberto
- Pergunte sobre transições de sistemas durante o período de auditoria que possam não ter sido amostradas
Se você faz parte de uma equipe pequena
Para as suas três relações mais importantes de confiança no SOC 2, leia três seções específicas do relatório mais recente: a seção de exceções, a resposta da administração às exceções e as exclusões da descrição do sistema. Depois, faça ao fornecedor duas perguntas que o relatório não responde: houve algum intervalo, durante a janela de auditoria, em que os controles operaram com qualidade reduzida por causa de transições de sistemas ou problemas operacionais? E quão recente é este relatório em relação ao estado atual do seu ambiente? Essas leituras e perguntas revelarão as limitações de escopo que a opinião da auditoria não aborda.
- Leia a seção de exceções e a resposta da administração nos relatórios SOC 2
- Pergunte sobre problemas conhecidos de qualidade dos controles durante o período de auditoria que não foram registrados como exceções
- Pergunte sobre transições de sistemas durante o período de auditoria
- Confirme a atualidade do relatório e pergunte sobre mudanças posteriores ao período
O que exigir
Pergunte diretamente:
“Durante o período de auditoria do seu SOC 2 mais recente, houve algum intervalo em que controles específicos operaram com qualidade reduzida por causa de migrações de sistemas, transições de plataforma ou problemas operacionais, problemas que podem ter sido corrigidos antes da realização da auditoria, mas que representam lacunas de qualidade dentro do período coberto?”
“Quão atual é o seu relatório SOC 2 mais recente em relação ao seu ambiente atual, e que mudanças significativas ocorreram desde o fim do período de auditoria que afetariam as conclusões do relatório?”
O que esperar como evidência
- Divulgação de problemas conhecidos de qualidade dos controles durante o período de auditoria
- Descrição das mudanças significativas posteriores ao período
- Seção de exceções e resposta da administração do relatório mais recente
- Documentação das transições de sistemas durante o período de auditoria
Um fornecedor que apresenta um relatório SOC 2 Tipo II deve ser questionado sobre problemas de controle conhecidos durante o período de auditoria que foram corrigidos antes da auditoria, mas que representam lacunas de qualidade dentro do período coberto. A auditoria testou amostras. A pergunta é sobre o que as amostras não incluíram.
Como comprovar
- Registros da revisão das exceções e da resposta da administração no SOC 2
- Registros de consultas sobre problemas de controle conhecidos
- Avaliação da atualidade do relatório
- Registros da revisão de mudanças posteriores ao período
Principal conclusão
A auditoria testa amostras. A conclusão cobre o período. Três amostras de quarenta e oito revisões de acesso sustentam uma conclusão de operação eficaz em todas as quarenta e oito. O período de migração de seis semanas, em que as revisões deixaram passar sete contas, estava entre as quarenta e cinco que não foram amostradas. A conclusão é precisa quanto ao que foi testado. Ela não trata do que não foi testado. O SOC 2 Tipo II oferece garantia razoável, uma conclusão de alta confiança baseada em amostragem estatística, e não uma certeza baseada no teste de todas as instâncias. Entender o que significa garantia razoável, e o que a amostragem não cobriu, é a diferença entre usar os relatórios de auditoria de forma adequada e usá-los como substituto da garantia abrangente que eles não foram concebidos para oferecer.