Os desafios da segurança de IA Zero Trust
Muitas organizações estão trabalhando para implementar a estrutura de segurança de confiança zero para gerenciar os riscos corporativos de segurança cibernética. No entanto, o surgimento da IA generativa (GenAI) cria desafios significativos para essa prática, incluindo:
- Limites indistintos: Os modelos de segurança de confiança zero tradicionalmente se baseiam em uma distinção clara entre usuários e aplicativos. No entanto, o aplicativo integrado ao LLM rompe essa distinção, funcionando simultaneamente como ambos.
- Agentes poderosos e ingênuos: Esses "agentes de IA" podem ser vistos como entidades inteligentes, porém ingênuas, dentro de uma organização. Eles são capazes de interações sofisticadas e geração de conteúdo com base em um vasto conhecimento, mas muitas vezes não entendem as normas corporativas e as políticas de segurança.
- Vulnerabilidade da GenAI: a implantação dessas novas entidades de usuário/aplicativo, nas quais não se pode confiar cegamente, apresenta vários desafios de segurança exclusivos, como injeção imediata e envenenamento de dados.
- Vazamentos de dados de IA: O uso não autorizado do GenAI cria riscos de dados e acesso, como vazamento de dados, acesso arriscado a recursos on-line e acesso a recursos corporativos em nome de usuários não autorizados.
- Exposição de dados confidenciais: os usuários podem inserir dados corporativos ou de clientes confidenciais no aplicativo IA, onde eles podem ser usados como dados de treinamento para o LLM e expostos a outros usuários.
- Injeção de prompt: Entradas especialmente elaboradas podem fazer com que um LLM se comporte de forma inadequada, resultando em ações que fogem das proteções do sistema e colocam a empresa e seus dados em risco.
LLMs em uma perspectiva de confiança zero
Para enfrentar esses desafios na implantação do LLM, é imperativo um conjunto exclusivo de medições de confiança zero:
- É fundamental validar, monitorar e reforçar cuidadosamente a entrada, a saída, os dados de treinamento e as tentativas de acesso do aplicativo integrado ao LLM. Para reduzir os riscos associados ao aplicativo integrado ao LLM, as organizações devem ter visibilidade de qualquer tentativa de injeção e envenenamento, inclusão não intencional de dados confidenciais no treinamento e acesso não autorizado.
- De uma perspectiva de confiança zero, não se pode confiar cegamente nessas entidades dinâmicas, autônomas e criativas recém-introduzidas nas organizações. Isso exige uma nova abordagem de segurança ao implementá-las.
- A natureza imprevisível, o amplo conhecimento e a suscetibilidade à manipulação dos LLMs exigem uma estrutura de acesso à IA revisada e baseada em confiança zero. Isso permitirá que os profissionais de segurança garantam proteção de dados, segurança e acesso robustos que estejam em conformidade com as políticas corporativas.
Lista de verificação de IA Zero Trust
Com uma abordagem de acesso Zero Trust IA (ZTAI) em mente, é fundamental ver os aplicativos integrados ao LLM como entidades que precisam de políticas de controle de acesso rigorosas - ainda mais rigorosas do que o funcionário comum. Não podemos confiar na tomada de decisão do LLM sobre qual conteúdo buscar e quais sites acessar. Dessa forma, não podemos confiar nos dados que estão sendo obtidos e apresentados ao usuário, que devem passar por medidas de segurança diligentes.
Lista de verificação de segurança para acesso do aplicativo integrado ao LLM à Internet
O acesso à Internet aumenta drasticamente os riscos de segurança associados ao aplicativo integrado ao LLM. Algumas práticas recomendadas para gerenciar esses riscos incluem:
- Negar acesso quando possível: A menos que seja uma necessidade absoluta, não forneça ao seu modelo acesso à Internet, pois isso aumenta drasticamente a superfície de ataque.
- Implemente controles de acesso: Ao aumentar o LLM com acesso à Internet, certifique-se de que políticas rígidas de controle de acesso estejam em vigor, de acordo com suas políticas organizacionais. Não terceirize suas políticas atuais de controle de acesso para fornecedores externos e aplique-as aos seus novos usuários.
- Bloqueio de sites restritos: implemente a filtragem URL e a proteção phishing para seu aplicativo baseado em LLM para evitar que eles acessem sites restritos.
- Controle estritamente os dados acessíveis: Limite os destinos que o agente pode acessar e os dados que ele pode buscar, com base no caso de uso. As limitações devem incluir conteúdo apropriado, tipos de arquivos e categorias de sites.
- Realizar a validação de dados: Validar continuamente os dados obtidos e apresentados ao usuário pelo LLM. Não confie que o LLM fornecerá apenas dados não prejudiciais, pois ele pode ser propenso a alucinações ou conter dados de treinamento envenenados.
Uma estrutura de acesso de IA de confiança zero não confia no comportamento ou na tomada de decisões do aplicativo integrado ao LLM ao acessar recursos corporativos. Isso inclui quais e quando os recursos são acessados, quais dados são exportados para qual usuário e quais ações podem ser executadas usando esses recursos.
Lista de verificação de segurança para o acesso do aplicativo integrado ao LLM aos recursos corporativos
Assim como fornecer acesso à Internet, permitir que aplicativos integrados ao LLM acessem recursos corporativos pode ser necessário, mas também pode ser perigoso. As práticas recomendadas de segurança para gerenciar esses riscos incluem:
- Restringir o uso de privilégios elevados: Limite os privilégios do aplicativo integrado ao LLM, especialmente para operações de alto risco, como modificação e exclusão de dados corporativos.
- Implemente o privilégio mínimo: Limite os recursos corporativos que o LLM pode acessar ao mínimo absoluto.
- Exigir reautenticação e tempo limite da conta: Antes que o agente execute qualquer operação usando recursos corporativos, exija que o usuário se autentique novamente e limite o tempo da sessão.
- Realize análises comportamentais: Monitorar o comportamento e a tomada de decisões do aplicativo integrado ao LLM. Os fatores a serem observados incluem quais recursos são acessados, quais dados são exportados para qual usuário e quais operações são realizadas usando recursos corporativos.
- Mantenha a visibilidade em tempo real: Certifique-se de ter visibilidade clara, detalhada e em tempo real dos recursos on-line ou corporativos que um agente está acessando e das operações que estão sendo executadas.
- Rastrear comportamentos anômalos: Implementar um sistema para detectar padrões anormais de comportamento do LLM, como acesso inesperado a dados ou desvio de respostas típicas ou padrões de acesso.
- Implementar controles de acesso baseados em função: Implemente uma política de controle de acesso dinâmica baseada no usuário para o agente, o que significa que o LLM herda os mesmos direitos de acesso que o usuário final em cada sessão.
- Minimizar a comunicação entre LLMs: Os danos podem ser exponenciais quando um LLM pode interagir com outro LLM. Certifique-se de limitar a comunicação do aplicativo baseado em LLM ao mínimo absoluto.
Opinião