Los retos de la seguridad de la IA de confianza cero
Muchas organizaciones están trabajando en la implementación del marco de seguridad Zero Trust para gestionar los riesgos de ciberseguridad corporativa. Sin embargo, la aparición de la IA generativa (GenAI) crea importantes retos para esta práctica, entre ellos:
- Límites borrosos: Los modelos de seguridad confiable cero se basaron tradicionalmente en una clara distinción entre usuarios y aplicación. Sin embargo, la aplicación integrada de LLM trastoca esta distinción, funcionando simultáneamente como ambas.
- Agentes poderosos e ingenuos: Estos "agentes de IA" pueden ver como entidades inteligentes pero ingenuas dentro de una organización. Son capaces de interacciones sofisticadas y generación de contenido basados en un vasto conocimiento, pero a menudo carecen de una comprensión de las normas corporativas y las políticas de seguridad.
- Vulnerabilidad de GenAI: la implementación de estas nuevas entidades de usuario/aplicación, en las que no se puede confiar ciegamente, plantea varios retos de seguridad únicos, como la inyección puntual y el envenenamiento de datos.
- Fuga de datos de la IA: El uso no autorizado de GenAI crea riesgos de acceso y datos, como la fuga de datos, el acceso arriesgado a recursos en línea y el acceso a recursos corporativos en nombre de usuarios no autorizados.
- Exposición de datos sensibles: Los usuarios pueden introducir datos sensibles de empresas o clientes en IA aplicación, donde podrían emplear como datos de entrenamiento para el LLM y quedar expuestos a otros usuarios.
- Inyección inmediata: Las entradas especialmente diseñadas pueden hacer que un LLM se comporte mal, lo que resulta en acciones que evaden las barreras de seguridad del sistema y ponen en riesgo a la compañía y sus datos.
Los LLM desde una perspectiva Zero-Trust
Para abordar estos retos en la implementación del LLM, es imprescindible contar con un conjunto único de medidas de confianza cero:
- Es crucial validar, monitorear y hacer cumplir cuidadosamente la entrada, la salida, los datos de formación y los intentos de acceso por parte de la aplicación integrada en LLM. Para mitigar los riesgos asociados a la aplicación integrada en LLM, las organizaciones deben tener visibilidad de cualquier intento de inyección y envenenamiento, inclusión involuntaria de datos sensibles en la formación y acceso no autorizado.
- Desde una perspectiva de confianza cero, no se puede confiar ciegamente en estas entidades dinámicas, autónomas y creativas recién introducidas dentro de las organizaciones. Esto requiere un nuevo enfoque de la seguridad al implementarlos.
- La naturaleza impredecible de los LLM, sus amplios conocimientos y su susceptibilidad a la manipulación exigen un marco de acceso a la IA revisado y basado en la confianza cero. Esto permitirá a los profesionales de la seguridad garantizar una estable protección de datos, seguridad y acceso que cumpla con las políticas corporativas.
Lista de control de la IA de confianza cero
Con un enfoque de acceso IA de confianza cero (ZTAI) en mente, es crucial considerar la aplicación integrada en LLM como entidades con necesidad de estrictas políticas de control de acceso, incluso más estrictas que las del empleado medio. No podemos confiar en la toma de decisiones de LLM sobre qué contenido obtener y a qué sitios web acceder. En consecuencia, no podemos confiar en los datos que se obtienen y se presentan al usuario, que deben estar bajo medidas de seguridad diligentes.
Lista de comprobación de seguridad para el acceso a Internet de la aplicación integrada en LLM
El acceso a Internet incrementa significativamente los riesgos de seguridad asociados a la aplicación integrada en LLM. Algunas de las mejores prácticas para gestionar estos riesgos son las siguientes:
- Denegar el acceso cuando sea posible: A menos que sea una necesidad absoluta, no proporcione a su modelo acceso a Internet, ya que aumenta significativamente la superficie de ataque.
- Implementar controles de acceso: Al aumentar LLM con acceso a Internet, cerciorar de que se implementen políticas de control de acceso estrictas, en línea con las políticas de su organización. No externalice sus políticas de control de acceso actuales a proveedores externos y aplíquelas a sus nuevos usuarios.
- Bloquee los sitios web restringidos: Implemente el filtrado URL y la protección phishing para su aplicación basada en LLM para evitar que accedan a sitios web restringidos.
- Controle estrictamente los datos accesibles: Limite los destinos a los que puede acceder el agente y los datos que puede obtener, en función del caso de uso. Las limitaciones deben incluir el contenido, los tipos de archivo y las categorías de sitios web adecuados.
- Realizar la validación de datos: Valide continuamente los datos obtenidos y presentados al usuario por el LLM. No confíe en que el LLM solo proporcione datos inofensivos, ya que puede ser propenso a alucinaciones o contener datos de entrenamiento envenenados.
Un marco de acceso a la IA de confianza cero no confía en el comportamiento o la toma de decisiones de la aplicación integrada en el LLM cuando accede a los recursos corporativos. Esto incluye a qué recursos se accede y cuándo, qué datos se exportan a qué usuario y qué acciones se pueden realizar con estos recursos.
Lista de comprobación de seguridad para el acceso de la aplicación integrada LLM' a los recursos corporativos
Al igual que proporcionar acceso a Internet, permitir que la aplicación integrada en LLM acceda a los recursos corporativos puede ser necesario pero también peligroso. Las mejores prácticas de seguridad para gestionar estos riesgos incluyen:
- Restrinja el uso de privilegios elevados: Limite los privilegios de la aplicación integrada en LLM, especialmente para las operaciones de alto riesgo, como la modificación y eliminación de datos corporativos.
- Implementar privilegios mínimos: Limite los recursos corporativos a los que puede acceder su LLM al mínimo absoluto.
- Requerir reautenticación y tiempos de espera de la cuenta: Antes de que el agente realice cualquier operación empleando recursos corporativos, exija al usuario que vuelva a autenticar y limite el tiempo de la sesión.
- Realice análisis de comportamiento: Monitorear el comportamiento y la toma de decisiones de la aplicación integrada en LLM. Los factores a tener en cuenta incluyen a qué recursos se accede, qué datos se exportan a qué usuario y qué operaciones se realizan con recursos corporativos.
- Mantenga la visibilidad en tiempo real: Cerciorar de tener una visibilidad clara, detallada y en tiempo real de los recursos en línea o corporativos a los que accede un agente y de las operaciones que se ejecutan.
- Seguimiento de comportamientos anómalos: Implementar un sistema para detectar patrones de comportamiento anormales por parte del LLM, como el acceso inesperado a los datos o la desviación de las respuestas típicas o los patrones de acceso.
- Implemente controles de acceso basados en roles: Implemente una política dinámica de control de acceso basada en el usuario para el agente, lo que significa que el LLM hereda los mismos derechos de acceso que el usuario final en cada sesión.
- Minimice la comunicación entre LLM: El daño puede ser exponencial cuando un LLM puede interactuar con otro LLM. Cerciorar de limitar la comunicación de la aplicación basada en LLM al mínimo absoluto.
Comentarios