Los 7 principales riesgos y amenazas para la seguridad de la IA
La IA tiene el potencial de revolucionar muchas industrias, incluida la ciberseguridad. Sin embargo, el poder de la IA también conlleva importantes riesgos de seguridad.
#1. Filtraciones de datos
Los modelos de IA se capacitan con grandes volúmenes de datos. Estos datos incluyen instancias etiquetadas de los tipos de sucesos que la IA está diseñada para detectar. Por ejemplo, la IA capacitada para identificar amenazas en el tráfico de red necesita datos de entrenamiento que contengan ejemplos tanto de tráfico normal como malicioso. Estas recopilaciones de datos de entrenamiento pueden contener información confidencial sobre los clientes de una organización y la compañía. Al almacenar y emplear estos datos para capacitar a la IA se corre el riesgo de que sean vulnerados por un atacante.
#2. Ataques adversarios
Los sistemas de IA se capacitan para desarrollar modelos que sean útiles para alcanzar determinados objetivos. Por ejemplo, se puede mostrar a un sistema de IA a diferenciar entre archivos benignos y malware potencial en el tráfico de red.
Los ciberatacantes pueden intentar capacitar sus propios sistemas de IA para aprender los modelos de los defensivos. Esto puede permitir a los atacantes identificar medios para colar ataques al sistema de IA descubriendo lagunas en su modelo.
#3. Manipulación y envenenamiento de datos
Los ataques de manipulación y envenenamiento de datos tienen como objetivo los datos etiquetados empleados para capacitar los modelos de IA. Los atacantes introducirán instancias adicionales mal etiquetadas en esta recopilación de datos. El objetivo de estos ataques es capacitar incorrectamente el modelo de la IA. Si el conjunto de datos de entrenamiento tiene tráfico de ataque etiquetado como benigno, entonces el modelo de IA no reconocerá esos ataques. Esto ofrece al atacante la oportunidad de burlar el sistema de IA una vez desplegado.
#4. Prejuicios y discriminación
Un modelo de IA sólo es tan bueno como sus datos de entrenamiento. Los modelos de IA se capacitan presentándoles muchas entradas etiquetadas y permitiéndoles construir modelos que produzcan las salidas deseadas. El problema de este enfoque es que los datos de entrenamiento sesgados producen modelos de IA sesgados. El ejemplo más común de esto es el hecho de que los sistemas de reconocimiento facial se capacitan predominantemente con imágenes de personas de ciertos grupos demográficos. A menudo, estos sistemas tienen una tasa de error mucho más alta para las personas fuera de los grupos demográficos representados por su conjunto de datos de entrenamiento.
#5. Falta de transparencia
La IA es muy adecuada para identificar patrones, tendencias y relaciones dentro de los datos. Tras capacitar a la IA, su modelo reflejará estas tendencias y será capaz de tomar decisiones e identificaciones basadas en estos patrones. Sin embargo, los modelos empleados por los sistemas de IA no son transparentes ni interpretables. Esto hace inviable determinar si el modelo de la IA contiene sesgos o errores, como los introducidos por un conjunto de datos de entrenamiento corrupto.
#6. Generación automatizada de malware
ChatGPT y herramientas similares ya demostraron un cierto nivel de competencia en programación. Si bien el código escrito por GenAI puede tener errores, puede acelerar el proceso de desarrollo de código y desarrollar aplicaciones sofisticadas. Las herramientas GenAI disponen de protecciones contra la escritura de malware; sin embargo, estas protecciones suelen tener lagunas que permiten eludirlas. La GenAI puede permitir a los actores de amenazas menos sofisticados desarrollar malware avanzado, y sus capacidades no harán más que crecer en el futuro.
#7. Modelar ataques a la cadena de suministro
Capacitar un modelo de IA es un reto complejo. Una organización necesita recopilar un gran corpus de datos etiquetados y emplearlo para capacitar un modelo de IA. Para ello es necesario tener acceso tanto a los datos como a la experiencia en aprendizaje automático y ciencia de datos. Como resultado, muchas organizaciones emplearán modelos de IA desarrollados y capacitados por terceros. Sin embargo, esto introduce el riesgo de que los atacantes se dirijan a las organizaciones que desarrollan el modelo, inyectando datos de entrenamiento maliciosos o tomando otras medidas para dañar el modelo.
Cómo proteger de los riesgos de la IA
La mayoría de los riesgos para la seguridad de la IA se reducen a la seguridad y la calidad de los datos. Si una organización puede mantener los datos de entrenamiento para sus modelos de IA a salvo de la exposición y puede garantizar que los datos de entrenamiento son completos y correctos, entonces los modelos capacitados con esos datos deberían ser precisos.
Sin embargo, muchas organizaciones carecen de los recursos, la experiencia o el deseo de capacitar sus propios modelos de IA. En estos casos, la mejor forma de garantizar la calidad, la corrección y la seguridad de las soluciones de IA es recurrir a un proveedor de confianza con una estable postura de seguridad.
Comentarios