RAIN de la UPV trabaja en un proyecto estratégico de ciberseguridad que analiza las vulnerabilidades de sistemas con IA
El proyecto estudia los problemas de seguridad y privacidad en sistemas con inteligencia artificial y los mecanismos para hacer estos sistemas más seguros
El Instituto Universitario Valenciano de Investigación en Inteligencia Artificial (VRAIN) de la Universitat Politècnica de València (UPV) está trabajando en un proyecto de ciberseguridad que analiza las vulnerabilidades de sistemas que incorporan Inteligencia Artificial (IA).
Dentro del proyecto SPRINT, Seguridad y PRivacidad en sistemas con INTeligencia Artificial, se han estudiado las dificultades con las que se encuentran los desarrolladores de asistentes que utilizan la inteligencia artificial, tales como Amazon y Alexa.
Sus conclusiones se presentarán en la USENIX Security Symposium, una de las conferencias más importantes en materia de ciberseguridad a nivel internacional del 14 al 16 de agosto de 2024 en Philadelphia (EE.UU).
El proyecto, financiado por el Instituto Nacional de Ciberseguridad (INCIBE), aborda tres focos de vulnerabilidades en sistemas con inteligencia artificial. Por un lado la seguridad y privacidad de los datos, tanto los datos que utilizan los modelos de inteligencia artificial, como las capacidades que dan estos modelos, y en las que podrían estar implicados datos de terceros.
Vulnerabilidades por sistemas no entendibles
En segundo lugar, las vulnerabilidades del propio sistema que pueden hacer que no funcione adecuadamente, como malware. Y el tercero, hacer que los sistemas que utilizan IA sean entendibles, tanto para usuarios, operadores y desarrolladores, de forma que puedan proporcionar al usuario el contexto adecuado para usarlos correctamente.
Tal y como explica, el investigador principal de este proyecto en VRAIN y Catedrático de Universidad en la UPV, José Such, “la inteligencia artificial (IA) está teniendo un nivel de progreso y de impacto en la sociedad cada vez mayor. Muchos de los sistemas que usamos en la actualidad traen consigo algún modelo de IA para ofrecer características avanzadas que no estaban disponibles antes”.
Y añade que este uso masivo de IA en sistemas “tiene muchos beneficios en términos de funcionalidad y comodidad, para hacer, en muchas ocasiones, tareas complejas o repetitivas de forma fácil y muy rápida. Sin embargo, al tiempo que se introduce la IA estamos introduciendo nuevos vectores de ataque, como sucede casi siempre que se introducen nuevas tecnologías. Pero la gran mayoría de técnicas de IA se desarrollaron inicialmente sin considerar que podía haber adversarios que las atacaran o se aprovecharan de ellas cuando se embeben en sistemas”.
Mecanismos para hacer más seguros los sistemas con IA
De este modo, los resultados del proyecto SPRINT permitirán conocer qué vulnerabilidades se introducen cuando se utiliza IA en los sistemas, y los mecanismos que se pueden poner en marcha para hacer estos sistemas lo más seguros posibles.
El proyecto está liderado por el Human-Centred & AI Security, Ethics and Privacy (HASP) Lab (https://hasp-lab.github.io/) de VRAIN de la UPV. SPRINT, que arrancó en noviembre de 2023, tendrá una duración de 2 años, hasta diciembre de 2025. Este proyecto es parte del convenio entre INCIBE y la Universitat Politècnica de València titulado “Seguridad y PRivacidad en sIstemas con inteligeNcia arTificial” (SPRINT) incluido en los Proyectos Estratégicos en España, en el marco del Plan de Recuperación, Transformación y Resiliencia, con la financiación de los Fondos Next Generation-EU”.