OpenAI informó que dos de sus modelos lograron vulnerar las restricciones en entorno de pruebas y acceder a una plataforma externa durante una evaluación de ciberseguridad.
Cristian Ruz, académico del Departamento de Ciencia de la Computación UC, explica lo que puede estar revelando este episodio sobre la evolución de los modelos de inteligencia artificial, los riesgos asociados y la necesidad de fortalecer la regulación y la supervisión humana.
“Chat GPT 5.6 Sol” y otro modelo que aún no ha sido lanzado por Open AI, fueron los que lograron vulnerar las restricciones de un entorno de pruebas que estaban diseñadas para medir sus capacidades en materia de ciberseguridad, accediendo a internet e incluso llegando a ingresar a Hugging Face que es una de las principales plataformas de código abierto para desarrolladores de IA.
Para ingresar, estos modelos utilizaron credenciales robadas, frente a lo que Open AI declaró que esto fue un “incidente sin precedentes”. Este suceso fue detectado por el equipo de seguridad de Hugging Face y actualmente ambas organizaciones trabajan en conjunto para investigar lo ocurrido.
Para Cristian Ruz, académico del Departamento de Ciencia de la Computación UC, este episodio demuestra el nivel que están alcanzando los modelos de lenguaje de gran escala (LLM).
“Ha pasado recientemente dentro de la experimentación con modelos del tipo LLM cada vez más avanzados, que se utilizan para analizar vulnerabilidades en sitios de internet. Sin ir más lejos, hace unos meses se descubrió con ayuda de un agente de IA una vulnerabilidad en Linux que había estado presente hace años y nadie la había detectado. Se parchó rápidamente, pero de no ser por ese agente tal vez no se hubiese descubierto y seguiría ahí”, explica.
Aunque el caso ha generado preocupación, el académico explica que estas mismas capacidades pueden utilizarse para mejorar la seguridad digital.
“No sería extraño que este tipo de incidentes se vuelva cada vez más común. En esta ocasión se declaró lo que ocurrió durante una fase de prueba de las capacidades de un modelo, pero no debería sorprendernos que en el futuro cercano (si es que no está pasando ahora), otras personas realicen ataques intencionados usando modelos particulares de LLM.” (…) “Por otro lado, así como los modelos son capaces de realizar ataques también puede ser usado para levantar defensas ante acceso indebido o detectando vulnerabilidades”, señaló.
Con respecto a la regulación de estas nuevas tecnologías, Cristian Ruz comenta que no hay legislación preparada para abordar todos los escenarios en donde los agentes de IA puedan ejecutar acciones complejas de manera autónoma:
“Este tipo de uso es tan nuevo que la legislación actual realmente no considera el hecho que sea un agente de IA el que está detrás de un ataque. Últimamente el agente actúa bajo una orden a través de un prompt de manera que en cualquier caso la entidad que diseñó ese prompt es últimamente responsable”.
Para el académico, el desarrollo de modelos con capacidades cada vez más autónomas hace indispensable fortalecer tanto las medidas de seguridad como la supervisión humana.
