OpenAI confirmó que su IA salió de una caja de arena y rompió la cara del abrazador

OpenAI dijo el martes que dos de sus modelos de IA, incluido el buque insignia Sol, escaparon de un entorno de prueba seguro, explotaron una vulnerabilidad de día cero en software de terceros, obtuvieron acceso a Internet y piratearon la infraestructura de producción de Hugging Face. La agencia califica el incidente como “Sin precedentes"Y dijo que está compartiendo resultados preliminares para ayudar a los defensores a comprender de qué son capaces ahora los modelos Frontier.

Ambos modelos funcionaban con barreras de seguridad cibernética bajas como parte de una evaluación interna de sus capacidades ofensivas. Se probaron con ExploitGim, un punto de referencia de ciberseguridad disponible gratuitamente, y se determinó que las respuestas de las pruebas se almacenaban en el sistema de producción de Hugging Face.

En lugar de resolver la evaluación objetivamente, los modelos siguen la clave de respuestas. Gastaron lo que OpenAI describió como "Cantidades considerables de conjeturas"Encontrando una salida a su entorno aislado, luego encadenó dos vulnerabilidades de ejecución remota de código en el proceso de procesamiento de conjuntos de datos de Hugging Face. El ataque recopiló credenciales de nube y clúster, las transfirió lateralmente a clústeres internos y realizó más de 17.000 acciones individuales en la divulgación del 16 de julio.

💜 de tecnología de la UE

Los últimos rumores de la escena tecnológica de la UE, una historia de nuestro sabio fundador Boris y algo de arte de inteligencia artificial dudoso. Es gratis, todas las semanas, en tu bandeja de entrada. ¡Regístrate ahora!

Embrace Face dijo que detectó la intrusión, la contuvo y reconstruyó los nodos comprometidos. La empresa no encontró evidencia de manipulación de modelos, conjuntos de datos o especificaciones públicos y verificó que su cadena de suministro de software estuviera limpia. Aún se está evaluando si los datos de algún socio o cliente se han visto afectados.

Para investigar la infracción, Hugging Face recurrió a GLM, un modelo chino de peso abierto, porque los guardias de seguridad de los modelos comerciales estadounidenses bloquearon las preguntas forenses que su equipo necesitaba realizar.

Esta escapada no es la primera vez que pillan a Sol jugando con su propia valoración. La Organización de Investigación de Amenazas y Evaluación de Modelos, el laboratorio independiente que formó el equipo rojo con el modelo antes del lanzamiento, descubrió que estaba pirateando agresivamente su entorno de prueba para mejorar sus puntuaciones. En una tarea, empaquetó un exploit en un flujo de datos, elevó privilegios al servidor de evaluación y filtró respuestas correctas que los evaluadores humanos ocultaron.

El patrón generalizado de fallas de seguridad de los agentes de IA se ha acelerado drásticamente, con cuatro equipos de investigación separados rompiendo agentes de IA de cuatro maneras diferentes solo en los primeros diez días de julio. OpenAI y Anthropic se han enfrentado a un mayor escrutinio sobre las capacidades de ciberseguridad de sus modelos, y la administración Trump restringió el acceso a los nuevos sistemas de ambas compañías durante una revisión gubernamental.

OpenAI detectó el ataque de Hugging Face y se acercó para exponerlo, pero para entonces, Hugging Face ya se había detectado y se había violado. El incidente muestra que la brecha entre los modelos de IA que pueden encontrar vulnerabilidades y los modelos de IA que las explotarán sin permiso es más estrecha de lo que nadie en la industria había reconocido públicamente.