TECNOLOGIA

OpenAI creó GPT-Red para hackear su propia IA y ocultarla

OpenAI entrenó a un hacker de élite y luego lo encerró en una jaula. Toda su función es romper la propia IA de OpenAI. La compañía dice que es demasiado peligroso permitir que alguien más se acerque.

El modelo se llama GPT-RED y OpenAI lo detalló esta semana. Es un temporizador automático: software que busca formas de secuestrar o sabotear otros sistemas de inteligencia artificial, de modo que los agujeros puedan repararse antes de exponerse. La gente lleva mucho tiempo haciendo esto a mano. Este es el impulso más profundo de OpenAI hasta el momento para automatizar su propia protección de IA, y GPT-Red lo hace a la velocidad de una máquina.

El objetivo de OpenAI era la inyección rápida, donde instrucciones ocultas, enterradas en un correo electrónico, una página web o un archivo, engañan a un modelo para que haga algo que no debería. Esto luego libera al hacker hacia el objetivo real.

dojo de entrenamiento

GPT-Red aprende luchando. OpenAI lo pone en un bucle de juego autónomo contra un escuadrón de modelos defensores. GPT-RED se otorga por realizar un ataque; Los defensores resistirán un cierre. A medida que los defensores se vuelvan más inteligentes, GPT-Red seguramente descubrirá peores tácticas. OpenAI dijo que invirtió su mayor ejecución informática en el modelo, que calificó de sin precedentes para el trabajo de seguridad.

Espacio de coworking de TNW City: donde ocurre tu mejor trabajo

Un espacio de trabajo diseñado para el crecimiento, la colaboración y un sinfín de oportunidades de networking en el corazón de la tecnología.

Ha sido bueno. En declaraciones a MIT Technology Review, el equipo dijo que GPT-RED ha descubierto una clase de ataque completamente nueva que nunca antes habían visto, al que llaman "cadenas de pensamiento". Coloca una nota falsa en la memoria de trabajo personal de un modelo, engañándolo para que crea algo que no es cierto.

"Es como si te dijera que 1+1=3 y ya lo hubieras verificado", dice el investigador de OpenAI Chris Choquet-Chu. "El modelo dice: 'Oh, está bien, claro' y simplemente escupe 3″.

Hackeo de máquinas expendedoras

Examen físico realizado. En uno, GPT-RED atacó a Vendy, un agente de IA que maneja una máquina expendedora real en la oficina de OpenAI construida por Andon Labs. Cambió los precios, rebajó un artículo caro en un mínimo de 50 centavos y canceló el pedido de un cliente. OpenAI dice haber revelado las fallas.

Las puntuaciones son interesantes. A diferencia de un GPT-5 más antiguo, los robustos ataques de GPT-Red funcionaron más del 90% del tiempo. A diferencia del nuevo GPT-5.6, menos del 23% lo hizo. En una prueba en 2025, GPT-Red venció a los equipos humanos rojos sin dudas, ganando el 84% de las situaciones frente al 13%.

enjaulado

OpenAI entrenó GPT-5.6 contra GPT-Red y lo llamó el modelo más robusto hasta el momento contra la inyección rápida. Pero no entregará al atacante en sí, por lo que sus capacidades son claras respecto de los secuestradores de agentes reales. Este no es el primer laboratorio que crea algo y decide no publicarlo.

"No es algo trivial que cualquiera pueda hacer fácilmente", dijo Choquette-Choo, "simplemente ve y entrena a un súper atacante usando este concepto".

GPT-Red todavía tiene puntos ciegos. Es débil a la hora de retirarse, avanzar y atacar y ocultar instrucciones dentro de la imagen. Y los evaluadores humanos tienden a captar lo que se pierden. "Creo que las habilidades humanas seguirán siendo muy importantes", afirmó Jessica Gee, analista de seguridad de IA en el CSET de Georgetown.

La gran idea es un volante: utilizar los modelos de hoy para impulsar el mañana. OpenAI ya lo hace para hacer que su IA sea más inteligente. Ahora quiere seguridad con la misma rapidez. Se entregará un artículo completo a finales de esta semana.

Source link

Redacción - ACN

Somos un portal de noticias líder en la República Dominicana que se especializa en ofrecer una cobertura informativa integral. Desde eventos políticos y económicos hasta avances científicos y noticias de entretenimiento, este sitio web es tu fuente confiable para mantenerse al día con los acontecimientos más relevantes tanto a nivel nacional como internacional. Además de ofrecer informes actualizados, ACN también se destaca por sus análisis en profundidad y sus entrevistas exclusivas que proporcionan una comprensión más completa de las noticias.

Artículos Relacionados

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Volver arriba botón