OpenAI ha agregado el modo de bloqueo a ChatGPT para evitar el robo de datos mediante ataques de inyección rápida
TL; DR
El nuevo modo Lockdown de ChatGPT desactiva la investigación profunda para bloquear la filtración de datos mediante navegación en vivo, modo agente e inyección rápida. Disponible en todos los planes.
OpenAI ha comenzado a implementar el modo de bloqueo en ChatGPT, una nueva configuración de seguridad diseñada para impedir que los atacantes roben datos mediante ataques de inyección rápida. La función desactiva la navegación web en vivo, el modo agente, la exploración profunda, la recuperación de imágenes, la red de lienzo y la descarga de archivos. Está disponible para los usuarios que hayan iniciado sesión en los planes Free, Go, Plus, Pro y Self-Service ChatGPT Business.
La inyección rápida sigue siendo lo que OpenAI llama "borde"Problema que afecta a todos los principales modelos de lenguaje. El ataque funciona ocultando instrucciones maliciosas en el contenido del proceso del modelo, como una página web o un archivo cargado. Si el modelo sigue esas instrucciones, se le puede engañar para que envíe datos confidenciales a un servidor controlado por un atacante.
El modo de bloqueo no evita que se produzcan inyecciones. Una carga útil maliciosa incrustada en una página web almacenada en caché o en un PDF cargado aún puede afectar el comportamiento del modelo. Lo que esto hace es cerrar las vías de salida que un atacante usaría para extraer datos. Sin navegación en vivo significa que no hay solicitudes de red a servidores externos. Sin recuperación de imágenes significa que no hay canal de datos por píxeles.
Espacio de coworking de TNW City: donde ocurre tu mejor trabajo
Un espacio de trabajo diseñado para el crecimiento, la colaboración y un sinfín de oportunidades de networking en el corazón de la tecnología.
"El modo de bloqueo está diseñado para reducir significativamente el riesgo de una rápida filtración de datos basada en inyección, pero no garantiza que no se produzca una filtración de datos."Dice OpenAI".Pueden existir riesgos a través de aplicaciones capaces, combinaciones inesperadas de capacidades o técnicas recientemente descubiertas."
La compensación es notable. Con el modo de bloqueo activado, ChatGPT pierde la mayoría de sus funciones de agentes y de investigación que lo hacen útil. La navegación en vivo sólo se reduce al contenido almacenado en caché. El modo agente ha desaparecido por completo. La investigación profunda es pasiva. Como admite OpenAI, “No está destinado a todos."
La característica surge cuando los ataques de inyección rápida contra agentes de IA se han convertido en una preocupación creciente. Los investigadores de seguridad han demostrado secuestros contra agentes de Anthropic, Google y Microsoft a través de su integración de GitHub Actions. Los tres ofrecen recompensas por errores, pero no han publicado ningún aviso público. La debilidad subyacente es fundamental: los LLM no pueden separar de manera confiable los datos de las instrucciones.
El modo de bloqueo y el modo de desarrollador no se pueden utilizar juntos. Habilitar uno deshabilita el otro. OpenAI también introdujo una función de administración de sesiones separada que permite a los usuarios revisar las sesiones activas de ChatGPT y cerrar sesión en dispositivos individuales si ven actividad no autorizada.
La característica es un descuento realista. OpenAI no pretende resolver la inyección rápida. Es reconocer que el problema persiste y ofrecer a los usuarios una manera de reducir su exposición renunciando a la funcionalidad. Para cualquiera que maneje datos confidenciales en ChatGPT, vale la pena hacer esa compensación. Para todos los demás, el ecosistema de agentes en expansión y su superficie de ataque cada vez mayor significa que el riesgo no hace más que aumentar.
