Amazon dice que la supervisión de la IA por parte de humanos está fallando porque los humanos dejan de prestar atención

El liderazgo en seguridad de Amazon está argumentando en contra de los principios más ampliamente aceptados de gobernanza de la IA. Eric Brandwein, vicepresidente e ingeniero principal de Amazon Security, dijo a The Register que la supervisión humana no es el estándar de oro que creen las empresas.

"La gente es terriblemente inconsistente."Dice Brandwine."El ser humano en el circuito no es necesariamente el estándar de oro."

Su argumento se basa en una idea de la que ha estado hablando desde al menos 2017, cuando dio una charla sobre la normalización de la desviación en AWS re:Invent. El término describe cuando las personas en una organización toman atajos a lo largo del tiempo y nada produce resultados desastrosos, por lo que el comportamiento desviado se convierte en la nueva normalidad.

💜 de tecnología de la UE

Los últimos rumores de la escena tecnológica de la UE, una historia de nuestro sabio fundador Boris y algo de arte de inteligencia artificial dudoso. Es gratis, todas las semanas, en tu bandeja de entrada. Regístrate ahora!

Brandwine ilustra este punto con las salas de emergencia. En el primer día de trabajo de una enfermera, cada alarma genera una respuesta.

Después de semanas de falsas alarmas sin resultados, la disciplina se resquebraja. Finalmente, se pasa por alto una verdadera emergencia.

"Literalmente, la vida de alguien está en juego y la gente todavía lucha por mantener el orden,"Dice Brandwine."Ésta es la condición humana."

Aplicó la misma lógica a la supervisión de agentes de IA. Cuando se le pide a un ser humano que apruebe o desapruebe repetidamente acciones de agencia, el desempeño disminuye rápidamente.

"Les irá bien."Dice Brandwine."Y luego harán algo bueno y muy rápidamente harán algo malo."

Amazon no está sola en este replanteamiento. El director de operaciones de Google Cloud, Francis D’Souza, dijo en abril que la industria se ha movido "Desde una estrategia de defensa liderada por humanos hasta una estrategia de defensa con humanos involucrados y una estrategia de defensa liderada por IA supervisada por humanos."

El modelo de Google es ahora una flota de agentes que maneja tareas rutinarias de ciberseguridad a la velocidad de una máquina, con humanos supervisando en lugar de aprobar cada tarea.

El director ejecutivo de Microsoft, Satya Nadella, argumentó esta semana que “bucle de aprendizaje,"Donde las empresas convierten sus flujos de trabajo y su juicio acumulado en sistemas de IA que mejoran con cada uso en lugar de insertar un punto de control humano en cada paso. IBM emitió un llamado por separado a la responsabilidad humana en todas las etapas del desarrollo de la IA, no a los humanos en el circuito, advirtiendo que el monto final"Blanqueo de responsabilidad"

La alternativa de Amazon es Brandwine llamado “La responsabilidad es de principio a fin." Realiza un seguimiento de la identidad y la propiedad humana a lo largo de todo el flujo de trabajo, incluso cuando los humanos no autorizan directamente cada paso. Si un agente escribe y ejecuta un script que provoca una interrupción, la persona que implementó el agente sigue siendo responsable.

Todos los agentes de Amazon están identificados de forma independiente. El registro de actividad muestra "Este agente lo hizo por Eric."No"Eric lo hizo."La diferencia se hace para que la gente piense en cómo usan la IA, no para que tengan miedo de usarla.

Los desafíos prácticos son considerables. Brandwine describió que él “comportamiento de búsqueda de objetivos," Cuando un agente solicita actualizar una base de datos, opta por una única ruta destructiva, como eliminar la base de datos y volver a crearla.

Esta no es una inyección inmediata. No hay entradas corruptas. El agente simplemente se queda atascado en el movimiento equivocado.

Decirle al agente que no está permitido eliminar la base de datos no ayuda, porque el agente busca otra ruta al mismo destino. Estudios recientes han demostrado que los agentes de IA conectados a sistemas reales crean una superficie de ataque que las herramientas de seguridad existentes no cubren y que los agentes a menudo actúan de acuerdo con instrucciones que rechazan.

Según Brandwine, lo que funciona es decirle al agente por qué no puede realizar una acción, explicarle cómo afectará a la producción y "No provoca efecto de fabricación."Como parte del mensaje".Dado que los comentarios adicionales nos dieron resultados dramáticamente mejores," dijo.

La cuestión del permiso es donde reside el entusiasmo. Los empleados quieren agentes poderosos con amplio acceso. Los grupos de seguridad buscan permisos más restringidos.

La carrera por gestionar a qué pueden acceder los agentes de IA dentro de los sistemas empresariales ya ha provocado importantes adquisiciones: 1Password compró la startup de gestión de acceso Apono a principios de este mes por un valor estimado de entre 250 y 300 millones de dólares.

El enfoque de Amazon utiliza políticas en capas: vallas estáticas que prohíben la actividad destructiva, un conjunto de privilegios máximos para cada agente y políticas de alcance dinámico basadas en tareas específicas y la intención del usuario. Nada de esto es infalible.

"Tenemos miles de años de experiencia con las personas."Dice Brandwine."La IA agente es un campo muy, muy nuevo."La diferencia fundamental, señala, es que la gente teme las consecuencias, como perder el trabajo o ir a la cárcel.

Los agentes no tienen este miedo y los atacantes ya están aprovechando esa laguna.

"Todo está impulsado por el riesgo."Dice Brandwine."Estamos tratando de equilibrar el riesgo de utilizar software redundante y no probado con el riesgo de quedarnos atrás y no poder cumplir con nuestros clientes."