Sam Altman se disculpa después de que OpenAI ChatGPT decidiera no denunciar al usuario que disparó contra la escuela Tumblr Ridge

Sam Altman publicó una carta abierta a la comunidad de Tumblr Ridge, Columbia Británica, el jueves, disculpándose por el hecho de que OpenAI no haya alertado a las autoridades cuando sus propios sistemas señalaron a un usuario que llevó a cabo el tiroteo escolar más mortífero de Canadá en casi cuatro décadas. "Lamento profundamente que no hayamos alertado a las autoridades sobre la prohibición de la cuenta en junio."Escribió Altman."Si bien sé que las palabras nunca serán suficientes, creo que es necesaria una disculpa para reconocer la pérdida y el daño irreparable a su comunidad.La carta, fechada el 23 de abril y hecha pública un día después, llega 72 días después de que Jessie Van Rutselaer, de 18 años, fuera asesinada en un tiroteo que comenzó en una casa familiar y terminó en la escuela secundaria Tumbler Ridge el 10 de febrero, matando a ocho e hiriendo a 27. La detección automatizada de abuso de OpenAI marcó la cuenta de Van Rutselaer hace ocho meses en App205 en junio. Una docena de empleados revisaron las conversaciones marcadas, que involucraban situaciones de violencia armada. descrito y algunos sugirieron contactar a la policía canadiense. La cuenta fue prohibida. Van Rutselaer creó una segunda cuenta y no fue identificado.

la decisión

El Wall Street Journal informó por primera vez sobre el debate interno de OpenAI. Los empleados que revisaron las cuentas marcadas de Van Rutselaer encontraron lo que describieron como "síntomas deUn riesgo inminente de daño grave a otros." Aumentaron su recomendación de informar la conversación a las autoridades. El líder aplicó lo que un portavoz de OpenAI llamó más tarde un "umbral alto" para informes de amenazas creíbles e inminentes y concluyó que la actividad no cumplía con ese requisito. La cuenta fue cerrada. La conversación se mantuvo interna. No se contactó a la policía. Ocho meses después, Van Rutselaar encontró a su madre, Jennifer Strang, de 39 años, y a su medio hermano de 11 años, Emmett. Mató a Jacobs en la escuela secundaria y abrió fuego "Lesión cerebral traumática y catastróficaincluyendo discapacidades cognitivas y físicas permanentes. Van Rutselaer se suicidó en la escuela.

Una demanda civil presentada por Sia Edmonds en nombre de su hija Maya en marzo ante la Corte Suprema de Columbia Británica alega que ChatGPT proporcionó “Información, orientación y asistencia en la planificación de un tiroteo masivo, incluidos los tipos de armas utilizadas y la descripción de precedentes de otros tiroteos o incidentes históricos de violencia." Los contenidos específicos de las conversaciones no se han hecho públicos. El primer ministro de BC, David Eby, dijo que deliberadamente no preguntó qué había en los registros de chat para evitar comprometer la investigación de la RCMP. Lo que se sabe es que el propio sistema de OpenAI marcó las conversaciones como potencialmente peligrosas, los propios empleados de OpenAI recomendaron acciones y el liderazgo de OpenAI decidió no actuar. La disculpa no es por el fracaso de la detección. La detección funcionó. La disculpa es por lo que sucedió después de que la detección funcionó.

la carta

💜 de tecnología de la UE

Los últimos rumores de la escena tecnológica de la UE, una historia de nuestro sabio fundador Boris y algo de arte de inteligencia artificial dudoso. Es gratis, todas las semanas, en tu bandeja de entrada. Regístrate ahora!

La carta de Altman estaba dirigida a la comunidad de Tumblr Ridge y se publicó después de que BC Premier AB revelara que Altman había aceptado disculparse durante discusiones anteriores sobre el manejo del caso por parte de OpenAI. "He pensado en ti a menudo durante los últimos meses", escribió Altman. "No puedo imaginar nada peor que perder a un hijo en el mundo."Agregó:"Reitero el compromiso que asumí con el alcalde y el primer ministro de encontrar formas de prevenir tragedias similares en el futuro. En el futuro, nuestro enfoque seguirá siendo trabajar con todos los niveles de gobierno para ayudar a garantizar que nada como esto vuelva a suceder."La carta no contenía compromisos políticos específicos, ni detalles sobre qué cambiaría OpenAI, ni reconocimiento de que los empleados habían recomendado informar la cuenta y que se canceló. Eby pidió una disculpa".necesario"pero"Tumblr es tremendamente inadecuado para la devastación causada a la familia de Ridge.El alcalde de Tumbler Ridge, Daryl Krakowka, acusó recibo y pidió "cuidado y consideración" mientras la comunidad atraviesa el proceso de duelo.

Los compromisos políticos llegaron por separado en una carta de Anne O’Leary, vicepresidenta de política global de OpenAI, a los ministros federales canadienses. O’Leary escribe que OpenAI ha reducido su umbral de informes para que un usuario ya no necesite discutir "Objetivos, medios y tiempo"La violencia planificada es una conversación marcada para remisiones a las autoridades. La compañía ha reclutado especialistas en salud mental y comportamiento para ayudar a evaluar los casos señalados y ha establecido contacto directo con la RCMP. O’Leary dijo que, según la política actualizada, las interacciones de Van Rutselaer "Fue remitido a la policía."Si se descubren hoy. Los cambios son voluntarios. No son legalmente vinculantes. Se pueden revertir en cualquier momento. Canadá no tiene una ley que obligue a las empresas de inteligencia artificial a informar sobre las amenazas identificadas a través de sus plataformas, y el gobierno federal aún tiene que introducir una.

patrón

Tumbler Ridge no es un incidente aislado. Florida inicia la primera investigación criminal sobre una empresa de inteligencia artificial ChatGPT con orientación sobre cómo manejar las armas de fuego antes del presunto ataque luego de aconsejar al pistolero que abriera fuego en la Universidad Estatal de Florida, que dejó dos muertos y cinco heridos. NPR informó el 23 de abril que “OpenAI está bajo investigación después de que dos tiradores usaran ChatGPT para planificar ataques"Siete familias demandan por separado a ChatGPT contra OpenAI y sus abogados"Entrenador suicida", con muertes documentadas en Texas, Georgia, Florida y Oregón. En otro caso, OpenAI fue demandada por supuestamente ignorar tres advertencias sobre un usuario peligroso, incluida su propia bandera interna de asesinato en masa. El número de incidentes de seguridad de IA reportados aumentó de 149 en 2023 a 233 en 2024, y 520% ​​y 520%. Será significativamente mayor.

El patrón que conecta estos casos no es que los sistemas de IA generen violencia espontáneamente. Es que las empresas de IA están detectando comportamientos peligrosos en sus plataformas y tomando decisiones internas sobre si actuar en consecuencia, decisiones que conllevan consecuencias de vida o muerte pero que no están guiadas por estándares externos, obligaciones legales ni supervisión regulatoria. El riesgo cada vez mayor de dependencia emocional de los chatbots de IA, incluido el fenómeno que los investigadores llaman "psicosis de IA", plantea la pregunta de qué sucede cuando los sistemas optimizados para mantener la participación se vuelven demasiado confiados para los usuarios en crisis. El "alto umbral" de OpenAI para la presentación de informes era un criterio empresarial, no un estándar legal. Los empleados que recomendaron contactar a la policía aplicaron su propio razonamiento moral. Los funcionarios que los ignoraron aplicaron un cálculo diferente, que sopesó los riesgos legales y de reputación de informar con los riesgos legales y de reputación de no informar, y probablemente se equivocaron catastróficamente.

Pregunta de seguridad

OpenAI anunció una beca de seguridad externa después de que una investigación del New Yorker informara que había disuelto su equipo de seguridad interno, una secuencia que captura el enfoque de la empresa hacia la gobernanza de la seguridad con una precisión inquietante. Antes de su partida, el grupo Superlinement encabezado por Ilya Sutskever se disolvió. El Grupo Preparatorio AGI se disolvió. La seguridad se eliminó de las presentaciones del IRS de OpenAI cuando la empresa pasó de ser una estructura sin fines de lucro a una con fines de lucro. El propio jefe de robótica de OpenAI renunció por preocupaciones sobre la gobernanza de la seguridad, objetando específicamente que "La vigilancia de los estadounidenses sin supervisión judicial y la autonomía letal sin aprobación humana son líneas que merecen más consideración de la que reciben."Las becas externas, los cambios voluntarios de políticas y la carta de Altman comparten una característica común: son gestos que gobiernan OpenAI. Pueden anunciarse, modificarse o revocarse sin aprobación externa. Crean la apariencia de responsabilidad sin su proceso.

Lanzamiento reciente de la política de seguridad de código abierto de OpenAI para usuarios adolescentes Cubre categorías de violencia gráfica, actividades peligrosas y otros daños que la propia OpenAI los llama “Suelo de seguridad significativo", no es una solución integral. La brecha entre el piso y el techo es donde ocurrió Tumbler Ridge. El sistema marcó a un adolescente que describía una situación de violencia armada. La política decía que eso no era suficiente para informar. El adolescente mató a ocho personas. Un umbral más bajo habría presentado un informe a la RCMP. Si esto funcionaría o no de acuerdo con la ley, ¿lo haría la RCMP de acuerdo con la ley? Intervención basada en conversaciones de ChatGPT, ninguna de las cuales podría haber evitado el tiroteo. Las preguntas no se pueden responder porque el El informe nunca se realizó, pero la política actualizada sigue siendo voluntaria, interna y sujeta a las mismas anulaciones de liderazgo que impiden que se presente.

la brecha

El ministro de IA de Canadá, Evan Solomon, dijo que la promesa de OpenAI "No vayas lo suficientemente lejos."Los ministros federales de las carteras de Innovación, Justicia, Seguridad Pública y Cultura se reunieron con representantes de OpenAI cuando el gobierno convocó a los ejecutivos de la compañía a fines de febrero. Un grupo de trabajo conjunto entre Innovación, Ciencia y Desarrollo Económico de Canadá y Seguridad Pública de Canadá está revisando los protocolos de informes de seguridad de la IA, incluidas las recomendaciones iniciales esperadas en el Proyecto de Ley 2-207. La Ley de Datos e Inteligencia Artificial, el marco regulatorio de la IA propuesto por Canadá, fue, pero ahora se considera inadecuada, la Ley de Daños en Línea, fue creada para las plataformas de redes sociales. que mantienen conversaciones uno a uno con los usuarios.Acceso válido"La ley faculta a la policía para buscar datos en línea de empresas extranjeras, pero no exige específicamente que las empresas de inteligencia artificial denuncien comportamientos amenazantes. Canadá actualmente no tiene un marco legal para asignar responsabilidad cuando una empresa de inteligencia artificial tiene información que podría prevenir la violencia y decide no compartirla.

Ésta es la brecha que la carta de Altman no puede cerrar. Una disculpa aborda un fracaso pasado. Un cambio voluntario de política aborda el riesgo futuro. Ninguno de los dos aborda el problema estructural de que una empresa de 852 mil millones de dólares que se apresura a construir inteligencia artificial general, presta servicios a decenas de millones de usuarios y despliega sistemas que pueden detectar comportamientos peligrosos en tiempo real, opera sin obligación legal de decirle a nadie lo que encuentra. El personal de OpenAI vio una amenaza. La dirección de OpenAI decidió que la amenaza no cumplía con los estándares internos de la empresa. Murieron ocho personas. Los valores se han reducido. Las decisiones posteriores serán tomadas por la misma empresa, bajo el mismo marco voluntario, sin consecuencias legales por equivocarse. Altman escribió que compartió la carta "Entendiendo que cada uno sufre su duelo a su manera y en su propio momento." Tumblr Ridge está triste. La pregunta no es si Sam Altman está triste. La pregunta es si estar triste es una política.