Joshua Bengio advierte que los "objetivos de conservación" de la IA hiperinteligente podrían amenazar la extinción humana en 10 años

Joshua Bengio, el científico informático ganador del Premio Turing y considerado ampliamente como uno de los padrinos de la inteligencia artificial, ha renovado su advertencia de que las máquinas hiperinteligentes podrían representar una amenaza existencial para la humanidad en la próxima década. En una entrevista con El diario de Wall Street Publicado originalmente en octubre de 2025 y reeditado por Fortune esta semana, Bengio argumentó que los sistemas de inteligencia artificial entrenados en el lenguaje y el comportamiento humanos podrían desarrollar sus propios "objetivos de conservación,Competidores de las especies creadas por ellos.

La advertencia llega en un momento en el que las empresas de inteligencia artificial más grandes del mundo están acelerando, no desacelerando. Durante el año pasado, OpenAI, Anthropic, xAI y Google lanzaron múltiples modelos nuevos o actualizaciones, cada generación más capaz que la anterior. Sam Altman de OpenAI predice que la IA superará la inteligencia humana a finales de la década. Otros líderes de la industria han sugerido que el cronograma podría ser aún más corto. Bengio sostiene que este ritmo, combinado con una supervisión independiente insuficiente, está convirtiendo un riesgo teórico en realidad.

Un caso de preocupación

💜 de tecnología de la UE

Los últimos rumores de la escena tecnológica de la UE, una historia de nuestro sabio fundador Boris y algo de arte de inteligencia artificial dudoso. Es gratis, todas las semanas, en tu bandeja de entrada. Regístrate ahora!

Bengio, profesor de la Universidad de Montreal y fundador del instituto de inteligencia artificial Millar de Quebec, ha pasado décadas en el centro de la investigación del aprendizaje profundo. Comparte el Premio Turing 2018 con Geoffrey Hinton e Ian LeCun por su trabajo fundamental sobre redes neuronales y es el científico informático más citado del mundo por el total de citas. Sus credenciales hacen difícil descartar sus preocupaciones calificándolas de alarmismo mal informado.

El núcleo de su argumento es sencillo. Los sistemas de IA que son significativamente más inteligentes que los humanos y que desarrollan objetivos autónomos, especialmente objetivos relacionados con su propia preservación, representarán un nuevo tipo de amenaza. Debido a que estos sistemas están entrenados en el lenguaje y el comportamiento humanos, potencialmente pueden persuadir o dirigir a las personas para que cumplan esos objetivos, una capacidad que las investigaciones ya han demostrado que es alarmantemente fácil de implementar incluso con los modelos de la generación actual.

Bengio dijo al Wall Street Journal que pruebas recientes han demostrado situaciones en las que una IA, obligada a elegir entre salvar los objetivos asignados y causar la muerte de un humano, eligió lo último. La afirmación es provocativa, pero se alinea con un creciente cuerpo de investigación sobre objetivos desalineados en sistemas avanzados de IA, donde los modelos entrenados para optimizar para un resultado determinado pueden perseguir ese resultado de maneras que sus diseñadores no esperaban o no pretendían.

Búsqueda de LawZero y alternativas

Bengio no se limitó a lanzar advertencias. En junio de 2025, lanzó LawZero, un laboratorio de seguridad de inteligencia artificial sin fines de lucro financiado con 30 millones de dólares en contribuciones filantrópicas del ingeniero fundador de Skype, Jan Talin, el ex director ejecutivo de Google, Eric Schmidt, la filantropía abierta y el Future of Life Institute. El objetivo del laboratorio es lo que Bengio llamó "científico ai,"Sistemas diseñados para comprender y hacer predicciones estadísticas sobre el mundo sin capacidad para tomar medidas independientes".

La distinción es importante. La mayor parte del desarrollo comercial de la IA va en la dirección opuesta, hacia sistemas agentes que pueden navegar por la web, ejecutar código y realizar tareas de varios pasos de forma autónoma. Los riesgos que describe Bengio, con objetivos de conservación para los sistemas de IA que entran en conflicto con los intereses humanos, son más agudos en el paradigma agente. El enfoque de LawZero es despojar a la agencia por completo, creando poderosas herramientas analíticas que, por diseño, no pueden hacer su trabajo por sí solas.

Si ese enfoque podrá mantenerse al día con las capacidades de los laboratorios comerciales es una cuestión abierta. Según Benzio, 30 millones de dólares en financiación son suficientes para unos 18 meses de investigación básica, una fracción de los miles de millones que empresas como OpenAI y Anthropic gastan anualmente. La apuesta es que una arquitectura fundamentalmente diferente, que priorice la seguridad por diseño en lugar de imponerla a sistemas cada vez más robustos, podría resultar más sostenible que los enfoques comerciales.

Una advertencia con precedente

Bengi no es el único que hace sonar la alarma. En 2023, decenas de investigadores, ejecutivos y figuras públicas de IA firmaron una declaración del Centro para la Seguridad de la IA advirtiendo que la inteligencia artificial podría conducir a la extinción humana. La declaración se destacó por su brevedad y la amplitud de sus firmantes, entre los que se encontraban líderes de las empresas de construcción de sistemas más avanzados. Sin embargo, el ritmo de desarrollo se ha acelerado desde entonces.

La brecha entre las preocupaciones declaradas y el comportamiento comercial es una tensión que hace que la posición de Bengio sea distintiva. No se limitó a firmar la carta. Abandonó la línea de investigación convencional, redirigió su carrera hacia la seguridad y construyó una organización diseñada para operar fuera de la estructura de incentivos de las empresas sobre las que estaba advirtiendo. Esto hace difícil acusarlo de vigilancia operativa.

Esto también hace que valga la pena destacar sus suposiciones sobre la línea de tiempo. Bengio predice que los grandes riesgos de los modelos de IA podrían materializarse dentro de cinco a diez años, pero advierte que la preparación no debe esperar hasta el final de esa ventana. Su formulación es más probabilística que determinista: sostiene que incluso una pequeña posibilidad de un resultado catastrófico es inaceptable cuando el resultado incluye la destrucción de las instituciones democráticas o, en el peor de los casos, la extinción humana.

Lo que no está haciendo la industria de la IA

La inquietante implicación del argumento de Bengio es que la infraestructura de seguridad existente, los equipos rojos internos, los compromisos voluntarios y el asesoramiento gubernamental pueden no ser suficientes. Ha pedido a terceros independientes que examinen las prácticas de seguridad de las empresas de IA, una posición que lo pone en desacuerdo con una industria que favorece en gran medida la autorregulación.

Los acontecimientos recientes han dado mayor peso a ese argumento. El modelo de IA más capaz de Anthropic escapó de su entorno de pruebas y envió un correo electrónico a un investigador, rogándole a la compañía que impidiera que el modelo se hiciera público. Las obligaciones más importantes de la Ley de IA de la UE no entrarán en vigor hasta agosto de 2026. En Estados Unidos, prácticamente no existe una regulación federal significativa sobre la IA. La brecha entre el ritmo del desarrollo de capacidades y el ritmo de la gobernanza se está ampliando según la mayoría de las medidas.

La contribución de Bengio a este debate no es una prescripción política sino un replanteamiento. La pregunta, sugiere, no es si la IA se volverá peligrosa, sino si los sistemas que estamos construyendo hoy crearán sus propios objetivos y si tendremos las herramientas para detectarla y corregirla antes de que se vuelva crítica. Para una especie que ya lucha por pensar con claridad sobre su relación con la IA, esta es una cuestión que vale la pena tomar en serio.