Sudáfrica retira su política nacional sobre IA después de que se descubriera que al menos 6 de 67 citas académicas eran alucinaciones generadas por IA

El Departamento de Comunicaciones y Tecnologías Digitales de Sudáfrica lleva meses redactando una política nacional de inteligencia artificial. Propuso una Comisión Nacional de IA, una Junta de Ética de IA, una Autoridad Reguladora de IA, un Defensor del Pueblo de IA, un Instituto Nacional de Seguridad de IA y un Superfondo de Seguros de IA. Describe cinco pilares de la gobernanza de la IA: desarrollo de capacidades, gobernanza responsable, IA ética e inclusiva, preservación cultural y despliegue centrado en el ser humano. Ha adoptado un enfoque basado en el riesgo inspirado en la Ley de IA de la UE. El Gabinete aprobó el proyecto el 25 de marzo. El diario oficial lo publicó el 10 de abril para la opinión pública. Y luego News24, un medio de noticias sudafricano, revisó la bibliografía y descubrió que al menos seis de las 67 citas académicas del documento no existen. Los diarios eran reales. El artículo no lo era. Los autores a los que se les atribuye la investigación fundamental sobre la gobernanza de la IA nunca escribieron los artículos que se les atribuyen. Los editores del South African Journal of Philosophy, AI and Society y del Journal of Ethics and Social Philosophy confirmaron de forma independiente a News24 que los artículos citados nunca fueron publicados en sus páginas. Según el ministro de Comunicaciones, Solly Malatsi, la explicación más plausible es que los redactores utilizaron una herramienta de inteligencia artificial generativa y publicaron el resultado sin verificación de referencias. Una política gubernamental diseñada para gobernar la inteligencia artificial se vio socavada por la inteligencia artificial que no logró gobernar.

retiro

Malatsi anunció la retirada el 27 de abril, calificando las citas ficticias como un "error inaceptable" que "comprometió la integridad y credibilidad del proyecto de política". Dijo que la gestión de resultados seguiría a los responsables de la redacción y el control de calidad. "Este fracaso no es un mero problema técnico", afirmó el ministro. El presidente del Comité de Cartera Parlamentaria ofreció una evaluación más matizada y recomendó al departamento "evitar el uso de ChatGPT esta vez" al volver a redactar. El documento será revisado antes de volver a publicarse para comentarios públicos, pero no se proporcionó un cronograma. Sudáfrica ahora carece de un marco formal de gobernanza de la IA en un momento en que los gobiernos de todo el mundo están lidiando con cómo regular la IA, y la credibilidad del país como participante serio en esa conversación ha sufrido un golpe que pospondrá la reforma de políticas.

El escándalo no se trata sólo de la publicación de citas falsas en documentos gubernamentales. Es que aparecieron en un documento oficial sobre inteligencia artificial, escrito por el departamento responsable de la estrategia de tecnología digital del país, justo cuando se están librando en Bruselas, Washington y Beijing los debates sobre la gobernanza de la IA más importantes del mundo. La ley de IA de la UE, el marco regulatorio más ambicioso para la inteligencia artificial, ha lidiado con estándares retrasados ​​y un cronograma de implementación retrasado hasta 2027 para sistemas de alto riesgo. Estados Unidos no tiene leyes federales sobre inteligencia artificial y la Casa Blanca está observando a los estados promulgar leyes de forma independiente mientras intentan anular sus esfuerzos. China ha promulgado regulaciones sobre IA, pero las aplica de forma selectiva. Dentro de este panorama, Sudáfrica propuso una política que no sobrevivió al examen bibliográfico.

patrón

Las citas alucinatorias de Sudáfrica son un caso extremo de un problema que se está extendiendo silenciosamente a instituciones que utilizan IA generativa para investigación y redacción. Un estudio publicado en Nature encontró que el 2,6 por ciento de los artículos académicos publicados en 2025 contenían al menos una cita potencialmente alucinatoria, frente al 0,3 por ciento en 2024. Si esta tasa cubre casi 7 millones de publicaciones académicas para 2025, hay más de 110.000 referencias. GPTZero, una startup canadiense de detección, analizó más de 4.000 artículos aceptados en NeurIPS 2025, una de las conferencias de inteligencia artificial más importantes del mundo, y encontró más de 100 citas alucinatorias en al menos 53 artículos. En un estudio multimodelo independiente, sólo el 26,5 por ciento de las referencias bibliográficas generadas por IA eran completamente precisas. El problema es estructural: los grandes modelos lingüísticos generan citas prediciendo tokens probabilísticos en lugar de recuperar información. No ven los papeles. Predicen cómo debería verse una cita basándose en patrones en sus datos de entrenamiento y, cuando la predicción es lo suficientemente segura, crean una referencia que se lee como autorizada pero no indica nada.

El caso sudafricano es único no porque la tecnología produzca alucinaciones, una limitación inherente y bien documentada de la IA generativa, sino porque estas alucinaciones fueron reveladas en un documento de política oficial del gobierno que fue aprobado por el gabinete sin que nadie verificara las referencias. El proceso de redacción incluye funcionarios públicos, consultas temáticas y revisión ministerial. Dumisani Sondlow, jefe de política de IA del departamento, describió anteriormente el desarrollo de la política como "un acto de admitir que no sabemos lo suficiente". Este reconocimiento no se extendió al reconocimiento de la herramienta que se utiliza para ayudar a redactar la política. Se han detectado las seis citas falsas identificadas por News24. No se ha confirmado públicamente que sean genuinas las citas adicionales en las 67 referencias del documento. Toda la bibliografía está ahora en duda y, por extensión, la base analítica sobre la que se construyeron las propuestas de política.

efecto

El resultado inmediato es que se ha restablecido el cronograma de gobernanza de la IA en Sudáfrica. El borrador de la política, cuyo objetivo era posicionar al país como líder en la adopción de una IA responsable en el continente africano, debe volver a redactarse, revisarse y presentarse de nuevo. La pérdida de credibilidad institucional se extiende más allá de la política. Si el departamento responsable de gestionar la IA no puede verificar la autenticidad de las fuentes de sus propios documentos de políticas, la pregunta es si tiene el poder de evaluar los sistemas de IA que propone regular. La política prevé un modelo multirregulatorio en el que la gobernanza de la IA y la supervisión humana estarán integradas dentro del marco de supervisión existente en lugar de centralizadas bajo una única autoridad. Este modelo requiere que cada regulador participante tenga suficientes conocimientos técnicos para evaluar los sistemas de IA en su sector. El escándalo de las alucinaciones no inspira confianza en que el departamento de coordinación alcance ese umbral.

La lección más amplia no es que los gobiernos deban evitar el uso de la IA en el desarrollo de políticas. Es que el modo de falla de la IA no es dramático. No molesta. No muestra ningún mensaje de error. Produce un texto fluido, estructurado y seguro que se parece exactamente al resultado de un investigador experto. Las citas falsas sobre la política de IA de Sudáfrica claramente no estaban equivocadas. Fueron admirables. Citan revistas reales. Atribuyeron las acciones de personas reales. Siguieron las convenciones de formato de las referencias académicas. La única forma de detectarlos era comprobar si cada uno existía realmente, una tarea que requería exactamente el tipo de verificación humana sistemática que la IA consideraba innecesaria. La creciente desconfianza pública hacia la IA no es descabellada. Es una respuesta a una tecnología que es a la vez lo suficientemente poderosa como para diseñar una política nacional y lo suficientemente poco confiable como para producir la evidencia sobre la cual se basa la política. El único y vergonzoso, pero inherente error de Sudáfrica, es no utilizar la IA sin la capacidad de verificar su producción. Está sucediendo en universidades, bufetes de abogados, redacciones y departamentos gubernamentales de todo el mundo. Sudáfrica es el primer gobierno en publicar recibos. Los desafíos de implementar regulaciones sobre IA son reales, pero comienzan con un requisito previo que el departamento sudafricano no ha cumplido: comprender qué hace la tecnología antes de intentar escribir sus reglas.