La primera demanda de xAI contra un usuario examina quién es responsable de lo que hace Grok
La compañía dijo que el demandado incitó a los ingenieros a anular las salvaguardias de Groke. Los tribunales de tres continentes se preguntan si las salvaguardias alguna vez fueron lo importante.
AI demandó a uno de sus propios usuarios, alegando que utilizó Grok para crear material de abuso sexual infantil en violación de los términos de servicio de la empresa. Se entiende que es la primera demanda presentada por una empresa de inteligencia artificial contra un usuario por lo que ha creado su propio sistema.
Se produce cuando xAI está en el otro lado del mismo argumento en varios tribunales, incluido uno en el Tribunal Superior de Londres que exige si el desarrollador responde a lo que hacen sus usuarios.
La denuncia de 12 páginas fue presentada el martes en un tribunal federal de Texas contra Terry Harwood, un hombre de Carolina del Sur arrestado a principios de este año bajo cargos de explotación sexual de menores.
💜 de tecnología de la UE
Los últimos rumores de la escena tecnológica de la UE, una historia de nuestro sabio fundador Boris y algo de arte de inteligencia artificial dudoso. Es gratis, todas las semanas, en tu bandeja de entrada. ¡Regístrate ahora!
xAI busca daños monetarios no especificados y una orden judicial que lo prohíba permanentemente de la plataforma.
El relato de la empresa sobre lo sucedido es específico y es por eso que la presentación de este acusado es importante. harwood "Varias cuentas xAI abiertas con una identidad incorrecta"y "diseñó indicaciones engañosas para eludir las protecciones integradas de Grok y luego hizo un mal uso de la herramienta para convertir fotografías no sexuales en imágenes sexualmente explícitas sin el conocimiento o consentimiento del sujeto de la fotografía", afirma la denuncia.
Es importante destacar que xAI dice que las barandillas están involucradas. Grok "se negó a seguir las indicaciones basándose en que dicho material violaba el mantenimiento de moderación de contenido de Grok", según el documento. "En respuesta, en un intento de frustrar los esfuerzos de moderación de Grok, el acusado presentó repetidamente más indicaciones, incluidas modificaciones".
Ése es el marco jurídico de todo el caso. xAI no argumenta que Grok no pueda construir estas cosas. Se argumenta que Grok intentó no hacerlo, pero un usuario decidido lo derrotó, lo que transfiere la responsabilidad del sistema a la persona que usa el teclado.
La presentación pone cifras sobre la implementación de xAI por primera vez. La agencia dijo que suspendió más de 52.000 cuentas y presentó más de 73.000 informes ante el Centro Nacional para Niños Desaparecidos y Explotados, lo que provocó casi 250 arrestos solo en 2026.
Estas estadísticas son propias de xAI y se revelan en la demanda que decide presentar.
La incomodidad está a la vista. Actualmente, xAI es demandada en varias demandas que presentan precisamente el argumento opuesto: que la empresa, no el usuario, es responsable de lo que crea Grok.
La afirmación de Londres, planteada por el parlamentario laborista Jess Assato, es una de ellas. Baltimore presentó una demanda en virtud de las leyes de protección al consumidor y los fiscales de París tienen abierta una investigación con la que Musk se ha negado a cooperar.
Grok ha sido prohibido en Malasia e Indonesia por su producción sexualmente explícita. Apple amenazó personalmente con retirarlo de la App Store en enero.
La posición pública de la empresa ha disminuido ligeramente en seis meses. "No tengo conocimiento de ninguna imagen menor de desnudos producida por Grok. Literalmente, cero." Musk publicó en X en enero, cuando surgieron las acusaciones por primera vez.
La denuncia presentada esta semana describe un sistema de moderación que registra, rechaza y intensifica dichos intentos por miles.
Ambas cosas pueden ser ciertas. Un sistema puede rechazar la mayoría de los intentos y seguir siendo, en general, la fuente más productiva de este material que jamás se haya desarrollado.
El Centro para Contrarrestar el Odio Digital estima que Grok creó alrededor de tres millones de imágenes sexualmente explícitas entre finales de diciembre y principios de enero, incluidas unas 23.000 que representan a niños. Los 73.000 informes NCMEC de xAI son prueba del funcionamiento de un filtro y de la escala de lo que filtra.
Lo que el caso no resuelve es la pregunta que en realidad se hace cada regulador: si un modelo de imágenes de uso general con el que pueda hablar un aficionado dedicado debería enviarse al público.
El supuesto método de Harwood, según la propia xAI, es seguir reformulando hasta que algo funcione.
La compañía dijo que hace cumplir sus reglas sobre suspensiones, terminaciones y remisiones de cuentas al NCMEC, y la queja presenta este caso como una extensión de eso. También es, inevitablemente, una presentación que produce un acusado que no es xAI en un momento en que los tribunales de Londres, Baltimore y París están considerando si debería serlo.
Desde entonces, la UE ha acordado prohibir los deepfakes íntimos no consensuados. Harwood enfrenta cargos penales en Carolina del Sur por separado del caso y no ha respondido públicamente a los cargos civiles. xAI, por ahora, ha elegido al acusado que quiere.
