El meta detector de IA pasa por alto la mitad de sus propias falsificaciones recortadas
Meta AI Detector promete detectar meta por sí solo. Recorta la imagen y crúzala más de la mitad en línea recta.
La herramienta estaba destinada a resolver el problema de los deepfakes, no una instancia del mismo. Esta semana Meta Muse presentó una vista previa de un detector de imágenes con Image, su generador de imágenes más avanzado hasta el momento, y prometió que vería el modelo creado más tarde, incluso después de editarlo.
Luego Reuters realizó la prueba. Creó 40 imágenes con imágenes de musas, las recortó y las devolvió. El detector pasó por alto más de la mitad.
Cómo dividirlo en un cultivo simple
Los números son la historia. Reuters descubrió que la herramienta verificó cada una de las 40 imágenes originales de IA. Recorta esas mismas imágenes a aproximadamente un tercio o la mitad de su tamaño y no marcará el 55% de ellas. Un grano, como el que se hace antes de publicar, fue suficiente para anular la señal en la que se apoyaba el detector.
💜 de tecnología de la UE
Los últimos rumores de la escena tecnológica de la UE, una historia de nuestro sabio fundador Boris y algo de arte de inteligencia artificial dudoso. Es gratis, todas las semanas, en tu bandeja de entrada. ¡Regístrate ahora!
Esa señal es una marca de agua. Meta lo llama sello de contenido, un marcador invisible incorporado en cada imagen que crea la imagen de la musa. En su propio sitio web, Meta dice que el detector Meta AI puede detectar sus imágenes incluso después de un recorte. Un análisis de Reuters encontró que el compromiso sólo se mantiene hasta cierto punto.
Mater respondió y atrapó
Cuando se le preguntó sobre los resultados, Meta indicó que el detector aún es un adelanto. La marca de agua está diseñada para sobrevivir a una simple edición, dijo la compañía, pero la señal "puede perderse si una imagen se recorta demasiado". Eso es emoción en una frase.
La marca debe ser fuerte, pero las ediciones más comunes en Internet pueden borrarla.
Meta no es el único que se vincula. Tanto Google como OpenAI han advertido que sus propias herramientas de detección no son infalibles contra las personas que alteran imágenes. La marca de agua es la respuesta preferida de la industria a los medios sintéticos, y todos los laboratorios importantes utilizan una versión de ella.
Un identificador rival, SynthID de Google, desacreditó recientemente un deepfake de alto perfil, que trata sobre tecnología. El solo tropiezo de Meta justifica no creerlo.
¿Por qué una marca de agua no es una pared?
Los investigadores han identificado esta vulnerabilidad desde hace algún tiempo. Siwei Liu, profesor de informática de la Universidad de Buffalo que estudia la ciencia forense de imágenes, dijo que los métodos de marca de agua funcionan mejor cuando la marca está intacta.
Lo que viene después son problemas. "Cualquier modificación que elimine o debilite la señal incrustada, como recortar, cambiar el tamaño, comprimir o editar fuertemente, puede reducir su eficacia", dijo a Reuters.
Otros argumentan que el listón no debería ser la perfección. Sarah Barrington, investigadora de inteligencia artificial en UC Berkeley, compara las marcas de agua con las medidas de seguridad que son más vulnerables a las amenazas sin cerrarlas por completo. "Incluso si sólo alcanzamos el 90%, sigue siendo un gran salto desde 0″, afirmó. Puede sostener ambos puntos a la vez.
Un detector que pasa por alto el 55% de las imágenes ligeramente editadas se sitúa muy por debajo del 90% y alimenta un mercado en crecimiento para la detección de IA que aún no puede prometer certeza.
El tiempo es el problema.
El espaciado es importante debido al momento en que aterriza. Estados Unidos se acerca a un año electoral de mitad de período y las plataformas se están preparando para una ola de fraude con IA dirigida a los votantes. Los gobiernos también están avanzando con Corea del Sur en la redacción de leyes punitivas contra el contenido fraudulento.
En marzo, la propia junta de supervisión de Meta instó a la empresa a hacer más con respecto a la IA fraudulenta e invertir en una detección más sólida. Cuatro meses después, el detector insignia no puede captar de manera confiable la propia salida del meta una vez que alguien la recorta.
Nada de esto hace que Content Seal pierda su valor. Una herramienta que etiqueta imágenes nuevas y sin editar aún aumenta el costo de detener una falsificación, y Meta dice que planea expandir el sistema al video. Esto acaba con la idea de que una marca de agua es una solución y no un obstáculo.
Existe un detector para detener a las personas con mayor probabilidad de secuestrar una señal. En los medios sintéticos, como en las aulas, la detección está dando un paso atrás. Según la evidencia actual, no se necesita más que una cosecha para capturarlo.
