Fallas en la detección de IA permiten anuncios con abuso infantil en Meta
Investigadores hallan más de 250 anuncios nuevos con material de abuso, algunos con niños reales, pese a las nuevas herramientas de la compañía.
Meta ha fallado en su objetivo de detectar automatizadamente la publicidad de abuso sexual infantil (CSAM) en sus plataformas. Tras eliminar unos 50 anuncios a finales de julio, los investigadores de la organización Tech Transparency Project (TTP) han identificado más de 250 piezas adicionales que contenían material gráfico de abuso, algunas con la imagen de menores reales, desde principios de agosto. Esto ocurre justo cuando la empresa desplegó nuevos sistemas de inteligencia artificial diseñados para "detectar y bloquear mejor" este tipo de contenido, lo que sugiere que la automatización no está cumpliendo su función operativa.
El fallo en la cadena de detección
A diferencia del lote inicial de 53 anuncios, que era casi exclusivamente generado por IA, en el nuevo grupo los expertos pudieron identificar material que involucraba a personas reales. Entre las víctimas se encuentra una menor de una familia real europea, cuya fotografía oficial fue convertida en un video de actos sexuales mediante herramientas de manipulación. Katie Paul, directora del TTP, señala que "no estamos hablando simplemente de material de abuso sexual infantil generado por IA", ya que muchas imágenes fueron extraídas de la web antes de ser procesadas.
Los anuncios seguían un patrón consistente: comenzaban con una imagen anodina de una preadolescente o adolescente y, al reproducirse, la imagen se transformaba en contenido sexual explícito. Al hacer clic, el usuario era redirigido a descargas de aplicaciones de "nudify" o intercambio de rostros (face-swapping), muchas de ellas vinculadas a desarrolladores chinos. Los anuncios llegaron a mostrarse a más de 29.000 cuentas en la Unión Europea y a unas 7.000 en el Reino Unido, aunque el alcance real en EE. UU., Australia e India probablemente sea mayor, dado que Meta no publica datos granulares de rendimiento en esas regiones.
La respuesta de Meta ha sido minimizar el alcance del incidente. La compañía afirma que la mayoría de los anuncios tenían menos de 200 impresiones y que el ingreso publicitario total fue inferior a 5.000 dólares. Sin embargo, los investigadores señalan que, en algunos casos, a Meta le tomó una semana revisar los anuncios reportados manualmente, tiempo durante el cual acumularon cientos de visualizaciones adicionales. Además, no incluyeron inicialmente la justificación de la eliminación por violación de políticas de explotación infantil, algo que solo apareció tras las preguntas de la prensa.
Meta ha confirmado que reporta este contenido al Centro Nacional para Niños Desaparecidos y Explotados (NCMEC) y asegura no tolerar las aplicaciones de desnudo no consensuado. Para los profesionales de seguridad y sistemas, el mensaje es claro: los modelos de IA para moderación fallan ante material de alta sofisticación o mezclado con datos reales, y la supervisión manual sigue siendo un cuello de botella crítico en la gestión de riesgos de la plataforma.
