Cierre judicial en China por crear modelo AI para generar pornografía
El tribunal de Yuyuan condenó a un exprogramador y su equipo por desarrollar un modelo de IA que eludió filtros de contenido y generó más de 37.000 imágenes pornográficas a cambio de dinero.
El 8 de septiembre el tribunal de la provincia de Zhejiang declaró culpables a siete personas, incluido el exprogramador de una gran compañía de videojuegos, por usar técnicas de prompt engineering para eliminar las restricciones de contenido de un modelo generativo y ofrecer a los usuarios la posibilidad de crear pornografía a cambio de pagos.
El equipo, liderado por Zheng, había diseñado un sistema de role cards y escenarios de conversación que permitían a los usuarios seleccionar un avatar y luego generar contenido sexual explícito. Al terminar el diálogo, podían convertir el texto en imágenes estáticas o dinámicas usando un sistema de créditos.
El modelo se lanzó en enero de 2025 en una plataforma extranjera y conectó con pagos de terceros, monedas virtuales y otras vías de monetización. En los seis meses que estuvo activo, el servicio generó más de 37 000 imágenes estáticas y más de 6 000 dinámicas, y los usuarios pagaron en total 24 000 USD (aprox. 170 000 CNY). Al investigar, la policía de Yuyuan recopiló 12 500 muestras estáticas y todas las imágenes dinámicas. De las estáticas, 9 000 fueron identificadas como pornografía, y de las dinámicas, 5 000.
El juez Sun Yu‑ping explicó que, aunque el modelo de IA en sí tiene filtros de seguridad incorporados, los acusados manipularon esos mecanismos mediante ajustes repetidos de prompts, lo que convirtió al modelo en una herramienta de producción de material pornográfico.
El tribunal destacó que el concepto de “tecnología neutral” no exime a los desarrolladores de responsabilidad. Al alterar los controles de seguridad y crear un entorno propicio para la generación de contenido ilícito, los acusados son considerados productores bajo la ley penal.
El caso sigue la reciente directriz del Tribunal Supremo sobre disputas de IA, que establece que el fraude, la difamación, la violación de la privacidad y la producción de pornografía mediante técnicas de deep‑fake constituyen delitos.
Para los profesionales de TI, el mensaje es claro: la manipulación de filtros de seguridad de modelos generativos para fines ilícitos no es una práctica aceptable. Los ingenieros que trabajan con modelos de IA deben asegurarse de que sus ajustes de prompt no comprometan las salvaguardas de contenido y deben documentar cualquier cambio de seguridad.
El caso también subraya la necesidad de auditorías de seguridad en producción, especialmente cuando se usan modelos de lenguaje grandes para generar contenido de usuario. La capacidad de un modelo para “salir” de sus restricciones depende en gran medida de la calidad de su arquitectura de seguridad y de la disciplina de los desarrolladores.
En un entorno donde la generación de contenido automatizado se vuelve cada vez más común, la responsabilidad legal de los creadores de la infraestructura y las configuraciones de seguridad sigue siendo un punto crítico que no se debe pasar por alto.
