La UE prohibirá a los chatbots simular emociones ante menores de edad

La Comisión Europea quiere romper la relación entre los menores y los chatbots. El Kids Act, propuesto este jueves, prohíbe que los asistentes conversacionales simulen emociones o relaciones interpersonales cuando hablan con alguien menor de 18 años, y deja a los menores de 13 sin acceso salvo que haya un tutor supervisando la conversación. Las plataformas que no integren protecciones para la infancia se enfrentan a multas de hasta el 6% de su facturación mundial, según el borrador de la ley.

Qué cambia para quien desarrolla un chatbot

Para un producto que opere en la UE, el texto añade restricciones que no son cosméticas. Los chatbots no podrán conservar memoria de las interacciones entre conversaciones distintas: la Comisión teme que esos sistemas acumulen datos sensibles de menores con el tiempo y refuercen patrones de uso dañinos. Las redes sociales, las plataformas de vídeo y los juegos no podrán activar ni promocionar chatbots de IA por defecto, lo que incluye fijar compañeros de IA o asistentes conversacionales en lo alto de la lista de contactos de un menor, algo que hizo Snapchat. El alcance se limita a los compañeros de IA y a los chatbots conversacionales generales, los que Bruselas considera un riesgo serio para la salud, la seguridad y el bienestar de los menores.

Simeon de Brouwer, asesor de políticas del grupo bruselense European Digital Rights, ve bien las medidas pero cree que se quedan cortas: "No tiene sentido restringirlas solo a los jóvenes. ¿Acaso no merecemos todos que nos protejan de IAs diseñadas para ser adictivas, de IAs que crean dependencias emocionales o de funciones de IA que se activan y se imponen por defecto?". La Comisión remite al Digital Fairness Act, previsto para finales de este año, para atacar el diseño adictivo con carácter general.

El argumento de Bruselas

La Comisión sostiene que la dependencia de los chatbots puede dañar el desarrollo del menor y sus relaciones con otras personas, y le preocupa que den consejos peligrosos sobre salud mental o desarrollo personal. Ursula von der Leyen lo resumió en rueda de prensa: "Las plataformas han estado jugando de forma irresponsable con la salud mental de los niños". Los datos que maneja Bruselas apuntan en esa dirección: alrededor de la mitad de los europeos de 11 a 25 años ha hablado de asuntos íntimos o personales con un chatbot, según una encuesta de Ipsos BVA en Francia, Alemania, Suecia e Irlanda. Y un estudio de la OCDE sobre 91 países concluye que los alumnos que dicen usar chatbots para las tareas escolares sacan peores notas que los que no. Investigadores de la red EU Kids Online escriben en su informe que estas preocupaciones por el impacto cognitivo y la pérdida de habilidades "exponen la ausencia de los derechos del niño en el diseño de las herramientas de IA generativa".

El paquete incluye también los deepfakes. Von der Leyen ya lo apuntó en su discurso sobre el estado de la Unión: "No tenemos que aceptar que se usen fotos de chicas para generar imágenes sexualizadas con IA. Europa tiene poder para actuar". El Reglamento de IA obliga a etiquetar el contenido sintético desde agosto, pero solo cuando se genera con fines comerciales. Australia y Reino Unido van por la misma vía de restringir el acceso de los menores a estos sistemas.

La parte operativa es la que más afecta a quien mantiene un producto con chatbot: memoria entre sesiones fuera, activación por defecto fuera y trazabilidad de edad dentro, con la facturación mundial como aval de la multa. Queda por ver cómo se concreta la verificación de edad y qué margen deja el Digital Fairness Act al diseño por defecto del resto de funciones de IA.