Un congresista de EE.UU. quiere prohibir la automejora recursiva de la IA
Ro Khanna, demócrata por Silicon Valley, plantea crear una agencia federal que licencie y audite los modelos frontera, con penas de cárcel para quien desactive sus salvaguardas.
El congresista demócrata Ro Khanna, que representa al distrito de Silicon Valley, prepara un proyecto de ley que prohibiría a los modelos de IA automejorarse de forma recursiva mientras no exista antes un mecanismo federal de seguridad que lo autorice. La propuesta, bautizada como Human Control Over AI Act, introduce estándares de responsabilidad estricta y crea además una agencia federal que licenciaría el entrenamiento y el despliegue de modelos frontera, los sometería a auditoría y abriría la puerta a responsabilidad penal en los supuestos más graves. Khanna presentó la iniciativa el 28 de septiembre y la adelantó en una entrevista con CNBC.
Qué prohíbe y qué crea
Ningún modelo podría modificar por su cuenta sus objetivos centrales, sus mecanismos de contención ni sus controles de apagado. La automejora recursiva queda vetada hasta que el gobierno fije reglas de protección y un regulador apruebe la actividad. La agencia, de nueva creación, se encargaría de redactar la normativa de seguridad, aprobar mediante licencias el entrenamiento y el despliegue, auditar los modelos frontera y mantenerlos bajo pruebas continuas y control humano efectivo.
Cada laboratorio de IA de frontera tendría que contar con auditores independientes que reporten directamente a ese organismo. Los estándares que saldrían de ahí cubren entornos de pruebas aislados (sandbox), aislamiento físico para desconectarlos de internet, interruptores de apagado de emergencia y medidas para impedir que un modelo salga del laboratorio y se ejecute por su cuenta en la red. También entran en el radar los chips avanzados que usan esos laboratorios, con mecanismos para monitorizar o controlar su uso.
Penales y seguros
El texto añade castigo penal. Si el despliegue de un modelo provoca la destrucción de poblaciones civiles, el hecho se tipifica como crimen contra la humanidad y se persigue criminalmente. Un empleado de una compañía de IA que desactive salvaguardas, el interruptor de emergencia, el registro de actividad o los sistemas de contención, o que despliegue a sabiendas un sistema no autorizado, se enfrenta a lo mismo. Las empresas, además, tendrían que contratar un seguro de responsabilidad amplio antes de publicar un modelo.
"Existe un riesgo de extinción de la civilización. Hay riesgo de perder el control y riesgo de uso indebido, y ambos hay que tomar en serio", dijo Khanna en la entrevista. El congresista sostiene que su texto es la legislación de seguridad en IA más completa presentada hasta ahora y que nació de conversaciones con organizaciones independientes sin ánimo de lucro dedicadas a esta materia, no de las peticiones de los directivos de los grandes laboratorios: "Debería ser la comunidad de seguridad en IA, y no los ejecutivos de los laboratorios de frontera, quien lidere este debate".
De momento es solo un proyecto de ley de un representante, sin votación ni texto acompañante en el Senado, y no hay fecha para que avance.
