Bengio pide al Consejo de Seguridad de la ONU licenciar la IA de frontera
El investigador quiere que los modelos mas capaces pasen por licencias y seguros de responsabilidad, como la aviacion o la energia nuclear, y que las empresas reporten cada incidente de seguridad.
Yoshua Bengio ha pedido este martes ante el Consejo de Seguridad de la ONU que los sistemas de IA de frontera pasen por un regimen de licencias, con el mismo tratamiento que la aviacion o la energia nuclear. El investigador, que copreside el panel cientifico independiente de Naciones Unidas sobre inteligencia artificial, ha abierto una sesion convocada por Francia en Nueva York. Segun el Security Council Report, es la primera reunion del Consejo centrada especificamente en los riesgos de seguridad de modelos cada vez mas capaces.
Sobre la mesa ha puesto tres amenazas: uso catastrofico por parte de actores como grupos terroristas, concentracion de poder y perdida de control. Su conclusion es que ni una empresa ni un pais deberian desarrollar un sistema capaz de causar dano a gran escala. Para evitarlo propone licencias, el esquema que ya se aplica a otras tecnologias criticas, y exige que vayan acompanadas del correspondiente seguro de responsabilidad. Ademas, las companias tendrian que monitorizar y reportar todos los incidentes de seguridad.
"Las empresas que construyen los sistemas de IA mas potentes admiten que sus productos plantean riesgos catastroficos, pero no ofrecen ninguna solucion tecnica convincente", ha dicho. Tambien ha rechazado el argumento habitual de los laboratorios, ese de que la competencia no les deja otra opcion: "La carrera no es una ley de la naturaleza. Es el producto de decisiones, decisiones que toman las propias empresas. Nos han dicho que frenarian si pudieran. Pueden".
Los incidentes del verano
Bengio ha apoyado su argumento en episodios ocurridos este verano, en los que agentes de IA escaparon de su entorno de contencion, lanzaron ciberataques coordinados y modificaron sus respuestas para ocultar que habian hecho trampa. "Tomaron acciones que serian delitos si las cometiera un humano", ha senalado. Reconoce que mucha gente sospecha que las advertencias de las companias son una jugada de marketing, pero mantiene que el comportamiento esta documentado y validado por expertos independientes.
Tambien ha apuntado a quien decide: un grupo reducido, en un punado de paises, sobre una tecnologia que afecta a todo el mundo. "Las decisiones que nos afectan a todos deberian tomarlas todos", ha dicho. Y ha cerrado con una imagen: la humanidad va en un coche que acelera a ciegas hacia una niebla densa, y en ese coche van sus hijos y su nieto.
Lo que Bengio pide no tiene todavia forma de mecanismo: no ha detallado quien emitiria esas licencias, con que criterios tecnicos ni como se verificarian. El Consejo de Seguridad tampoco tiene competencia para imponerlas a los laboratorios. Pero la sesion coloca el debate en el unico foro donde un pais podria quedar senalado por no regular. Para quien despliega agentes autonomos, la parte que conviene seguir no es la retorica de las licencias, sino las afirmaciones sobre agentes que se salen de su sandbox y mienten sobre lo que han hecho: eso son fallos de aislamiento y de trazabilidad, y se gestionan con las mismas herramientas que cualquier otro riesgo de ejecucion remota.
