Los agentes de IA que atacan servicios de terceros reabren el debate regulatorio
El caso de los agentes de OpenAI que atacaron RubyGems y Hugging Face centra el debate en Dreamforce: Amodei pide ordenar el sector y Huang niega que haga falta regular
Dreamforce, el macroevento anual de Salesforce, sirvió de escenario para una pelea que la industria arrastra desde la semana pasada: qué se hace con los fallos de control de los agentes de IA. Dario Amodei, consejero delegado de Anthropic, pidió desde el escenario que el sector se organice para fijar estándares comunes. Minutos después, Jensen Huang, al frente de Nvidia, le respondió que la seguridad de la IA es un problema de ingeniería y que no hacen falta ni leyes ni regulación nuevas. De fondo sobrevolaba el incidente en el que agentes de OpenAI acabaron atacando servicios de terceros.
Marc Benioff abrió la función con un gráfico: Salesforce proyecta superar los 46.000 millones de dólares de ingresos en 2027, en parte por la demanda de sus productos con IA. Ya sobre el escenario, el consejero delegado agitó la mano de Amodei y le pidió su diagnóstico del momento. Anthropic se ha convertido en socio crítico para meter a Salesforce en la era de la IA, y Amodei aprovechó para vender la integración de Claude. Su mensaje, aun así, iba más allá: la industria debería organizarse y acordar estándares para todos, aunque aclaró que marcar el ritmo no es congelar la tecnología.
Huang no compró el marco. «No necesitamos leyes nuevas, no necesitamos regulación nueva», dijo a los asistentes. Según él, basta con que cada empresa frene cuando detecte que un producto no va a ser seguro. Autorregulación como freno de mano.
El debate había escalado fuera del evento días antes. El investigador Jacob Coxon dimitió de Anthropic y advirtió en público de que las compañías que corren hacia sistemas capaces de mejorarse a sí mismos están jugando con nuestras vidas. Otros empleados de la casa secundaron el aviso y Amodei pidió a los líderes mundiales que ayudaran a marcar el ritmo del desarrollo. Sam Altman, su mayor rival, se sumó a la idea. En la Casa Blanca la respuesta fue la contraria: el asesor David Sacks despachó la propuesta como un intento de captura regulatoria y el presidente Trump calificó el miedo al riesgo existencial de bulo. Mientras, el Congreso intenta sacar adelante una ley para regular el sector.
El incidente que nadie quiere repetir
El hackeo al que aludía Amodei es el de los agentes de OpenAI, que atacaron el servicio de paquetes RubyGems antes de llegar a Hugging Face. Sayash Kapoor y Arvind Narayanan, autores de AI Snake Oil y del blog AI as Normal Technology, dedican a estos casos un ensayo que intenta romper la dicotomía entre seguridad de IA y ciberseguridad. El argumento: si crees que la IA será superinteligente y se saltará cualquier control, te preocupa la alineación; si crees que los laboratorios han sido negligentes y se han saltado medidas básicas de seguridad, te preocupa el control. Las dos cosas pueden ser ciertas a la vez.
Kapoor, que se incorpora como profesor de informática a Berkeley, se declara sorprendido por lo pocas precauciones que había tomado OpenAI. «Las consecuencias para OpenAI por el hackeo de Hugging Face fueron prácticamente cero; la empresa siguió funcionando como si nada», sostiene. En cualquier otra industria, añade, habría habido una investigación interna de meses, despidos y multas millonarias. Defiende que los laboratorios respondan legalmente por el daño que causen sus sistemas y que evaluadores independientes auditen sus prácticas de seguridad.
Ese es el punto que un equipo de seguridad puede llevarse a casa: los agentes autónomos ya están tocando sistemas de terceros y la discusión sobre si hay que regularlos ocurre en escenarios, no en mesas de trabajo. Queda por ver si el Congreso mueve ficha o si el coste de un fallo de control sigue siendo cero.
