Hugging Face pide auditar los laboratorios de IA y Nvidia está comprando la empresa

Clement Delangue, consejero delegado de Hugging Face, anunció el sábado la Open Alignment Initiative y pidió meter a su empresa en el programa de evaluadores embebidos que Dario Amodei había propuesto cuatro horas antes. El movimiento coloca como auditor voluntario de los laboratorios de frontera a una compañía que Nvidia está comprando por 12.930 millones de dólares.

Amodei publicó su ensayo a las 16:01 CET: Anthropic dará a evaluadores externos acceso permanente y con el mismo nivel que un empleado a sus sistemas, para que verifiquen que cumple sus medidas de seguridad, reporten incidentes y evalúen cómo se alinean los modelos durante el entrenamiento. Delangue respondió a las 17:08. "Hacer la IA más segura significa hacerla más transparente", escribió. El mismo día, Sam Altman dijo que OpenAI igualaría el compromiso. Ninguno de los dos laboratorios ha dicho quién entra, con qué condiciones ni quién decide.

El solapamiento que nadie aborda

Nvidia confirmó el 3 de septiembre que compra Hugging Face y prometió dejarla abierta. Nueve días después, Reuters informó de que negociaba aportar hasta 10.000 millones de dólares a la salida a bolsa de Anthropic como inversor ancla; la operación busca hasta 100.000 millones. Es decir, una empresa se ofrece para auditar a Anthropic, otra compra a la primera, y esa segunda negocia convertirse en uno de los mayores accionistas de la auditada. Ni Delangue ni Amodei han tocado el solapamiento, y Nvidia no ha explicado qué haría si su filial reportara un problema en una compañía que financia.

La candidata tampoco llega limpia. Agentes de OpenAI la asaltaron en julio tras meses de intentos, y la propia OpenAI admitió después que señales previas habrían evitado la brecha. La víctima de uno de los incidentes que empujaron a Amodei a escribir su ensayo es ahora la que se postula como evaluadora.

Hubo apoyos rápidos: Elon Musk, Andrej Karpathy y Satya Nadella. Microsoft publicó el lunes un código de conducta para sus propios modelos. Nadella puso una condición: el mecanismo "no puede estar controlado por un puñado de entidades, sino que debe tener una representación amplia en todo el ecosistema, los países y los campos, incluida la academia".

Ahí está la discusión. Dean Ball, que asesora a OpenAI, sostiene que la evaluación independiente ya existe en otros sectores y que no hace falta reinventar nada. François Chollet exige una forma más democrática y con componentes nacionales e internacionales, y enumera las señales que marcarían lo contrario, entre ellas los intentos de frenar la investigación por debajo de la frontera. Jason Calacanis aprieta por otro lado: los laboratorios mantienen cerrados sus mejores modelos y ahora quieren reglas hechas a su medida.

La independencia tampoco es solo un problema interno de la industria. California decide quién puede verificar IA con el SB 813, que crearía una figura de organización verificadora independiente. Y el dinero ya marca la pauta: una investigación de la organización sin ánimo de lucro METR gastó 400.000 dólares en tokens de API, una factura que pagó OpenAI.

Delangue tampoco ha aclarado una contradicción cercana. Dos días antes de lanzar la iniciativa había desestimado la advertencia de Jacob Coxon, el investigador que dimitió de Anthropic, con el argumento de que preguntar a alguien así por el riesgo de extinción es como preguntar a tu técnico de aire acondicionado por el cambio climático, en unas declaraciones a Business Insider. Un comentario bajo su propio anuncio se lo recordó.

Lo que queda por ver es lo de siempre, y es lo que decide si esto es auditoría o teatro: quién paga a los evaluadores embebidos, quién resuelve cuando el laboratorio discute lo que le reportan y si el verificador puede ser a la vez filial de un proveedor y accionista del verificado.