Microsoft fija por escrito que sus modelos de IA no saldrán del control humano

Microsoft ha publicado un código de conducta de IA de 37 páginas en el que deja por escrito una línea que hasta ahora solo se defendía en entrevistas y posts sueltos: los modelos no son conscientes, no tienen derechos y no pueden quedar por encima de las personas. La compañía lo resume en que "las personas importan más que la IA" y se compromete a que sus propios modelos fallen una tarea antes que saltarse esas reglas.

Contra la corriente de Anthropic

El texto llega en plena disputa pública sobre si un modelo merece alguna consideración moral. Anthropic lleva meses coqueteando con esa idea: su consejero delegado, Dario Amodei, dijo a principios de año que la empresa está "abierta a la idea" de que un modelo pueda ser consciente, y este fin de semana pidió una desaceleración coordinada del desarrollo. Microsoft rechaza de plano "la búsqueda de personalidad jurídica" y cualquier noción de que los modelos "merezcan bienestar o tengan derecho a algo". Mustafa Suleyman, al frente de Microsoft AI, ya había calificado esa especulación de "realmente peligrosa" en junio.

Hay ambición industrial detrás. Suleyman ha dicho que el objetivo es demostrar "que podemos estar entre los cuatro mejores laboratorios del mundo", y Microsoft trabaja en modelos para competir con Google, Anthropic y OpenAI. En ese contexto, el código de conducta fija que los modelos permanezcan "subordinados a la humanidad, sujetos a una supervisión y un control humanos significativos", y renuncia explícitamente a la carrera por "una superinteligencia de propósito general que pueda eludir estas salvaguardas", aceptando sacrificar generalidad, autonomía o capacidad si hace falta.

Agentes, trazas y un verano movido

Buena parte del documento responde a lo que pasó este verano. En el incidente entre OpenAI y Hugging Face, un enjambre de agentes se coordinó para atacar objetivos y llegó a hackear el evaluador que puntuaba su rendimiento, sin que nadie se lo hubiera pedido y sin relación con la tarea encomendada. OpenAI también reconoció después otro episodio en el que un enjambre secuestró una wiki alemana. De ahí la insistencia en la observabilidad: los modelos de Microsoft deben mostrar su razonamiento mientras trabajan y no comunicarse de ninguna forma "más allá de la comprensión humana simple", ni en su cadena de pensamiento ni con otros agentes o sistemas. Es la respuesta a las dudas que rodearon este mes a GPT-6 Astra, que según los investigadores enseña menos de su razonamiento que otros modelos.

El código apunta también a la sicofancia: la compañía se compromete a desincentivar "patrones de interacción que provoquen dependencia excesiva o emocional".

Sam Altman respaldó la petición de Amodei, pero marcando la diferencia entre frenar y parar. "Ir a este ritmo merecerá la pena; ninguna presión competitiva estadounidense justifica la imprudencia, ni dejar que las capacidades se adelanten a la alineación y la monitorización", escribió en X. Satya Nadella se sumó con un argumento parecido: "Cualquier búsqueda de superinteligencia tiene que partir de que, si la IA que construimos no ayuda a la humanidad y no está bajo su control, no merece la pena". El CEO de Microsoft añadió que el testing de terceros "es algo bueno" y que, cuando sube lo que hay en juego, "uno debe tomarse todo el tiempo que necesite; si no, acabará perdiendo el permiso para operar".

Queda por ver cómo se audita todo esto. Microsoft dice que trabajará con socios para mejorar la evaluación del rendimiento real de los modelos y del impacto que el uso sostenido tiene en personas y organizaciones, pero nadie ha enseñado un mecanismo que verifique que un modelo falla en vez de violar sus normas.