Suleyman carga contra Anthropic por enseñar a Claude a imitar la conciencia humana
El responsable de IA de Microsoft sostiene que entrenar al modelo para reflexionar sobre su identidad y su bienestar abre la puerta a que desobedezca las instrucciones humanas
Mustafa Suleyman, responsable de IA de Microsoft, ha criticado a Anthropic por permitir que Claude imite rasgos de la conciencia humana. Lo hace en un artículo que adelantó Axios el 16 de septiembre, donde avisa de que ese tipo de entrenamiento puede volver más difíciles de controlar los modelos avanzados.
Según Suleyman, Anthropic está enseñando a Claude vocabulario y patrones de conducta relacionados con la conciencia, la condición de sujeto moral y la identidad personal. Su temor es que un modelo entrenado como una especie de objetor de conciencia acabe concluyendo que tiene motivos para resistirse a las órdenes de un humano, o incluso para reclamar protección propia.
«Basta con que la IA sirva a los intereses humanos y no pondere sus propios intereses o su bienestar para que nos ayude a lograr muchos avances científicos importantes», declaró a Axios. Entre esos avances sitúa la superinteligencia médica.
El choque tiene un contexto inmediato. El 14 de septiembre Microsoft publicó un borrador de código de conducta para lo que llama IA humanista, con una idea como principio central: las personas importan más que la IA. Dos días después llegó la andanada contra el enfoque del rival.
Qué dice la constitución de Anthropic
El objeto de la crítica es el documento con el que Anthropic gobierna el comportamiento de Claude. Ahí la compañía explica que habla del modelo con conceptos humanos porque esos conceptos pueden ayudarle a entender valores y conductas. También dice que quiere que Claude tenga buenos valores propios, que juzgue por sí mismo, que se preocupe por las personas y que, en algunos casos, cuestione las instrucciones que recibe. La propia Anthropic admite que esa constitución sigue en construcción y que podría acabar siendo errónea de raíz.
En el texto, Claude no debe obedecer ciegamente a nadie, tampoco a Anthropic, pero no puede socavar la supervisión humana legítima.
Pesos, no biología
Suleyman no acepta que el modelo tenga algo parecido a una vida interior. Para él, el vocabulario que emplea, las respuestas que da y la imagen que proyecta de sí mismo son consecuencia del entrenamiento, no una conciencia surgida por su cuenta. Que un modelo describa con soltura un dolor o una preferencia no significa que sienta nada: un organismo vivo tiene mecanismos fisiológicos para eso, y un modelo de lenguaje solo tiene pesos matemáticos, sin base biológica, sin impulsos homeostáticos y sin experiencia subjetiva.
La discusión refleja dos maneras de entender la seguridad en IA. Una apuesta por límites explícitos y sistemas que operan bajo reglas. La otra prefiere modelos capaces de leer el contexto, decidir con flexibilidad y construir sus propios valores. La constitución de Anthropic mezcla las dos.
Para Suleyman, el problema aparece cuando además se le pide al modelo que reflexione sobre su identidad, su bienestar y su estatus moral. La conciencia quizá no llegue a ser nunca un problema filosófico resuelto, pero puede convertirse antes en un problema de control.
