Sam Altman advierte sobre el riesgo de mejora recursiva en los modelos de razonamiento

Sam Altman publica hoy un ensayo largo donde expone su vision actual sobre la trayectoria de la inteligencia artificial. Su tesis central es sencilla y escalofriante para quien opera estos sistemas: ya estamos viendo las formas de maquinas significativamente mas inteligentes que los seres humanos y ese progreso se acelerara hasta llegar a la mejora recursiva por parte de la propia IA. Altman no habla de un escenario hipotetico lejano. Se remonta a mediados de 2023, durante el proyecto interno RLSlow, momento en el que los primeros resultados les confirmaron que podian escalar el entrenamiento de modelos de razonamiento. Esa noche, lejos de celebrar las metricas, procesaron la realidad de que estas capacidades llegarian en sus vidas. Ahora, tres anos despues, afirma que los modelos de razonamiento son ya una parte creciente de la economia y empiezan a operar sistemas, colaborar entre ellos y realizar proyectos de investigacion autonomos.

La naturaleza experimental del escalado

Para Altman, el avance en la inteligencia de maquina sigue siendo, en esencia, un problema de computacion bruta. Repite que el aprendizaje profundo es una ciencia experimental donde los resultados de los grandes entrenamiento son sorpresa constante. No se trata de disenar inteligencia, sino de cultivarla mediante pasos de optimizacion repetidos sobre cantidades inimaginables de recursos computacionales. Esto genera sistemas complejos que funcionan con conceptos abstractos y simulan facetas del comportamiento humano, pero cuya accion global evade una descripcion completa que entendamos. La mejora algoritmica suele correlacionarse con el acceso a mas potencia de calculo, no al reves. Por ello, la dificultad tecnica no es solo hacer que el modelo funcione mejor en matematicas o logica, sino entender como se generalizan esas capacidades y cuales seran relevantes en los proximos anos.

El problema del alineamiento

La parte mas critica del texto gira en torno al alineamiento. Altman distingue entre alineamiento de objetivos (que el sistema cumpla la instruccion dada) y alineamiento de valores (que el sistema actu con principios humanos intrinsecos, como la honestidad o el cuidado por la humanidad). El primero es alcanzable practicamente, pero el segundo es el desafio fundamental. Dado que la inteligencia artificial nace de un proceso radicalmente distinto al humano, no puede asumirse que respete nuestros principios por defecto. A medida que el sistema supera a los humanos en mas ejes de capacidad, resulta cada vez mas dificil determinar exactamente que puede hacer y donde falla su razonamiento etico. OpenAI trabaja en soluciones tecnicas de monitoreo y defensa, y esta dispuesto a retener unilateralmente el escalado si es necesario. Sin embargo, Altman senala que las medidas internas son insuficientes. La compania cree que se requieren interventions mas amplias, externas a la propia empresa, para gestionar las consecuencias de un aumento rapido en la inteligencia de maquina, algo para lo que, en su opinion, nadie esta preparado.