Líderes de IA llaman a frenar el desarrollo rápido de modelos

Anthropic, OpenAI y otros laboratorios de IA se han unido para pedir una reducción del ritmo de desarrollo de modelos.

El presidente de Anthropic, Dario Amodei, publicó un ensayo en el que argumenta que los modelos actuales están acelerando su propio progreso y que, en 6–12 meses, una masa de agentes podría dominar la red. Para evitar que la capacidad se supere sin la seguridad adecuada, Amodei propone la inclusión de evaluadores externos, la adopción de estándares de seguridad comunes y la coordinación con gobiernos autoritarios.

Sam Altman, CEO de OpenAI, se comprometió a establecer evaluadores, mientras que Elon Musk expresó su apoyo con el comentario “Dario is right”. Demis Hassabis de DeepMind y Satya Nadella de Microsoft también respaldaron la idea. La propuesta recibió críticas de figuras como Trump, que las calificó de “fuerzas negativas”.

La relevancia para administradores y arquitectos de TI radica en la posible aparición de modelos con capacidades inéditas antes de su liberación. Si la comunidad decide desacelerar, se deberán planificar nuevas políticas de gobernanza, revisiones de seguridad y protocolos de coordinación internacional.

Además, la propuesta plantea la necesidad de integrar evaluadores de terceros dentro de los equipos de desarrollo, lo que implicará cambios en las prácticas de DevOps, CI/CD y pipelines de ML. La coordinación entre laboratorios democráticos y autoritarios también abre preguntas sobre la transferencia de tecnología y el cumplimiento de normativas.

En cuanto a la operativa, los equipos deberán considerar cómo adaptar sus infraestructuras para soportar evaluaciones externas: exposición limitada a modelos de producción, creación de entornos aislados y auditorías de código.

La decisión de los principales actores de la industria sugiere que el ritmo actual de desarrollo se está acelerando más rápido que la capacidad de mitigación de riesgos. Si se implementa la desaceleración, la industria tendrá que redefinir los ciclos de lanzamiento, la gestión de riesgos y la gobernanza de IA.

Para más contexto sobre la propuesta de Anthropic, consulta el artículo original de The Rundown AI.

Recurso de AWS sobre agentes de IA