K2 Horizon: seis modelos abiertos que prometen transparencia y entregan incompletos

El Instituto de Modelos de Base (IFM), con sede en Abu Dabi, ha publicado K2 Horizon, una familia de seis modelos de lenguaje que abarca desde los 0.9 mil millones hasta los 375 mil millones de parámetros. La organización se posiciona como la más transparente del sector: no solo entrega los pesos, sino también el código de entrenamiento y evaluación, configuraciones, logs detallados y conjuntos de datos completos o recetas de construcción cuando la redistribución directa no es posible.

La intención es clara. Permitir que los desarrolladores inspeccionen el proceso, reproduzcan los resultados y adapten los modelos a sus entornos. Eric Xing, fundador de IFM, define esto como "ciencia abierta", argumentando que la reproducibilidad es el camino correcto para la inteligencia artificial.

La pinta es buena, pero el detalle operativo cuenta otra historia. De los seis modelos, solo dos (el de 3.7B y el de 7B parámetros) llegaron con el conjunto completo de artefactos. El modelo insignia de 375 mil millones (arquitectura densa y sparse A23B) y el de 36 mil millones (sparse A4B) entregaron pesos finales, pero el código fuente, los datos en bruto y los checkpoints intermedios quedan pendientes para futuras actualizaciones. Lo peor, si cabe, es el modelo de 32 mil millones de parámetros: se lanzó como un checkpoint parcial de la etapa 1. El modelo final y sus artefactos asociados aún no existen en producción.

La transparencia tiene agujeros

La propuesta de valor de IFM choca con la realidad de la ingeniería de datos. Nitish Garg, de CellCog, señala en su análisis que la documentación no disclose ni el cómputo utilizado (número de aceleradores, horas de entrenamiento ni costes). Para un lanzamiento cuya tesis es la inspección, ese silencio es un problema estructural.

Además, aunque se facilitan metodologías, faltan los detalles de ejecución necesarios para una reproducibilidad extremo a extremo. No se incluyen los prompts exactos que generaron los datos sintéticos, el código semilla que controlaba esa generación ni las heurísticas de filtrado aplicadas. Sin eso, los ingenieros no pueden validar si el rendimiento proviene del modelo, de los datos o de una limpieza agresiva.

La arquitectura es homogénea en vocabulario, interfaces y herramientas de despliegue. El modelo de 0.9 mil millones de parámetros apunta a entornos restringidos como relojes inteligentes, mientras que los de 3.7B y 7B se orientan a ejecución en dispositivo (on-device). Los modelos de 32B y 36B son candidatos para servidores locales o on-premise, y el de 375B para despliegues empresariales exigentes. IFM apuesta por el enrutamiento dinámico entre tamaños para optimizar costes.

Los desarrolladores esperan ver si los logs finos que prometen llegar colman el vacío sobre el cómputo y si las recetas de datos permiten replicar los resultados más allá de la teoría. Por ahora, la transparencia es parcial y el trabajo de verificación recae en quien quiera auditar los modelos.

El repositorio oficial con los modelos y documentación está alojado en Hugging Face K2 Horizon. Quien quiera profundizar en la arquitectura puede consultar el artículo técnico en arXiv.