Reef, la infraestructura open source para agentes de IA que aprenden de su uso
El repositorio acumula 2.698 estrellas en 17 días con una propuesta concreta: conectar inferencia, feedback, entrenamiento y entrega versionada en un mismo ciclo.
Reef es un repositorio que promete lo que casi nadie tiene montado: que un agente de IA mejore solo, alimentándose de las interacciones reales con quien lo usa. En diecisiete días ha pasado de cero a 2.698 estrellas en GitHub, a un ritmo medio de 157 al día, y su README se presenta como la primera infraestructura open source de aprendizaje continuo para agentes que se auto-mejoran. Está escrito en Python.
El diseño separa dos superficies de aprendizaje. Por un lado, los pesos del modelo, que se entrenan con Slime y SGLang. Por otro, el harness del agente, es decir, sus prompts, reglas y habilidades, que se puede optimizar sin GPU de entrenamiento en local: basta con un endpoint de modelo, tareas representativas y un evaluador. Hay un tercer camino, el test-time training, pensado para entornos de ejecución con un comprobador de corrección y un objetivo medible.
Cómo encaja en la pila
El argumento del proyecto es que las piezas habituales cubren solo una parte. Un motor de inferencia como vLLM o SGLang sirve tráfico en vivo, pero no entrena pesos ni gestiona versiones. Un framework de RL como Slime, veRL o AReaL entrena pesos, pero no atiende tráfico. Reef quiere hacer las dos cosas y añadir dos capacidades que ninguno de los dos tiene: control de versiones de los artefactos y capacidad de seguir en marcha durante una actualización.
El ciclo de aprendizaje se divide en cuatro pasos. Primero se sirven las peticiones y se registran las interacciones; luego se empareja el feedback con esos registros y se decide cuáles son elegibles; después se genera una actualización a partir de ellos; y por último se aplica la política de selección configurada y se publica lo aceptado. Cada etapa vive en un directorio distinto del árbol: service/ y runtime/ para servir, storage/records.py y train/processors/ para el feedback, recipe/ y train/ para producir la actualización, y train/evaluation/, artifact/ y surface/ para la evaluación y la entrega.
Qué implica operarlo
El despliegue decide qué superficie se actualiza, porque lo marca la recipe que se configure. Como ejemplo mínimo, el repositorio arranca Reef como servidor de inferencia puro. La instalación puede hacerse desde PyPI con el paquete reef-infra o desde el código fuente; para desarrollo y para los ejemplos de entrenamiento, el proyecto pide el checkout. La gestión de dependencias se apoya en uv.
Hay un requisito que conviene mirar antes de nada: la parte de artefactos y checkpoints necesita git-lfs instalado en el sistema, porque Reef inicializa Git LFS en local para sus repositorios de artefactos. El endpoint de inferencia es compatible con los formatos de OpenAI y de Anthropic, /v1/chat/completions y /v1/messages, así que un cliente que ya hable con esos proveedores no necesita adaptador propio.
El repositorio está en Reef junto con integración continua, licencia y hoja de ruta públicas. Las cifras de estrellas las da GitHub, no un tercero, y el interés se apoya en un README bien organizado más que en resultados reproducibles: no hay benchmarks publicados en el material disponible. Para quien opera agentes en producción, la pregunta útil no es cuánto sube la gráfica, sino si el bucle de feedback sobre tráfico real aguanta sin degradar el servicio. Ahí es donde este tipo de infraestructura se cae o se sostiene.
