TERMy: asistente de terminal sin LLMs ni embeddings

Gioblu, creador del protocolo PJON, ha lanzado NPC-Forge (TERMy), un asistente de terminal diseñado para funcionar sin redes neuronales, embeddings ni modelos de lenguaje. El proyecto nació tras su experiencia fallida intentando entrenar transformers de baja potencia en un equipo doméstico de gama baja, donde los modelos resultaban lentos, inestables y propensos a repetir frases en bucle.

El desarrollo ocurre en el contexto de la reciente vuelta de tuerca en los costes de los tokens de IA, donde los usuarios pagan cada vez más por funciones triviales. Gioblu buscaba una alternativa determinista capaz de ejecutar comandos como "activar entorno virtual" sin la latencia ni el coste computacional de un LLM. Tras descartar el uso de modelos de pesos abiertos locales (como versiones de Mistral o Ornith) debido a su dependencia de 4GB VRAM y su falta de fiabilidad, optó por construir un sistema basado en reglas y plantillas.

El núcleo del sistema es el formato NDF 0.0 (NPC-Forge Dataset Format), una especificación en JSON que define las intenciones del usuario, las herramientas a ejecutar y los permisos requeridos. Cada entrada es un "átomo de conocimiento" autocontenido que incluye frases de entrada, comandos de terminal, trazas de razonamiento y niveles de permisión. Para gestionar variables, como nombres de archivos o parámetros, el sistema utiliza un esquema de etiquetas que parsea la entrada del usuario y la mapea con las estructuras definidas en el dataset.

La ventaja operativa para el administrador de sistemas es la transparencia y la velocidad. Al no haber inferencia probabilística, el comportamiento es predecible y la ejecución es instantánea. Añadir nuevas capacidades, como soporte para Docker o Kubernetes, requiere simplemente escribir los comandos y sus variaciones en un archivo JSON dentro del directorio de datasets. No hay que esperar a que un modelo "aprenda"; el asistente incorpora la nueva funcionalidad inmediatamente al cargar el archivo.

Aunque la aproximación recuerda a los antiguos asistentes basados en gramáticas o a asistentes de voz limitados a comandos fijos, la propuesta de Gioblu intenta cubrir el hueco vacío entre la interacción pura por teclado y los asistentes de IA que fallan en tareas rutinarias de terminal por su inestabilidad o coste. La pregunta abierta es hasta qué punto este enfoque basado en plantillas puede escalar a escenarios complejos donde la ambigüedad del lenguaje natural haga que las reglas sean insuficientes, algo que los LLMs resuelven mediante probabilidad, aunque a un precio elevado.