Jev, el modelo que no genera texto, sustituye las llamadas pequeñas a un LLM

El equipo de trau, un pipeline autónomo que coge un ticket, lo construye con agentes de programación, verifica el resultado en frío y abre la PR, ha sustituido las llamadas pequeñas a modelos de lenguaje por Jev, un modelo de TypeSafe que entiende lenguaje natural pero no genera texto. La tesis: para decidir si un ticket es una errata o un cambio de arquitectura no hace falta gastar un modelo de razonamiento.

Antes tenían dos opciones malas. Reglas por palabras clave: gratis y frágiles. Una llamada a un LLM: lista, pero lenta y cara para un juicio de tripa, además de responder en prosa que hay que parsear de vuelta a un valor y de dejar que el texto que juzga la convenza. Resultado: la mayoría de esos juicios simplemente no existían.

Preguntas tipadas, respuestas tipadas

Jev recibe los datos junto a preguntas tipadas y devuelve respuestas tipadas: una opción de una lista, una puntuación dentro de niveles que define quien lo llama, o un Noul, que es la probabilidad de que un enunciado de sí o no sea cierto. Todas las preguntas de una misma petición se ejecutan en paralelo y no se ven entre ellas.

Con eso, trau lanza una petición por ticket y obtiene diez respuestas: una puntuación de complejidad y nueve preguntas de sí o no en el momento en que se registra el ticket. La puntuación elige uno de los presets de modelo guardados por el operador, así que una corrección de redacción no se lleva el modelo más caro. "Cruza módulos" sube el nivel de construcción y "difícil de verificar" sube el de verificación, por separado. A eso se suman banderas de preparación antes de malgastar una ejecución (sin criterios de aceptación, decisión de producto abierta, credencial que falta), recuperación de lecciones anteriores, avisos de tickets duplicados y detección de bucles de reparación atascados.

Las reglas que adoptaron: decide el código, el modelo responde. Los umbrales son constantes en el código, no frases de un prompt. 0,7 para arriba es sí, 0,3 para abajo es no, y la banda intermedia no hace nada: "no estoy seguro" es la respuesta más útil que puede dar un sistema desatendido. Todo falla en abierto: si el servicio desaparece, el pipeline corre igual. Y como el modelo no puede escribir, no se le puede convencer con texto; lo peor que consigue un ticket con inyección de prompt es elegir otro preset que el operador ya tenía guardado.

Precio y latencia

El precio de lista es 0,042 dólares por millón de tokens de entrada y la salida es gratis. Con esa tarifa, la evaluación del peor ticket se queda en torno a una décima de centavo. TypeSafe sitúa una consulta típica en unos 100 ms.

Para hacerse una idea de la escala: una fase de construcción del pipeline promedia unos 140 turnos de agente con unos 180.000 tokens de contexto. El ahorro no está en ese trabajo grande, sino en el anillo de juicios pequeños que antes ni se hacían porque no salían a cuenta.

El autor ha publicado el caso completo con la forma de la petición, las asperezas y lo que todavía no usan: cribado de guardarraíles, comprobación de lo que afirman los agentes y extracción por selección en lugar de generación. Las cifras son suyas, sin verificación independiente, y el proyecto también.