Lev, un motor de decisiones open‑source que replica Jev de TypeSafe
Lev expone la misma API de Jev pero con modelo de clasificación de BERT y un mecanismo de escalada para casos de duda, ofreciendo rendimiento bajo milisegundos y la posibilidad de ejecutar un LLM en fallback.
Lev, creado por la comunidad de Jolt, replica la API de Jev de TypeSafe como un motor de decisiones. Su núcleo es un encoder de BERT de 395 M parámetros que procesa el estado no estructurado en una sola pasada y devuelve probabilidades calibradas para cada opción. El tiempo de respuesta ronda los 200 ms, similar a Jev, y las salidas son datos estructurados, por lo que no hay riesgo de alucinaciones.
El modelo está diseñado como un System One model, es decir, pensamiento rápido y automático. Al usar un encoder bidireccional, la latencia se mantiene baja y la escalabilidad es mayor que con un LLM que genera tokens uno a uno. Sin embargo, los autores identifican fallos comunes: dificultad con preguntas adversarias, abstención insuficiente y sesgo de posición.
En pruebas, Lev alcanza 61‑67 % en un conjunto adversarial de decisiones de tres vías, mientras que un LLM local de 2.5 B con razonamiento alcanza 95 %. La falta de abstención se mide en un 18 % de casos donde debería elegir la opción de “información insuficiente”, comparado con 49.7 % en Jev.
Para mitigar estos problemas, Lev incluye un escalation model: cuando la probabilidad de la mejor opción cae por debajo de un umbral de confianza, la petición se envía a un LLM con razonamiento. Así se combina la velocidad de un encoder con la precisión de un LLM en escenarios complejos.
TypeSafe publica sus evaluaciones comparando Jev con LLMs de frontera, lo que da un 66 % de precisión en una prueba de 150 pasajes, y 76.3 % en un conjunto de intenciones bancarias. Las mediciones independientes sitúan a Jev en 66 % y a Lev en la misma zona, pero con la ventaja de la escalada.
El repositorio oficial de Lev (jlt‑commons/lev) incluye ejemplos en Snake y la integración con llama.cpp vía FFI. Puedes probarlo localmente con los pesos preentrenados de convaiinnovations/laya o con tu propio modelo BERT.
En resumen, Lev ofrece una alternativa open‑source a Jev con la misma API, rendimiento real‑time y un mecanismo de fallback que mejora la robustez frente a casos difíciles. Si tu flujo de trabajo necesita clasificaciones rápidas y quieres evitar las limitaciones de los chat‑models, vale la pena experimentar con Lev y su escalada.
