TypeSafe Jev juega al ajedrez y se cuela entre modelos de razonamiento
Un modelo de clasificación estructurado compite con éxito en un benchmark de ajedrez, superando la lógica usual de los LLMs de chat.
TypeSafe ha lanzado Jev, un modelo que no es un chatbot tradicional, y un desarrollador independiente lo ha puesto a jugar al ajedrez. El resultado: Jev se sitúa en la posición 59 de la tabla LLM Chess, con un Elo de unos 243 puntos, colocándose al mismo nivel que modelos de razonamiento pequeños y potentes.
La particularidad de Jev es su arquitectura. No genera texto libre; recibe un estado y una lista de opciones tipadas (Choice, Score, Noul) y devuelve etiquetas con probabilidades. Es, en esencia, un clasificador avanzado donde quien define las etiquetas es el usuario. Maxim Saplin, autor del benchmark, explica que normalmente los LLMs juegan mediante un protocolo agéntico de varios turnos (get_current_board, make_move), pero Jev funciona distinto: se le pasa el tablero en formato FEN y todas las jugadas legales UCI como opciones, y el modelo devuelve la mejor elección.
TypeSafe es abiertamente contraria al "benchmaxxing". En su post de lanzamiento aclaran que los benchmarks públicos de LLMs no aplican a sus modelos "System One", diseñados para decisiones rápidas sin razonamiento profundo. Prefieren usar snapshots internos fechados. Sin embargo, Saplin decidió forzar la comparabilidad usando el mismo harness que para los chatbots.
Los datos de rendimiento son llamativos por su eficiencia. Jev completa una partida en unos 35 segundos y cuesta alrededor de 0,0015 dólares. En comparación, los modelos vecinos en la tabla (como qwen3.6-27b) cuestan más de 1 dólar por partida y tardan horas. La tasa de tablas contra el motor Dragon se mantiene estable en un 50% durante tres niveles de dificultad, algo inusual que ayuda a estabilizar su Elo, ya que en otros modelos el motor suele cerrar las partidas antes.
Existe una limitación clara: Jev no sirve para generación de texto libre. En pruebas, intentando completar palabras, devolvió errores como "bue" o "helhoh". Su fortaleza radica en elegir entre opciones predefinidas. Esto lo hace ideal para tareas estructuradas: routing de herramientas, clasificación de entradas o selección de rutas en agentes de código, donde se necesita una decisión, no un párrafo.
