Jev, el modelo de un ex de OpenAI que puntúa opciones en vez de escribir texto

TypeSafe AI ha presentado Jev, un modelo que no genera texto. El desarrollador define de antemano las preguntas y las respuestas admitidas, y el modelo devuelve una puntuación o una probabilidad para cada opción. Detrás está Diogo Almeida, que trabajó en OpenAI y firma entre los autores de la investigación InstructGPT, la que sentó las bases de ChatGPT.

Un clasificador, no un chatbot

El caso que usa la compañía en su documentación es el de una tienda online. Un cliente escribe diciendo que le han cobrado dos veces y pide que le devuelvan el segundo cargo. Antes de que nadie lo atienda, el mensaje hay que clasificarlo: ¿es un problema de pago, de envío o de devolución? ¿Quiere el dinero o solo una explicación? El software manda el texto a Jev y recibe, por ejemplo, la etiqueta "problema de pago" y la probabilidad de que el cliente quiera un reembolso. A partir de ahí, las reglas del programa deciden: los pagos van a contabilidad, las peticiones de reembolso se marcan y, si la etiqueta no queda clara, lo revisa una persona. Jev evalúa; la aplicación actúa.

Nada de eso confirma que el doble cobro exista; eso se comprueba después contra las transacciones. Y para clasificar el mensaje no hace falta un chatbot.

La velocidad es el argumento principal. TypeSafe afirma que Jev responde en 70 a 500 milisegundos, bastante menos que los modelos de lenguaje más rápidos, porque se salta la generación paso a paso y calcula varias salidas en paralelo. Añadir preguntas a la misma llamada apenas sube el tiempo de respuesta. Con esas latencias, la empresa propone usos como revisar el borrador de un asistente antes de enviarlo: ¿contradice la conversación? ¿promete un reembolso que no consta en la cuenta? También apunta a ventas y atención al cliente, para detectar intención de compra u ordenar peticiones por tema.

Lo que no cuadra del todo

El formato de salida estructurada no es nuevo: OpenAI ya ofrece Structured Outputs para que un modelo devuelva categorías fijas y estructuras de datos. La diferencia tendría que estar en hacerlo más rápido, más barato o mejor, y ahí las pruebas publicadas son flojas. TypeSafe compara cuatro flujos que ha construido ella misma y toma como referencia las respuestas de otros modelos, no soluciones correctas verificadas por un tercero. GPT-6 Astra ni aparece en esas evaluaciones.

El precio sí es llamativo: 0,042 dólares por millón de tokens de entrada y nada por las salidas, según la compañía. Y conviene leer con cuidado la promesa de que no alucina. La garantía cubre solo la estructura: el modelo no va a inventarse una respuesta fuera de las opciones permitidas, pero puede elegir la equivocada entre ellas. El acceso, de momento, pasa por una lista de espera.