Featherless lanza Simple Jev para clasificar datos sin generar texto
La librería open-source convierte modelos de IA en clasificadores zero-shot de baja latencia, rompiendo con el paradigma de los LLM conversacionales.
Featherless ha publicado Simple Jev, una librería de código abierto que transforma modelos de IA en motores de clasificación zero-shot de alta velocidad. La herramienta está diseñada para evaluar datos entrantes y devolver asignaciones categóricas o binarias sin generar texto conversacional, un cambio de enfoque que busca reducir la latencia y el consumo computacional en tareas de decisión estructurada.
Clasificación sin el 'tanque' de los LLM
Eugene Cheah, CEO de Featherless, argumenta que utilizar modelos frontera de última generación para tareas simples, como clasificar un ticket de soporte, es ineficiente. Lo compara con usar un tanque para entregar una pizza: llega al destino, pero es lento, costoso y la herramienta inadecuada para la tarea.
Simple Jev extiende la funcionalidad de clasificación de la versión cerrada de Jev lanzada por TypeSafe este mes, aplicándola a modelos de código abierto. El mecanismo técnico es un 'shared-prefix, two-stage, prefill-only, logit-based classifier'. En esencia, el modelo se detiene justo antes de generar la respuesta, se leen los puntajes (logits) para cada opción permitida y se outputtean las probabilidades. Cheah señala que cualquier doctorado en IA podría reimplementarlo con esta sola descripción, y la empresa lo ha abierto para facilitar su replicación.
La solución incluye soporte para visión en sus endpoints gestionados, actualmente disponible con modelos Gemma o Qwen, permitiendo usar imágenes como contexto para la clasificación instantánea. Featherless ofrece endpoints públicos gratuitos para prueba, limitados a 2.000 tokens de contexto y dos solicitudes por segundo, sin necesidad de API keys.
En cuanto a precios para producción, Simple Jev parte de 0,03 dólares por millón de tokens de entrada, con tokens de salida gratuitos. Esta tarifa es inferior a los 0,042 dólares por millón de tokens de entrada de Jev de TypeSafe. Según Cheah, una decisión típica de 500 a 1.200 tokens cuesta aproximadamente tres milésimas de centavo, lo que sitúa el coste en torno a 15-35 dólares por millón de decisiones.
El concepto de clasificación zero-shot no es nuevo; modelos como CLIP de OpenAI o Florence-2 de Microsoft ya trabajaban en esta línea. Sin embargo, Featherless argumenta que lo nuevo es una API de clasificación well-designed para este fin específico, alejándose de los modelos generalistas monolíticos. La empresa espera que esta aproximación eficiente impulse el desarrollo de miles de modelos dedicados y ligeros en lugar de depender de LLMs multibiliónarios de parámetros.
