OpenAI entra en los modelos de decisión con una API sobre Luna
La compañía presenta en su DevDay una API que devuelve respuestas predefinidas con puntuación de confianza, no texto libre, y promete respuestas en 150 milisegundos.
OpenAI ha presentado en su DevDay una API de Decisiones construida sobre Luna, su modelo más pequeño y barato. No es un modelo de chat: devuelve un conjunto de respuestas predefinidas con una puntuación de confianza para cada una, pensada para clasificar contenido, enrutar peticiones o elegir el siguiente paso de un agente. Está en vista previa limitada y el despliegue amplio llegará en los próximos días.
El movimiento se lee como reacción a Jev, el modelo de decisión de TypeSafe que ha disparado el interés por este tipo de modelos. Un portavoz de OpenAI ha asegurado que darán más detalles cuando la API se lance de forma amplia. Por ahora no han enseñado ninguna demo ni han publicado documentación técnica.
Qué cambia frente a un LLM corriente
Hoy la mayoría de equipos resuelve esto con un modelo de chat y un prompt bien redactado que le pide elegir de una lista y, con suerte, leyendo las probabilidades de los tokens para sacar algo parecido a una confianza. La otra opción es entrenar un clasificador pequeño: rápido y barato, pero necesita datos etiquetados y un reentrenamiento cada vez que cambia el conjunto de etiquetas. El modelo de decisión se coloca entre ambos extremos, acepta etiquetas nuevas en el prompt y devuelve una puntuación con la que el desarrollador puede trabajar.
El rendimiento es el argumento de venta. OpenAI dice que su modelo responde en 150 milisegundos, frente a los 1,6 segundos que tardaría GPT-6 Luna. Al desarrollador solo se le pide que aporte las preguntas, las respuestas y el contexto.
Tampoco es un concepto nuevo en la casa. La API de Moderación lleva tiempo devolviendo puntuaciones por categoría en lugar de prosa, aunque ahí las categorías las fija OpenAI y no quien integra la API.
Lo que todavía no se sabe
Faltan los números que suelen decidir una adopción. Cuánto cuesta cada llamada, cuántas respuestas candidatas admite una sola petición y si el desarrollador puede ajustar el modelo con sus propios datos. La compañía tampoco ha detallado compatibilidades ni formatos de integración.
Esos detalles marcarán si la API se convierte en una pieza estándar dentro de los frameworks de agentes o se queda como herramienta de nicho al lado de los modelos de chat, que hoy siguen siendo el camino por defecto para casi todo.
