OpenAI lanza Decisions API: clasificación estructurada en 150 ms
La nueva API devuelve una decisión elegida dentro de un conjunto cerrado de respuestas en unos 150 milisegundos, unas diez veces más rápido que Luna por la vía habitual.
OpenAI ha presentado Decisions API durante su evento para desarrolladores. No es un modelo de chat: es una API pensada para clasificar y enrutar en tiempo real, que devuelve un resultado en unos 150 milisegundos. Según la compañía, eso es unas diez veces más rápido que invocar a Luna, su modelo pequeño, a través de la API convencional.
La clave está en cómo acota el problema. En lugar de dejar que el modelo improvise una respuesta abierta, el desarrollador define de antemano un conjunto de preguntas y un conjunto limitado de respuestas posibles. La API devuelve la opción elegida, la confianza asociada y algunos campos estructurados más, y eso es lo que consume la lógica de negocio que venga detrás. El modelo que trabaja por debajo es Luna, aunque OpenAI no ha entrado en detalles sobre cómo se entrena ni sobre el tamaño exacto que tiene.
Decisiones discretas, no texto libre
El enfoque rompe con la forma habitual de tirar de un LLM: prompt abierto, respuesta abierta. Aquí la salida es discreta, elegir una de entre varias opciones, y eso simplifica el parseo, el manejo de errores y los contratos entre servicios. El desarrollador envía contexto en texto o imagen, y recibe una estructura que puede mapear directamente a un switch o a una tabla de enrutado, sin pasar por expresiones regulares ni por un segundo modelo que interprete la respuesta del primero.
Los casos de uso que OpenAI pone sobre la mesa son bastante terrenales. En un sistema de tickets o de atención al cliente, la API puede decidir de qué tipo es el problema, qué prioridad tiene y a qué equipo corresponde. En moderación de contenido, elegir entre permitir, limitar o mandar a revisión humana. En la orquestación de agentes, actuar como nodo de decisión dentro de un flujo de varios pasos: qué herramienta se llama a continuación o qué subagente toma el relevo, en vez de dejar que el modelo grande decida sobre la marcha. Y en motores de reglas ya existentes, resolver los casos grises dentro de un abanico cerrado de opciones antes de que la regla haga el dictamen final.
El competidor que la compañía señala en ese terreno es Jev, de TypeSafe, aunque el foco de Decisions API está puesto en convertir la capacidad del modelo en una decisión rápida y acotada más que en competir por calidad de razonamiento.
Por qué importa
La latencia es el argumento. Cualquier cosa por debajo de los 200 milisegundos entra en el rango de lo que un usuario percibe como inmediato, y eso abre la puerta a meter inferencia en rutas síncronas donde antes no cabía: enrutado de peticiones, validación previa, clasificación en el borde. Queda por ver si el precio y los límites de uso acompañan, porque una API de decisión solo se adopta si sale más barata que una regla escrita a mano o que una llamada a un modelo mayor. Y falta comprobar si las opciones cerradas se quedan cortas cuando el problema real es más ambiguo de lo previsto.
