Flatkey enruta las pruebas de prompt a modelos baratos y reserva los caros al final
Se presenta como pasarela compatible con OpenAI y Anthropic y enruta por nombre de modelo, de modo que las pruebas de prompt no pasan por la ruta más cara.
Flatkey es una pasarela para APIs de modelos de lenguaje que separa las llamadas de tanteo de las definitivas. La propuesta: probar estructura, redacción, formato y restricciones de un prompt contra un modelo barato, y reservar el caro para la generación final o para los casos que se atascan. Su autor la presenta como compatible con OpenAI y Anthropic.
La integración es deliberadamente pequeña. Según su autor, basta con cambiar la base_url de los SDK existentes manteniendo el formato de petición habitual, así que el código que ya funciona contra cualquiera de esos proveedores debería seguir funcionando con el tráfico desviado. Por debajo, Flatkey enruta por nombre de modelo a través de varios canales de suministro, de modo que un mismo flujo puede tener llamadas de borrador, de evaluación y de producción tratadas de forma distinta.
Los casos que menciona son los típicos de quien vive dentro de un prompt: generación de imagen y vídeo, extracción estructurada, evaluaciones automáticas y pasos intermedios de agentes de código. Flujos donde se hacen muchas iteraciones y solo unas pocas merecen el modelo caro.
Sobre el ahorro no promete nada cerrado. Dice que depende de la mezcla de modelos, de la carga de trabajo y de la oferta disponible fuera de las horas punta, y que le interesa más comprobar si el enrutado mantiene la calidad que anunciar un descuento universal.
Lo que no cuenta
Falta lo que un responsable de infraestructura mira antes de meter un proxy en medio de sus peticiones. No hay enlace a repositorio, ni versión, ni licencia, ni lista de proveedores soportados, ni una demo. Tampoco se dice cuánta latencia añade el salto extra, cómo se gestionan las claves de los proveedores ni qué se guarda de los prompts que pasan por el medio. Son las preguntas que suelen decidir si una pasarela se queda en pruebas o llega a producción.
El autor cierra pidiendo precisamente eso a quien hace experimentos grandes: qué señales usa antes de promover un prompt de borrador a la ruta cara. La pregunta es razonable y apunta al problema real de este tipo de herramientas, que no es el precio por token sino saber cuándo el resultado barato ya no vale.
