Versionar los prompts a mano ya no basta: cómo rastrear qué versión vio cada cliente
Un equipo perdió la pista de qué plantilla, modelo y cohorte había detrás de una respuesta degradada. Versionar los prompts y la traza completa resolvió el caso.
Un asistente de cara al cliente daba respuestas distintas a la misma petición según qué despliegue paralelo la atendiera, y ni ingeniería ni atención al cliente lograban reproducir el camino malo. Las capturas que pedían no valían de nada: en la imagen no había ni plantilla de prompt, ni modelo, ni configuración de recuperación, ni cohorte de despliegue.
Una plantilla, tres rutas de código
El diagnóstico es reconocible para cualquiera que haya montado un asistente con un LLM. Las plantillas de prompt vivían en tres rutas de código distintas. El cambio de modelo tenía su propio flag. Y el registro del despliegue solo decía qué build del servicio había atendido la llamada, que es el dato menos útil de todos cuando lo que falla es la respuesta y no el proceso.
El equipo empezó a versionar los prompts en Braintrust, y el diff de experimentos señaló qué revisión de plantilla había perdido una restricción durante una limpieza. La caída de calidad encajaba con una sola cohorte. Revirtieron esa revisión, volvieron a lanzar los mismos casos contra la versión anterior y, con el linaje delante, el resto fue directo.
El cambio que más valoran no es técnico. Producto y atención al cliente ahora pasan un enlace a la traza en lugar de reconstruir la sesión en un ticket. Menos idas y venidas, y sobre todo menos adivinación.
Lo que queda abierto
El relato termina con una pregunta a otros equipos: cómo atan versiones de prompt, cambios de modelo, ajustes de recuperación y cohortes de despliegue sin que cada release se convierta en una tarea manual. Es la parte que casi nadie tiene resuelta, porque cada pieza suele vivir en una herramienta distinta y el pegamento acaba siendo una hoja de cálculo o la memoria de quien hizo el despliegue.
Conviene separar dos cosas. Versionar los prompts es barato y se puede empezar hoy. Lo caro es la correlación: que una traza concreta apunte a la plantilla, al modelo y a la cohorte que produjeron esa respuesta, y que eso ocurra sin que nadie lo rellene a mano. Ahí se decide si el siguiente incidente se resuelve en una tarde o en una semana.
