Redujo un prompt de sistema de 4.000 a 300 tokens con Synap

Un usuario de r/PromptEngineering compartió que su prompt de sistema había crecido a 4.000 tokens porque el modelo perdía el hilo y cada nuevo proyecto requería más scaffolding. Para solucionar esto, trasladó la información que cambia a un servicio llamado Synap, que extrae hechos en tiempo real, resuelve duplicaciones y marca hechos superados cuando llegan versiones nuevas. El prompt resultante contiene solo 300 tokens de instrucciones reales.

Con esta reducción, la coherencia tras el mensaje treinta mejoró notablemente, ya que el modelo ahora recibe cuatro hechos actuales en lugar de una larga historia que debe clasificar. La latencia de recuperación de información es de aproximadamente quince milisegundos y una prueba LongMemEval estándar situó el rendimiento en 92 % frente a 57,5 % del mejor alternativo disponible.

El servicio se ofrece con una capa gratuita que incluye 5 000 créditos y permite iniciar sesión con GitHub. El autor invita a la comunidad a compartir cuántos tokens usan en sus propios prompts y si alguien ha logrado ir en la otra dirección.

Synap es la herramienta que facilita la extracción de hechos y la actualización dinámica de información en la conversación.