Wontopos lanza Glasshouse, un benchmark abierto para APIs de memoria
El repositorio Apache‑2.0 de Glasshouse define reglas, métricas y datos para evaluar de forma neutral los sistemas de memoria a gran escala.
Wontopos ha puesto a disposición en GitHub el proyecto Glasshouse, un benchmark diseñado para medir la capacidad de los sistemas de memoria sin sesgos de proveedor. La iniciativa nace de la frustración habitual: los números publicados por los vendedores rara vez coinciden con los obtenidos por terceros, y cambiar el modelo de evaluación suele alterar los resultados más que las diferencias reales entre sistemas.
El benchmark se ejecuta sobre un corpus de conversaciones de 103 572 turnos, 1 991 sesiones y aproximadamente 1,9 millones de tokens. Cada pregunta aparece en cuatro tamaños de "haystack", desde un núcleo pequeño hasta el conjunto completo, de modo que se puede observar la degradación del modelo a medida que aumenta el contexto irrelevante. En total hay 1 547 preguntas distribuidas en 14 ejes, incluyendo:
- Recall básico (repetición de hechos, reformulación de preguntas).
- Fact checking con valores cambiados o falsos.
- Contradicciones y aparentes contradicciones para forzar la discriminación entre hechos verdaderos y contextos condicionados.
- Abstención ante preguntas sin información previa.
- Memoria visual con 50 fotos y 150 preguntas vinculadas a fechas específicas.
- Multilingüismo con 100 sesiones en 10 idiomas, probando la transferencia cruzada de hechos.
Una novedad importante es la métrica de latencia. En lugar de reportar el tiempo bruto, que incluye la distancia geográfica (por ejemplo, 190 ms de ida y vuelta entre Seúl y EE. UU.), Glasshouse resta el “network floor” medido por separado y presenta el latency minus round‑trip, más cercano al tiempo de cómputo real.
Todas las reglas y datos están bajo licencia Apache 2.0, lo que permite que cualquier organización copie y ejecute el benchmark de forma independiente. Wontopos no inserta sus propias métricas ni controla la admisión de participantes; la comunidad define esas decisiones. El repositorio está vacío de resultados por ahora, pues la intención es que los primeros envíos provengan de terceros antes de que la empresa publique sus propias cifras.
Por qué importa: Glasshouse propone un marco transparente y reproducible para comparar APIs de memoria, algo escaso en el sector. Si la comunidad adopta este estándar, los equipos de desarrollo podrán elegir proveedores basándose en datos verificables, y los vendedores tendrán un punto de referencia claro para optimizar sus productos.
