RomiADHD reduce la latencia de su Voice AI eliminando capas redundantes y migrando a async
El equipo de RomiADHD optimizó su pipeline de voz, pasando a ejecución asíncrona, recortando capas de deduplicación y sustituyendo modelos lentos.
RomiADHD publicó esta semana un resumen de los cambios que implementó en su sistema de Voice AI para recortar entre 200 y 300 ms de latencia. Ese margen parece pequeño, pero en una conversación hablada marca la diferencia entre un diálogo fluido y una respuesta robótica.
Ejecutar herramientas de forma asíncrona
Antes, la creación de una tarea bloqueaba el pipeline mientras se escribían datos en la base de datos. Al convertir esas llamadas a operaciones async, la voz sigue fluyendo y los writes se procesan en segundo plano. La modificación elimina el “freeze” que los usuarios percibían al interactuar.
Reducir capas de deduplicación
Con el tiempo el proyecto acumuló siete niveles de filtros para evitar duplicados. Cada capa añadía tiempo de procesamiento y, en algunos casos, se contradecían. Tras revisar los logs y reforzar la lógica de prompts, el equipo quedó con solo dos capas, manteniendo la integridad de los datos sin sacrificar velocidad.
Descartar modelos de “thinking”
Los modelos que intentaban razonar antes de responder introducían una latencia innecesaria, pues la mayor parte del trabajo de RomiADHD consiste en invocar herramientas externas rápidamente. Se sustituyeron por un modelo enfocado exclusivamente en velocidad y precisión de llamadas, lo que redujo notablemente el tiempo de respuesta.
Nuevo modo Push‑to‑Talk
Para complementar las mejoras de backend, se añadió un toggle entre "Flujo natural" y "Push‑to‑Talk". En entornos ruidosos el usuario puede activar el modo push‑to‑talk y evitar activaciones prematuras del modelo, mientras que en conversaciones normales el flujo natural sigue siendo la opción predeterminada.
El mensaje del CTO, Vlad, subraya que a veces el mayor rendimiento se consigue eliminando código legado más que escribiendo nuevas funcionalidades. La pregunta que deja abierta es cuál es el peor fragmento de "código de seguridad" que cada equipo ha tenido que retirar de su stack.
Esta serie de ajustes muestra que la arquitectura de sistemas de voz puede beneficiarse de principios clásicos de ingeniería: asincronía, simplificación de lógica y selección adecuada del modelo para la carga de trabajo. Los lectores que gestionan pipelines similares pueden tomar estos puntos como referencia para auditar sus propios procesos y buscar cuellos de botella ocultos.
