OpenAI reescribe Habitat en Rust y multiplica por 6 la eficiencia de CPU
El nuevo servicio en Rust atiende ya el 95% del tráfico de producción, con seis veces más eficiencia de CPU y quince veces más de memoria, y el cliente Python se retira en semanas.
OpenAI ha contado cómo reescribió Habitat, su plataforma de almacenamiento en línea, pasando del cliente Python a un servicio en Rust. El nuevo código atiende ya el 95% del tráfico de producción, con una eficiencia de CPU seis veces mayor y quince veces más eficiencia de memoria, según los datos que da la propia compañía. La plataforma mueve más de 70 millones de peticiones por segundo y gestiona más de 500 PB de datos para los más de 1.000 millones de usuarios semanales de ChatGPT.
Habitat nació siendo poco más que una librería de Python que hablaba con los servidores de ChatGPT y, por debajo, con Azure Cosmos DB. La idea era que los ingenieros de producto no tuvieran que tocar la base de datos: el sistema se encargaba del reconocimiento de tipos, el enrutado, la autorización, el cifrado, la serialización y la gestión del pool de conexiones.
El problema de la librería compartida
Con el crecimiento de productos y de volumen de datos, hacia mediados de 2025 el modelo se quedó corto. Cada cambio en la librería compartida obligaba a coordinar el despliegue de decenas de servicios, lo que añadía complejidad de publicación y riesgo de fallos. OpenAI lo convirtió en un servicio independiente para centralizar despliegue, monitorización y funciones de plataforma. Eso también le dio un punto único de control de seguridad: control de acceso, registros de auditoría y permisos sobre el almacenamiento, con menos superficie para accesos no autorizados desde fuera, desde dentro o por parte de agentes automáticos.
Python fue la elección inicial por estabilidad y velocidad de desarrollo de producto, pero en escenarios de alta concurrencia se topa con el coste de CPU, el consumo de memoria y la latencia de red, con la cola de latencia como punto crítico. El equipo limitó el número de peticiones concurrentes, añadió procesos de trabajo y afinó la planificación de tareas asíncronas. También cambió la política de refresco de los interruptores de funcionalidad para que el análisis masivo de JSON no interfiriera con el procesamiento de peticiones.
En el pool de conexiones apareció un detalle jugoso: aiohttp reutiliza conexiones por defecto con estrategia LIFO, lo que puede concentrar el tráfico en los procesos más lentos. Pasaron a FIFO y se redujo el desequilibrio de carga.
Habitat expone una API NoSQL restringida para evitar consultas SQL, uniones complejas o escaneos grandes desde el cliente. Cuando hace falta consultar de verdad, la captura de cambios (CDC) sincroniza los datos casi en tiempo real hacia Rockset para análisis y búsqueda.
Dos ingenieros y bastante ayuda de modelos
En el segundo trimestre de 2026, OpenAI puso a dos ingenieros, junto con Codex y GPT-5.5, a reescribir el servicio entero en Rust. La compañía afirma que el nuevo servicio ya sirve el 95% del tráfico de producción, con esas ganancias de CPU y memoria y una latencia media y de cola más bajas. Las cifras son suyas, no de un tercero, y no ha publicado el código ni una comparativa reproducible.
El plan es retirar por completo la implementación en Python en las próximas semanas. OpenAI dice que en siguientes entregas contará cómo escala la capa de almacenamiento sobre Azure Cosmos DB y cómo sostiene la fiabilidad multiusuario y el rendimiento de lectura a esa escala. Lo aprovechable para quien opera sistemas es el patrón: un servicio central con API limitada, CDC hacia un motor analítico y una reescritura en Rust para domar la cola de latencia.
