Qwen 3.8 27B: la VRAM de la RTX 5090 se queda corta por fallos de software
El modelo de Alibaba, con sus 17 GB en cuantificacion a 4 bits, colapsa el rendimiento de las GPU tope de gama por cuellos de botella en la capa de inferencia, no por memoria.
Alibaba lanzo hace unas semanas Qwen 3.8 27B, una red neuronal de pesos abiertos que promedia 17 gigabytes una vez cuantizada a 4 bits. En papel, cabe en cualquier tarjeta grafica actual: desde una RTX 3090 hasta la nueva RTX 5090 y sus equivalentes de AMD o Intel. El problema es que meter los pesos en la memoria de video no保证 que el modelo funcione bien.
Tom’s Hardware ha sometido el modelo a pruebas con las GPUs mas potentes del mercado. El resultado confirma una sospecha extendida entre los administradores de sistemas: la capacidad de memoria (VRAM) ya no es el unico limitante. El rendimiento reales de inferencia se estrella contra cuellos de botella severos en los motores de software y las bibliotecas de ejecucion.
Aunque Qwen 3.8 27B registra puntuaciones altas en los benchmarks de inteligencia general y ofrece capacidades multimodales integradas, esa eficiencia teorica no se traduce en velocidad de despliegue. Las arquitecturas mas recientes, como la RTX 5090, acumulan tanta memoria que el hardware espera inactiva mientras la capa de software procesa la solicitud. No es un problema de ancho de bus o de velocidad de carga, sino de como los stacks actuales manejan la ejecucion de modelos de este tamaño.
Software, no silicio
La novedad aqui no es el modelo en si, sino la confirmacion de que la optimizacion del backend es el siguiente cuello de botella. Un modelo de 27.000 millones de parametros pesa poco en comparacion con gigantes de varios cientos de miles de millones, pero sigue siendo lo suficientemente grande para saturar las optimizaciones actuales de cuantificacion y atencion.
El articulo original destaca que, pese a que tanto las series RTX 40 y 50 como las Radeon RX 7000 o las solucions profesionales como las Arc Pro B70 tienen memoria mas que suficiente, el throughput de tokens se ve estrangulado por la ineficiencia del motor de inferencia. La cifra de 17 GB para los pesos hace que parezca justo usar una maquina de escritorio potente, pero la experiencia revela que esa potencia bruta no se aprovecha si la pila de software no este afinada especificamente para este tipo de carga.
Esto tiene implicaciones directas para quien despliega modelos locales. No basta con comprar la tarjeta grafica mas cara disponible. Si el stack de inferencia no esta maduro para explotar el ancho de banda y las unidades tensoriales de la ultima generacion, el ROI hardware cae en picado. Los desarrolladores y los responsables de infraestructura tendran que mirar hacia implementaciones mas ligeras o esperar a que los motores de ejecucion (llamados LLM, vLLM u otros) optimicen la ruta critica para modelos de este rango intermedio.
La noticia sirve de recordatorio: en el ecosistema de la IA local, la guerra por los gigabytes de memoria esta ganada por el hardware. La proxima batalla se libra en el compilador y la estacion de ejecucion. Hasta que las mejoras de rendimiento no vengan de ahi, sumar VRAM tendra rendimientos decrecientes.
