Qualcomm ejecuta un MoE de 30.000 millones de parámetros en el Snapdragon 8 Elite
El fabricante ha adaptado el modelo StepEdge-Omni 30B-MoE de StepFun a la sexta generación de su plataforma móvil y lo ha demostrado en local, sin nube, con más de 330 tokens por segundo en prefill.
Qualcomm ha enseñado un modelo de lenguaje de 30.000 millones de parámetros corriendo en local sobre la sexta generación de su Snapdragon 8 Elite. Lo ha hecho en el Snapdragon Summit de Hawái, junto a StepFun y al fabricante de almacenamiento Longsys, con una demo de un asistente agéntico funcionando en el propio teléfono.
El modelo es el StepEdge-Omni 30B-MoE, desarrollado por StepFun. La arquitectura es de mezcla de expertos: en lugar de mover los 30.000 millones de parámetros en cada consulta, solo se activan los módulos que la tarea necesita, lo que rebaja el cómputo y el ancho de banda de memoria. Los socios han tocado además el motor de inferencia, la planificación heterogénea y el apartado de almacenamiento para dejar el requisito de memoria más de un 50% por debajo de lo que consideran habitual en el sector.
Nada sale del teléfono
El argumento de Qualcomm es que el asistente resuelve sin salir del dispositivo tareas como entender un correo, planificar un viaje, sincronizar el calendario, recomendar vuelos y hoteles, compartir un itinerario o redactar un borrador de correo. No hay llamada a la nube en ese circuito, lo que reduce la latencia y evita mandar según qué datos a un servidor ajeno.
Las cifras que ha dado la compañía, y que son suyas, no de un tercero: por encima de 330 tokens por segundo en la fase de prefill y más de 28 tokens por segundo en decodificación. El prefill es la etapa en la que el modelo procesa la entrada antes de empezar a generar, así que ese número mide sobre todo cómo se comporta con prompts largos y con peticiones agrupadas. Los 28 tokens por segundo de decodificación son, en cambio, lo que percibe el usuario mientras el texto va apareciendo en pantalla: manejable para lectura, justo para según qué usos interactivos.
Ojo con el termo que usa Qualcomm: es el tope de gama de su plataforma móvil, no un chip de servidor. Meter un MoE de este tamaño en un teléfono implica repartir el modelo entre memoria y almacenamiento y aceptar que parte del peso vive en flash, de ahí que Longsys esté en la foto.
El movimiento encaja en la carrera por llevar modelos cada vez más grandes al borde, que llevaba un par de años moviéndose entre los 3.000 y los 8.000 millones de parámetros en terminal. Triplicar esa cifra cambia qué se puede delegar al dispositivo.
Lo que no ha enseñado Qualcomm son medidas de consumo, ni el coste del terminal que lo mueva, ni cuánto ocupa el modelo en disco. Tampoco hay datos independientes sobre la fiabilidad de las respuestas en tareas largas. Todo eso, más el precio final del equipo, decide si esto se queda en demo de feria o acaba siendo algo que la gente use a diario.
