PrismML lanza Bonsai 2 27B: cuantización ternaria, 5,9 GB y el 98,2% del modelo base
El laboratorio PrismML comprime Qwen3.8 27B en 5,9 GB con cuantización ternaria y afirma que conserva el 98,2% del rendimiento del original, con ventana de 262.000 tokens.
PrismML ha presentado Bonsai 2 27B, un modelo de pesos abiertos que aplica cuantización ternaria para dejar el archivo en 5,9 GB y retener, según sus propias mediciones, el 98,2% del rendimiento de Qwen3.8 27B, el modelo en que se basa. La compañía asegura además que la puntuación agregada supera a la de Qwen3.6 27B, que era su referencia anterior.
El movimiento es una segunda vuelta sobre Bonsai 27B, el ajuste fino que PrismML publicó a principios de año sobre Qwen3.6 27B y que se quedaba en el 95% del rendimiento del original con bastante menos memoria. Ahora cambia el punto de partida, Qwen3.8 27B, y la mejora se reparte por razonamiento, generación de código, visión y agentes de largo recorrido. Es decir, sigue siendo un modelo multimodal.
Números sobre el papel
La cuantización ternaria usa escalado por grupos en FP16 y deja 1,76 bits efectivos por peso. El contexto llega a 262.000 tokens. En cuanto a velocidad, PrismML da 143 tokens por segundo en una GeForce RTX 5090 y 46,8 tokens por segundo en un Apple Silicon M5 Max. En una RTX 4090 la eficiencia energética es de 0,714 mWh por token, un 40% por debajo de un modelo de 8B en precisión completa.
Todo esto es medición del fabricante: no hay desglose por prueba ni cifras de terceros, así que conviene tomarlo como punto de partida y no como resultado cerrado. Lo que sí está claro es el envoltorio: pesos abiertos bajo licencia Apache 2.0, ejecución en GPU de NVIDIA vía CUDA y en equipos de Apple vía MLX. Nada de API propietaria ni de endpoints cerrados.
El discurso de PrismML es que este modelo aguanta en local lo que ellos llaman trabajo de conocimiento real: bucles de agentes de programación, flujos de uso del ordenador, análisis de documentos privados, depuración multimodal y orquestación híbrida, recurriendo a la nube solo cuando haga falta. Con 27B y 5,9 GB, la promesa apunta a un portátil con GPU decente o a un equipo de sobremesa de gama alta, no a un clúster.
Ahí está el interés para quien administra equipos o monta herramientas internas: un modelo de ese tamaño en disco y con ese contexto encaja en estaciones de trabajo que hasta ahora no podían tocar la gama de 27B en precisión completa, y si el rendimiento se sostiene fuera del laboratorio, cambia qué se manda a un proveedor externo y qué no. Falta ver mediciones independientes y comprobar cuánto de ese 98,2% se mantiene en tareas concretas, porque una media agregada esconde mucho.
