PrismML lanza sus modelos LLM de 1 bit para gafas inteligentes con procesador Snapdragon
La startup de Caltech presenta su modelo de 2 billon de parámetros para vision y lenguaje, ejecutable localmente en gafas AR basadas en Snapdragon AR1 Gen 1.
PrismML y el salto de 1 bit
PrismML, el laboratorio de IA de Caltech que se apoya en la experiencia de UC Berkeley, ha puesto a la mesa su LLM de 1 bit, el Bonsai, en un entorno de gafas inteligentes alimentado por el chip Snapdragon AR1 Gen 1. La demostración se hizo pública el miércoles en la Snapdragon Summit, donde Qualcomm mostró la capacidad de ejecutar el modelo directamente en el dispositivo sin recurrir a la nube.
Detalles del modelo
El nuevo LLM cuenta con 2 mil millones de parámetros, entrenado específicamente para tareas de visión y lenguaje. La arquitectura de 1 bit permite que el modelo sea comprimido hasta 4 veces respecto a la versión original sin perder la mayoría de su desempeño en los benchmarks estándar. La idea es que el usuario pueda preguntar en tiempo real sobre lo que ve, sin necesidad de enviar datos a servidores externos.
Ventajas y contexto
PrismML defiende la filosofía de «open‑weight AI» que funciona sobre la potencia ya existente en los dispositivos, evitando la dependencia de los grandes centros de datos de los labs propietarios. El lanzamiento en Snapdragon es un paso concreto hacia esa visión. Hasta ahora, Qualcomm no ha anunciado gafas que integren el modelo, pero la compatibilidad técnica ya está demostrada.
Qué significa para la práctica
Para un administrador de sistemas o arquitecto de edge, la posibilidad de ejecutar un LLM de 2 billon de parámetros localmente en un chip Snapdragon abre escenarios de procesamiento en el borde con mínima latencia y sin comprometer la privacidad. Además, la compresión de 1 bit reduce el consumo de energía y el tamaño del modelo, factores críticos en dispositivos wearables.
Próximos pasos
Se espera que los fabricantes de gafas inteligentes evalúen la integración de Bonsai en sus líneas de producción. Mientras tanto, PrismML continúa trabajando en la optimización de modelos para otros chips Qualcomm y en la expansión de sus capacidades multimodales.
Para más información visita el sitio oficial de PrismML.
