Infinigence AI publica APXInf, un motor de inferencia embebida para Jetson Thor
La nueva versión reduce la latencia de inferencia de ~278 ms a ~26 ms, alcanzando unos 38,5 Hz en el dispositivo.
Infinigence AI ha lanzado como código abierto APXInf, un motor de inferencia diseñado para ejecutarse en Jetson Thor y otros dispositivos de alto rendimiento como Orin, RTX 4090 y futuros chips domésticos. La versión presentada utiliza precisión PI 0.5 FP8 y consigue que la latencia de extremo a extremo caiga de aproximadamente 278 ms a 26 ms, lo que se traduce en una tasa de procesamiento cercana a 38,46 Hz.
El proyecto se desarrolla en colaboración con la Universidad de Tsinghua y la Universidad de Shanghai Jiao Tong (SJTU). Además de la compatibilidad con la arquitectura ARM de Nvidia, APXInf incluye una hoja de ruta para portar el motor a chips diseñados localmente, lo que podría ampliar su uso en entornos donde la dependencia de hardware extranjero sea un problema.
Para los equipos de infraestructura y desarrollo, el código abierto implica que pueden integrar APXInf en pipelines de visión por computadora o robótica sin costes de licencia y con la posibilidad de adaptar el motor a sus propias optimizaciones de hardware. La reducción de latencia abre la puerta a aplicaciones de control en tiempo real más exigentes, como robots autónomos o sistemas de vigilancia que requieren respuestas en decenas de milisegundos.
Queda por ver cómo la comunidad adoptará el proyecto y si la hoja de ruta de chips domésticos se materializa en productos comerciales. Mientras tanto, APXInf se presenta como una opción atractiva para quien necesita inferencia de IA en el edge con un perfil de rendimiento comparable al de soluciones propietarias.
