JD.com libera JoyAI-EchoWM, un modelo audiovisual interactivo de código abierto
El gigante chino publica en el JDD dos variantes del modelo, con control unificado de la intención de cámara y generación nativa de audio y vídeo, y anuncia un clúster de GPU propio.
JD.com ha liberado JoyAI-EchoWM y EchoWM-Flash, dos variantes de un modelo de mundo audiovisual interactivo, durante la celebración del JDD. La compañía los ha publicado con licencia de código abierto y presume de una puntuación de entre 81,6 y 81,7 en WBench Navigation, un banco de pruebas de navegación.
El modelo combina control unificado de la intención de cámara con generación nativa de audio y vídeo. En la práctica, el sistema no solo produce imágenes, sino que reacciona a las órdenes de movimiento que recibe y genera la banda sonora a la vez. EchoWM-Flash sería la variante más ligera, aunque la nota no aclara en qué se diferencia exactamente de la versión principal ni qué requisitos de hardware tiene cada una.
Pocos detalles técnicos
Los datos disponibles son escasos. No hay pesos publicados ni enlaces a repositorio en la información difundida, y la puntuación de WBench es la que da la propia empresa, no un tercero independiente. Tampoco se especifica la licencia concreta, ni si el entrenamiento ha usado datos propios o públicos, ni sobre qué hardware se ejecuta la inferencia. Para un modelo que aspira a ser evaluado por terceros, esa falta de información deja la puerta abierta a que las cifras no se puedan reproducir.
En el mismo evento, JD.com ha anunciado planes para levantar un clúster de GPU de fabricación nacional y ha presentado Superbrain 3.0, una evolución de su sistema para logística. Son anuncios paralelos, sin relación directa con la liberación del modelo.
Para quien trabaja con modelos generativos, lo relevante sería poder probar el modelo en sus propios casos, algo que hoy no es posible con lo publicado. Un modelo de mundo interactivo con audio y vídeo sincronizados tiene aplicaciones en simulación y robótica, pero sin acceso a los pesos ni a una demo pública, la puntuación se queda en un dato de marketing. Queda por ver si JD.com publica el repositorio y los detalles de licencia en los próximos días.
