Doubao Mobile Assistant lanza versión para consumidores con soporte de AI y automatización de pantalla

Doubao Mobile Assistant, la herramienta de Xiaomi que combina voz y gestos para controlar el móvil, ha salido de fase beta y llega a los usuarios con una serie de ajustes de rendimiento y nuevas funciones.

La versión consumer se centra en la estabilidad y la experiencia diaria. El asistente admite varios modos de activación: voz, botón AI y gestos de tres dedos. El botón AI incorpora huella digital, lo que permite usar el asistente sin desbloquear el teléfono una vez que el propietario ha sido verificado.

En cuanto a la voz, la app se ha optimizado para ambientes lejanos, con ruido interior y ruidosos. El reconocimiento se mantiene robusto incluso cuando hay mucho sonido de fondo.

Una de las novedades más interesantes es la “respuesta de pantalla”. El usuario puede hacer preguntas sobre lo que aparece en pantalla sin tener que recortar o cambiar de aplicación. Por ejemplo, al apuntar la cámara a una habitación y decir: “Según este estilo de decoración, muéstrame un armario de menos de 1,2 m y bajo 1.000 ¥”, Doubao combina la imagen con los requisitos y busca en la tienda en línea.

El asistente también ofrece una herramienta de búsqueda local que revisa fotos, SMS, notas y otros datos para responder preguntas como “¿Cuándo vence mi pasaporte de Hong Kong y Macao?”.

La grabación de voz se ha mejorado y se integra con Feishu MiYiji, permitiendo al usuario hacer preguntas específicas sobre el contenido grabado, por ejemplo: “¿Qué productos se mencionaron en la entrevista de ayer?”. Se pueden guardar pantallas con gestos o con el botón AI + tecla de volumen, creando una memoria accesible localmente.

En esta edición se abre de forma beta la función “operar el móvil”. Doubao lanza el Screen Automation Operation Declaration Agreement (SAEP), que permite a las aplicaciones de terceros declarar límites de operación y decidir si permiten o no que el asistente haga automatizaciones dentro de su app. Si una app rechaza la operación, Doubao no la realizará.

Para el manejo de datos, la app sigue los principios de “necesidad razonable” y “control del usuario”, y emplea el sistema Agent Protection para gestionar los alcances de operación por capas y niveles.

La primera versión consumer de Doubao se lanzará con el Nubia NaviX Ultra, que ya está disponible para reserva y se venderá el 16 de septiembre.

Por qué importa

Para los administradores de sistemas y desarrolladores, la introducción de la SAEP significa que las aplicaciones deben considerar cómo exponer sus interfaces de UI a un asistente AI. La política de automatización también implica revisar los permisos de Android y garantizar que las pantallas sensibles no sean manipuladas sin consentimiento explícito.

Para los arquitectos de experiencia de usuario, la función de respuesta de pantalla abre nuevas oportunidades de diseño de UI que se integren con el asistente de forma natural. Además, la capacidad de usar huella digital como autenticación sin desbloqueo puede mejorar la fluidez de las interacciones.

El lanzamiento con el Nubia NaviX Ultra sugiere una estrategia de hardware‑software estrecha, lo que puede influir en la planificación de actualizaciones de firmware y en la compatibilidad con versiones anteriores.

En resumen, la versión consumer de Doubao no es solo una actualización de producto, sino también un llamado a la comunidad de desarrolladores a prepararse para un ecosistema donde la automatización de UI y la interacción por voz se vuelven estándar.