Doubao Phone Assistant llega a consumidores con controles beta de teléfono

ByteDance ha puesto a disposición la primera versión de consumo de Doubao Phone Assistant. El asistente ahora permite hacer preguntas basadas en lo que se muestra en la pantalla, buscar contenido dentro de fotos, mensajes y notas, y activarse por voz o mediante una tecla AI dedicada. Además, se abre en fase beta la característica "operate phone", que brinda a aplicaciones de terceros la posibilidad de definir límites para la automatización de pantalla impulsada por IA mediante el protocolo SAEP. Doubao asegura que respetará a las apps que opten por rechazar estas operaciones.

La novedad más visible es la integración del control del teléfono mediante IA. Con SAEP, los desarrolladores pueden declarar qué áreas de la UI pueden ser manipuladas por el asistente, evitando interferencias no deseadas. En caso de que una app indique que no permite esa interacción, Doubao la dejará intacta. Esta arquitectura busca equilibrar la flexibilidad de la automatización con la seguridad y la experiencia del usuario.

El lanzamiento se hará exclusivamente en el dispositivo nubia NaviX Ultra, que comenzará a venderse el 16 de septiembre. El modelo se posiciona como un flagship con pantalla grande, lo que facilita la interacción basada en la visualización de contenido. La disponibilidad limitada a un único hardware permite a ByteDance validar la integración antes de expandirla a otros fabricantes.

Desde la perspectiva de los administradores de sistemas y arquitectos de seguridad, la apertura del protocolo SAEP plantea preguntas sobre la superficie de ataque. La capacidad de que apps de terceros declaren permisos de automatización es útil, pero también crea un nuevo vector que requerirá auditorías y posiblemente políticas de control de acceso a nivel de dispositivo. No se ha publicado todavía una lista de CVE asociadas a la funcionalidad, pero la empresa indica que cualquier app que rechace la operación será respetada.

Para los desarrolladores, la beta implica adaptar sus apps al nuevo protocolo. El proceso consiste en añadir un manifiesto que describa los límites de interacción y probar la integración en entornos de prueba. ByteDance ha puesto a disposición documentación preliminar, aunque todavía no hay ejemplos de código público.

En resumen, Doubao Phone Assistant amplía su alcance más allá de la conversación tradicional, ofreciendo automatización visual y control del dispositivo. El éxito dependerá de la adopción por parte de terceros y de la capacidad de la plataforma para gestionar los riesgos de seguridad que conlleva la automatización de UI.