AskUI en un pipeline de CI: la sesión interactiva, el obstáculo real de los tests de UI

Un ingeniero ha contado su experiencia tras tres meses ejecutando AskUI dentro de su pipeline. Lo llamativo no es la herramienta en sí, sino el muro contra el que choca cualquiera que intente automatizar pruebas de interfaz gráfica: pasan en la máquina del desarrollador y no hacen nada en el runner.

La causa es concreta. La VM arranca en la pantalla de inicio de sesión y no hay sesión interactiva donde inyectar la entrada. El test se lanza, sí, pero no tiene dónde escribir. AskUI se instala como servicio de Windows y eso es lo que le sacó del atolladero, según su relato: corre como SYSTEM, sobrevive a las desconexiones por RDP y funciona en la pantalla de logon.

Detalles de operación

Los tests son archivos markdown planos, así que se versionan junto a la aplicación. Los secretos se referencian por nombre y quedan fuera de los logs. Nada de eso es espectacular, pero es lo que hace que el invento encaje en un pipeline con revisiones y control de acceso, en lugar de ser un script suelto que solo funciona en un portátil.

Las dos pegas que asume el propio autor

La primera es el coste. Cada ejecución cuesta dinero, así que «lanzar todo en cada commit» dejó de ser una decisión gratuita y movió la suite completa a la franja nocturna. La segunda es el estado WARN: es una valoración del propio agente, algo que se sostiene con un humano mirando y bastante menos a las tres de la mañana, cuando el aviso cae en un informe que nadie abre hasta el standup.

Todo esto es el testimonio de una sola persona, sin cifras ni repositorio público que lo respalde. El autor cierra preguntando a otros cómo gestionan la no determinación de los tests basados en agentes cuando hacen de puerta de calidad. Es la pregunta interesante: un gate que a veces acierta y a veces avisa según su criterio obliga a decidir si bloquea el despliegue o solo lo ensucia con ruido. La herramienta resuelve el problema técnico de la sesión interactiva; el problema de fiabilidad sigue abierto, y no es de AskUI, es de toda la categoría.