El problema de evaluar la visión de un VLM: si das los datos, resuelve; si los quitas, no
Quien construye un conjunto de datos adversarial para modelos de visión y lenguaje describe tres intentos fallidos: cuando el texto lleva todos los parámetros, el modelo resuelve sin mirar la imagen.
Un desarrollador que prepara un conjunto de datos adversarial para evaluar modelos de visión y lenguaje (VLM) ha descrito su bloqueo principal: si incluye los parámetros numéricos en el enunciado para que su corrector automático los acepte, el modelo ignora la imagen y resuelve el ejercicio por álgebra. Si los quita, el corrector tumba el enunciado por ambiguo. Lo cuenta él mismo, y no acompaña ningún conjunto publicado ni resultados que lo respalden.
El sistema tiene dos mitades. De un lado, la tarea, que debe provocar un fallo de percepción o de extracción espacial en modelos como GPT-4o, Claude 3.5 Sonnet, Gemini 1.5/2.0 Pro o Qwen2-VL, empujándolos a atajos visuales: asociación óptica equivocada, mala lectura de escala o el colapso de un recorte asimétrico en dos dimensiones a una estimación lineal a trozos. Del otro, un juez automático que no es un modelo: es un solucionador simbólico determinista que lee el enunciado y comprueba la derivación paso a paso contra una solución de referencia.
Ese juez impone condiciones duras. Solo admite una pregunta numérica por ejercicio, exige notación LaTeX correcta para variables, subíndices y letras griegas, y rechaza cualquier enunciado que remita a contexto visual no definido antes en el texto. También obliga a usar imágenes con licencias permisivas, CC BY 4.0 o CC0, y deja fuera las CC-NC y CC-SA.
Tres intentos y tres formas de fallar
El primer diseño metía las coordenadas 3D de cada objeto, sus formas y sus materiales directamente en el texto. Los VLM ni miraron la imagen: el motor de texto parseó las coordenadas como si fueran código, filtró y acertó.
El segundo planteaba una integral doble sobre un dominio circular de 5.000 puntos recortado por un rectángulo asimétrico, un escenario donde el modelo tiende a estimar en una sola dimensión. Al dar los límites explícitos, entre -2,000 y 2,500, resolvió la integral de forma simbólica y llegó al resultado exacto, 3.512, sin tocar el gráfico.
El tercero quitó el límite superior del texto y pidió extraerlo de las marcas del eje. El juez lo rechazó por referencia no fundada y redacción ambigua, y los modelos, ante una imagen que no cuadraba, se inventaron un límite simétrico de 2,000.
Qué falta
El autor pide ideas para romper el extractor visual sin confundir al solucionador de texto: qué combinaciones geométricas o trampas de escala funcionan, cómo estructurar las etiquetas de un diagrama para que el juez lo vea como una fórmula autocontenida mientras el VLM lee mal los límites. También pregunta cómo rediseñar la arquitectura para agrandar la distancia entre fallo de percepción y verificación simbólica.
Para quien construye evaluaciones multimodales, el diagnóstico es reconocible: un evaluador determinista premia los enunciados cerrados, y un enunciado cerrado le da al modelo una vía para saltarse la imagen. Todavía nadie ha enseñado un ejercicio que resuelva las dos cosas a la vez.
