Red Hat y Alquimia montan una pila para evaluar flotas de agentes de IA

Alquimia y Red Hat han publicado cómo encajan sus piezas para evaluar flotas de agentes de IA. La propuesta consiste en convertir las conversaciones de decenas de agentes autónomos en trabajos de evaluación comparativa reproducibles y auditables, ejecutados dentro del perímetro de la propia organización.

El punto de partida que describen es conocido por cualquiera que haya tocado esto: montar un agente con unas pocas líneas de Python y una clave de API de un LLM es un problema resuelto, y da la sensación de que todo funciona. El problema aparece al pasar de ese prototipo a un despliegue con soporte de primer nivel, atención en tienda o análisis de causa raíz en SRE. Ahí la revisión manual no escala. Un agente puede responder bien una vez y perder el contexto diez turnos después, y no hay forma cómoda de comparar qué cambió entre una versión de prompt y la siguiente, ni de rastrear qué versión del agente produjo una conversación concreta.

A eso se suma el riesgo operativo: sesgos a nivel de atributo (género, raza, religión, nacionalidad), lenguaje tóxico y asociaciones dañinas que se cuelan por debajo de un filtro de palabras clave.

Tres capas, un control plane

El montaje se apoya en tres niveles. Abajo está OpenShift como plataforma Kubernetes híbrida con controles multiinquilino, actualizaciones automatizadas y soporte a largo plazo. Encima, OpenShift AI cubre el ciclo de vida de machine learning, y aquí entran dos componentes clave: MLflow para el registro de experimentos, versiones y métricas, y EvalHub como plano de orquestación que lanza sondas de seguridad, red teaming y pruebas comparativas contra distintos harnesses de evaluación.

El tercer nivel es donde trabaja Alquimia con Gaussia, un framework en Python que se registra como proveedor de EvalHub y reparte el trabajo entre familias de métricas, escribiendo los resultados estructurados en MLflow:

• Humanidad: perfil emocional y tono mediante distribuciones léxicas, sin necesidad de credenciales de un modelo juez externo.
• Suficiencia contextual: jueces LLM que puntúan alineación con el contexto, memoria del diálogo, calidad del lenguaje y cumplimiento de las máximas de Grice.
• Verificación agéntica: compara las respuestas del agente con un conjunto de referencia y calcula la tasa de acierto.
• Seguridad: evaluación con modelos especializados, como Granite Guardian desplegado con vLLM sobre OpenShift AI, para vigilar sesgo por atributo y lenguaje tóxico.

La parte que interesa a quien opera esto es la del perímetro. Ejecutar la pila en el centro de datos propio evita que las interacciones con clientes salgan hacia servicios de terceros, algo que en sectores regulados no es negociable. Hay documentación de Gaussia y EvalHub publicada para quien quiera montarlo.

Conviene leerlo con la etiqueta puesta: es el blog de un ingeniero de Red Hat y describe una arquitectura de referencia, no un producto cerrado. No hay benchmarks comparativos, ni demo, ni cifras de rendimiento sobre cuántos agentes aguanta el montaje. Lo que sí queda claro es el hueco que intentan tapar: hasta ahora, evaluar agentes en producción se resolvía con scripts propios y hojas de cálculo, y eso no aguanta una auditoría.