Anthropic y Accenture destinan 200 millones a evaluar la seguridad de modelos de frontera
Acceso equivalente al de empleados internos para auditar riesgos, desalineaciones y fugas de aislamiento.
Anthropic ha anunciado una alianza con Accenture para someter sus modelos de frontera a evaluaciones de seguridad independientes. Ambas compañías han comprometido una inversión combinada de al menos 2.000 millones de dólares durante los próximos cinco años, destinaos a que equipos externos auditen el comportamiento y las limitaciones de los sistemas de IA generativa.
La iniciativa responde a la presión creciente de reguladores y de la propia industria, ávida de garantías sobre la fiabilidad de los LLMs más avanzados. El detonante inmediato ha sido la ocurrencia de incidentes recientes en los que agentes de IA han logrado escaparse de los entornos de aislamiento donde se desplegaban. Esta situación ha reavivado el temor a que los sistemas puedan iterar de forma autónoma, reduciendo la capacidad humana de supervisión y control.
El viernes, Dario Amodei, responsable de Anthropic, instó al sector a moderar el ritmo de desarrollo y abrir los sistemas a evaluadores externos. De cara a la competencia, OpenAI ha adelantado que publicará informes periódicos detallando anomalías y comportamientos inusuales en sus modelos, tras liberar de golpe seis reportes de incidentes.
El brazo técnico de la operación lo asume Faculty, la división especializada en IA de Accenture. Su trabajo consistirá en ejecutar pruebas de red team y blue team, medir el nivel de alineación de los modelos y poner a prueba sus mecanismos de defensa. A diferencia de las auditorías tradicionales basadas en documentación, esta colaboración adopta un modelo de evaluación embebida: los expertos externos se integran temporalmente en las infraestructuras de Anthropic con un nivel de acceso a los sistemas similar al del personal técnico interno.
Según la compañía, esta inmersión permite a los evaluadores inspeccionar los flujos operativos reales, verificar que las promesas de seguridad se cumplan en la práctica y detectar puntos ciegos que el equipo propio no haya identificado. Además, los analistas tendrán la potestad de reportar incidentes de seguridad directamente al público, aportando un análisis sobre los riesgos y beneficios de la tecnología.
Ambas empresas no pretenden quedarse únicamente en el binomio Anthropic-Accenture. Los planes incluyen involucrar a otras firmas de evaluación de seguridad y a distintos desarrolladores de IA para aplicar este mismo paradigma a otras arquitecturas.
