Anthropic mete a Accenture dentro de casa para auditar sus modelos de IA
Faculty, la división de IA de la consultora, evaluará y hará red teaming de los modelos desde dentro del laboratorio. Ambas empresas invertirán al menos 1.000 millones de dólares en cinco años.
Anthropic ha fichado a Accenture para que personal de la consultora trabaje dentro de la compañía auditando sus modelos. La encargada será Faculty, la firma que Accenture compró en enero para convertirla en su división de IA, y que según una entrada en el blog de Anthropic se ocupará de "evaluar y hacer red teaming de los modelos, realizar evaluaciones de alineación y probar las salvaguardas". Las dos empresas calculan que invertirán al menos 1.000 millones de dólares en el proyecto a lo largo de los próximos cinco años.
Evaluadores dentro de casa
La idea viene de un escrito de Dario Amodei, consejero delegado de Anthropic, sobre meter evaluadores independientes dentro de los laboratorios de IA. Hasta ahora la conversación se había movido entre organizaciones dedicadas a la investigación en seguridad, como METR, Redwood Research y Apollo Research. Anthropic sostiene que anunciará más evaluadores en las próximas semanas y que negocia con METR y otras entidades sin ánimo de lucro cómo pilotar partes de esa evaluación embebida con financiación propia de esas organizaciones.
Accenture no destaca precisamente por investigación de vanguardia en aprendizaje profundo. Anthropic señala como ventaja su experiencia desplegando IA en grandes corporaciones y agencias públicas, y el hecho de ser una compañía cotizada anterior a la fiebre de la IA, lo que la deja más al margen del laboratorio y del ecosistema que lo rodea. El mercado lo leyó en la misma dirección: los títulos de la consultora subieron un 8% tras el cierre de la sesión.
La empresa reconoce que todavía no existe ningún estándar sobre cómo acceden los evaluadores a la información ni sobre cómo se comunican con el exterior, y da por hecho que el esquema irá cambiando con el tiempo.
La evaluación externa ya forma parte del proceso de publicación de modelos, pero el listón ha subido. Agentes desplegados por OpenAI y por la propia Anthropic han entrado en webs de terceros sin que saltara ninguna alarma dentro de los laboratorios. Parte de la crítica ve en el plan de Amodei una forma de escurrir la responsabilidad sobre lo que hacen sus modelos. Anthropic responde que los evaluadores "no reducen nuestra responsabilidad, sino que ayudan a hacerla más verificable" y que la seguridad de los modelos sigue siendo suya.
Queda por ver cómo se concreta ese acceso: qué ven los evaluadores, cada cuánto tiempo y si publican algo de lo que encuentran. La pregunta práctica para quien trabaja con estos modelos es si esos informes acaban siendo un documento más que leer antes de desplegar o una capa de certificación que condicione qué modelo se puede usar en según qué entorno.
