MAISI busca demostrar la seguridad de la IA mediante pruebas matematicas formales

Jacob Tsimerman, ganador reciente de la Medalla Fields, ha anunciado la fundacion del Mathematical A.I. Safety Institute (MAISI). La entidad independiente, con sede en la zona de la bahia de San Francisco, arrancara su actividad en enero de 2027 con un equipo de entre diez y treinta matematicos dedicados a resolver problemas de seguridad en inteligencia artificial. Tsimerman incorpora esta nueva linea de trabajo mientras mantiene su rol en el equipo de seguridad de OpenAI.

El planteamiento parte de una deficiencia estructural en el sector. En criptografia es posible demostrar mediante matematicas que un esquema es irrompible sin necesidad de simular cada vector de ataque posible. En el desarrollo de modelos de IA no existe ese atajo. La seguridad se valida practicamente, una vez desplegado el sistema, y la industria adolece de una definicion teorica rigurosa del concepto de "seguro". MAISI pretende subsanar esa laguna.

De lo empirico a lo formal

El objetivo de la institucion es establecer demuestras formales de que un sistema actua dentro de los parametros responsables y genera resultados correctos. Esto incluye verificar que multiples agentes de IA operando en conjunto no desencadenen comportamientos adversos no deseados y que las arquitecturas resistan vulnerabilidades desconocidas hasta el momento.

Una de las herramientas que exploraran son las pruebas de conocimiento cero (zero-knowledge proofs). Estas permiten a un sistema demostrar que cumple ciertas propiedades de seguridad sin revelar sus secretos comerciales ni los detalles de su entrenamiento. Es una forma de auditoria matematica que separa la verificacion de la propiedad intelectual.

Tsimerman senala que el campo requiere "un estandar de seguridad mucho, mucho mas alto del que estamos obteniendo actualmente". Hasta ahora, la gestion de riesgos en IA depende de benchmarks, auditorias humanas limitadas y mitigaciones post-hoc. La propuesta de MAISI es mover esa garantia a la capa de diseno, antes de que el modelo vea la luz.

La iniciativa nace en un contexto donde la presion por alinear modelos de gran escala choca con la opacidad de las "cajas negras". Que un matematico de nivel Fields entre a cubrir este hueco sugiere que la industria esta dejando de ver la seguridad como un problema de ingenieria de software para asumirla como un problema formal. Si funciona, podria evitar que los accidentes de IA sean solo consecuencia de lo que fallamos en probar durante el entrenamiento.

A falta de un estandar, MAISI propone convertir la seguridad en una propiedad verificable y no en una apuesta empirica.