Vals levanta 40 millones para auditar modelos de IA con exámenes privados
La startup fundada en 2024, respaldada por Andreessen Horowitz, vende evaluaciones de modelos a las mismas empresas que los desarrollan y factura ocho veces más que el año pasado.
Vals, startup de evaluacion de modelos de IA fundada en 2024, ha cerrado una ronda serie A de 40 millones de dolares liderada por Andreessen Horowitz. La empresa vende servicios de benchmarking a las propias companias que desarrollan los modelos y asegura que sus ingresos son ocho veces los del ano pasado. Antes habia levantado una ronda semilla liderada por 8VC y Bloomberg Beta.
Su tesis es que los benchmarks clasicos ya no sirven para medir lo que hacen los modelos actuales. El cofundador y consejero delegado, Rayan Krishnan, de 25 anos, lo resume asi: "Veiamos llegar al mercado modelos nuevos y muy capaces a gran velocidad, y los benchmarks academicos no seguian el ritmo de ese avance de frontera".
El examen no se publica
La diferencia de Vals con buena parte del sector esta en como plantea las pruebas. Muchos benchmarks son publicos, lo que abre la puerta a que una empresa entrene su modelo contra el examen y lo apruebe por la via del atracón. Vals no publica el material con el que evalua. Tampoco se limita a medir conocimiento general del estilo "sabe un modelo lo suficiente para aprobar el examen de abogacia?". Evalua si completa tareas concretas en dominios especificos --derecho, finanzas, codigo-- y compara el resultado con el que daria un profesional humano.
La idea es detectar no solo los aciertos, sino tambien los fallos: que pasaria si esos modelos campasen a sus anchas por el mundo.
El catalogo se ha ido ampliando. Ademas de los sectores mas habituales, la compania ha montado pruebas sobre mejora recursiva, salud mental, ciberseguridad y bioseguridad, y trabaja en evaluar como aplican los modelos el derecho de los conflictos armados, con el Convenio de Ginebra como referencia.
Quien paga y por que
Que una empresa pague para que le digan que su modelo no rinde suena raro. Krishnan lo compara con un estudiante que paga al College Board por presentarse al SAT. La evaluacion no es un aprobado o un suspenso, sino un diagnostico: sirve para localizar donde falla el modelo y mejorarlo. Y cada vez pesa mas a la hora de decidir que modelo compra o integra otra compania.
Los numeros que da la empresa son suyos, no de un tercero auditado. Vals empezo el ano con ocho empleados y ya tiene 25; preve sumar entre 10 y 15 mas y mudarse a una oficina mas grande. Tambien ha lanzado un programa para ofrecer evaluaciones a agencias federales.
El interes del sector por este negocio crece al mismo ritmo que la desconfianza hacia las metricas tradicionales. Krishnan espera que las evaluaciones independientes se conviertan en algo parecido a la auditoria financiera de la IA, sobre todo segun las companias del sector salen a bolsa y tienen que justificar ante inversores lo que dicen sus modelos. Queda por ver si un tercero privado, y opaco sobre sus propios metodos, consigue esa autoridad o si el mercado acaba pidiendo organismos con otro tipo de escrutinio.
