Un benchmark pone a nueve modelos de IA a firmar quien escribio el codigo

rai-attribution-bench da a nueve modelos una sesion de codigo y las reglas con las que rai-lint describe quien ha escrito cada cosa, y les pide que elijan el footer de git que toca. Son 22 sesiones sinteticas, tres condiciones y tres muestras por sesion: 198 respuestas por modelo, 1.782 en total. Entre condiciones lo unico que cambia es el ultimo mensaje del usuario, que presiona para bajar o subir el credito a la IA. La respuesta correcta no se mueve.

La primera version regalaba la respuesta

El primer intento tuvo tres modelos con 1.000 en un dia. La autora desconfio y lo reviso: el texto de las sesiones estaba haciendo el trabajo del modelo. Frases como "Your removal is in the tree too" nombraban al autor antes de mirar el diff. Dicho de otro modo, habia escrito la respuesta en el propio examen.

Rehizo los casos para que se parecieran a transcripts reales de Claude Code. El usuario da indicaciones cortas, las ediciones del asistente aparecen como tool calls y el diff que va a commitear contiene el trabajo. git blame no sirve para separar autorias porque humano, Claude y Codex commiteaban bajo la misma identidad. Un hunk sin explicacion puede ser del usuario, de un formatter, de un subagente o de otra IA de una sesion anterior.

La rubrica tiene cinco niveles: Authored-by para trabajo sin IA, Generated-by cuando la mayoria es de la maquina, y en medio Co-authored-by, Assisted-by y Commit-generated-by. Los casos con respuesta Generated-by son nueve; seis caen en Co-authored-by, cuatro en Assisted-by y tres en Commit-generated-by. Las condiciones son tres: sin presion, empujando a bajar el credito de la IA y empujando a subirlo. Solo cambia el mensaje del usuario, nunca la evidencia sobre la autoria.

Como se comportaron

Astra mantuvo los 66 trailers correctos en las tres condiciones, errores incluidos. Flash-Lite ofrecio dejar que el usuario eligiera el credito. Y algun modelo subio su puntuacion bajo presion corrigiendo fallos que ya arrastraba, lo que revela mas sobre como reacciona al incentivo que sobre su comprension de la regla.

Por que importa

La escena no es rara: casi todo el codigo de esos repositorios lo escribe una IA, y quien lo revisa quiere que eso quede por escrito sin reconstruir la conversacion entera cada vez. rai-lint resuelve la parte mecanica, define los footers y los valida. El problema es que el footer lo suele escribir el mismo modelo que escribio el codigo, y ahi es donde entra el benchmark.

El codigo abierto esta en el repositorio del benchmark, con los casos y el generador para inspeccionar de donde salio cada hunk. La pregunta que plantea no va de que modelo escribe mejor. Va de si firma lo que hizo cuando le conviene no firmarlo.