Una tabla de conteo sin parámetros supera a un transformer de 1,43 millones

Un transformer de 1,43 millones de parámetros con ventana fija de 64 tokens pierde contra una tabla de conteo sin parámetros cuando el documento se alarga. Es el resultado central de un experimento que mide ambos mecanismos sobre las mismas posiciones: por debajo de unos 100 tokens gana el modelo entrenado, el cruce llega en algún punto entre 60 y 250, y con 1.000 tokens la tabla saca 0,064 puntos de top-1, un 43% de margen relativo.

El montaje son seis sistemas y un texto continuo cortado en documentos de longitud L, de forma que longitud y coherencia crecen juntas. Todo está fuera de distribución: un libro de Gutenberg contra un modelo de corpus y un transformer entrenados con TinyStories. Los dos componentes entrenados cargan con el mismo desplazamiento, así que la comparación es justa; en dominio el transformer sería más fuerte y el cruce se movería hacia documentos más largos. Medir eso exige un corpus en dominio de documentos largos que este trabajo no tiene.

No es el primer dato de esta línea. Un experimento anterior ya había medido que la caché de documento valía hasta +0,106 puntos de top-1 en un texto largo y coherente, frente a +0,014 de todo el recorrido que va de Witten-Bell a un modelo jerárquico Pitman-Yor con muestreo de Gibbs, según el análisis del modelo jerárquico Pitman-Yor. Aquella comparación no tenía red neuronal dentro, así que no podía responder a la pregunta que importa.

Un mecanismo se estanca y el otro se dobla

El transformer da 0,152, 0,143 y 0,149 en L=60, 250 y 1000. No hay tendencia, y el motivo es estructural, no estadístico: con una ventana de 64 tokens un documento de 1.000 tokens es literalmente invisible. La tabla de conteo pasa de 0,103 a 0,172 y 0,213. La longitud del documento es un recurso que uno puede gastar y el otro no.

Los tests pareados van en las dos direcciones. En L=60 gana el transformer por 0,050 puntos, con intervalo [-0,067, -0,032], y la nota lo dice así en vez de llamarlo "no significativo". En L=250 y L=1000 gana la tabla, por 0,029 y 0,064 respectivamente, con intervalos que no cruzan el cero. Tampoco son dos variantes de lo mismo: discrepan en el 20-25% de las posiciones, frente al 3% que se veía entre dos híbridos en un trabajo previo. No convergen por caminos distintos; simplemente uno acierta más a medida que el documento crece.

Lo que aporta añadir los 1,43 millones de parámetros sobre corpus más caché cae de 0,022 a 0,013 y luego a 0,002. El peso óptimo de la caché sube de 0,25 a 0,70 y 0,85 sin que nadie se lo imponga: en L=1000 el mejor sistema es 85% documento y 15% corpus. Y estos sistemas no manejan un contexto largo, condición que los propios autores dejan fuera del alcance del experimento.

Dónde se rompe el resultado

Dos avisos van pegados a los números. La celda de L=1000 tiene 74 documentos y es la más ruidosa de las tres. Y la caché en L=60 muestra un top-5 de 0,546 junto a su top-1 bajo, porque un documento de 60 tokens aporta unos 30 tipos distintos: la distribución se concentra en pocos candidatos sin acertar cuál. Es una propiedad del documento corto, no un artefacto, y se invierte cuando el texto crece.

Tampoco contradice el hallazgo vecino de que el conteo no escala con el corpus. Lo que escala aquí es la cantidad de documento disponible, que es otro eje. El repositorio no es público, así que las cifras salen de su propio harness y nadie de fuera puede reproducirlas.

La lectura útil no es que contar gane a las redes neuronales, porque por debajo de 100 tokens no lo hace. Es que dos mecanismos pueden parecer competidores mientras dependen de recursos distintos, y que compararlos en un único punto de operación no dice casi nada.