Nvidia paga 20.000 millones por Groq y la inferencia se adueña del centro de datos

TensorDyne ha presentado Napier, un chip diseñado específicamente para acelerar la inferencia de modelos de IA. No es un movimiento aislado: Nvidia se ha hecho con talento clave y propiedad intelectual de Groq, una startup de inferencia, en una operación de 20.000 millones de dólares, y los grandes proveedores están reorganizando su cómputo alrededor de esta carga de trabajo. Después de años en los que lo único que importaba era entrenar modelos más grandes, la inferencia se ha situado en el centro.

Los números explican parte del giro. Desde 2020 los LLM pasaron de millones de parámetros a billones, y funcionó: la versión mayor de GPT-3 acertaba el 43,9 % de las preguntas de un benchmark de conocimiento y razonamiento, y cuatro años después GPT-4o llegaba al 88,7 % en la misma prueba. Pero el foco se ha movido. Matt Kimball, analista de centros de datos en Moor Insights & Strategy, lo resume así: el entrenamiento es ya noticia de ayer y lo único que quieren discutir los responsables de sistemas es la inferencia. Jensen Huang lo llamó en la GTC 2026 el punto de inflexión de la inferencia.

Por qué inferir no es entrenar con menos trabajo

Entrenar consiste en jugar a adivinar el siguiente token a escala masiva y ajustar los parámetros por retropropagación hasta congelarlos. La inferencia usa ese modelo ya congelado, y podría parecer más barata porque no hay que actualizar pesos. No lo es. El modelo es autorregresivo: cada token de salida depende del anterior, así que generar uno obliga a leer todos los pesos y todo el contexto acumulado —el prompt, las respuestas previas, los archivos que se hayan subido—. El proceso se parte en dos fases: el prefill procesa el prompt completo y calcula la atención entre tokens; el decode va emitiendo la respuesta token a token.

Encima, el patrón de uso ha cambiado. Los modelos razonadores ejecutan inferencia varias veces sobre sí mismos mediante cadena de pensamiento, y con esfuerzo de razonamiento alto pueden generar hasta 20 veces más texto que uno que no razona. A eso se suma la IA agéntica, que no responde a una consulta puntual sino que trabaja en bucle hacia un objetivo, con el acelerador encendido las 24 horas.

Cerebras, Trainium y una factura mensual de mil millones

Ese volumen ha producido alianzas que hace dos años no se entendían. Amazon diseñó Trainium para entrenamiento, pero AWS optó por partir la inferencia en dos: Trainium se queda con la parte computacionalmente compleja y el motor wafer-scale de Cerebras con la que consume más memoria. OpenAI y Amazon han desplegado chips del tamaño de un plato de cena diseñados por Cerebras, pese a que Amazon tiene sus propios Trainium. Anthropic paga más de 1.000 millones de dólares al mes a SpaceXAI por alquilar cómputo. Y Nvidia ha comprado talento e IP de Groq; su LPU Groq 3 coloca la SRAM y los bloques de cómputo en el chip en el orden en que se necesitan para recortar el movimiento de datos.

Para quien diseña o compra infraestructura de IA, el mensaje es que el cuello de botella se ha movido del cálculo al ancho de banda de memoria. Pasar de un centro de datos pensado para entrenamiento a uno pensado para inferencia no es cambiar de tarjeta: es cambiar la proporción entre memoria y FLOPs y decidir si conviene mezclar silicio especializado de varios proveedores. Los chips que se presenten en los próximos meses se van a leer con ese rasero.