OpenAI diseñó su chip Jalapeño con sus propios LLM: de la arquitectura al silicio en 20 meses

OpenAI presentó el 25 de agosto Jalapeño, su primer acelerador de IA. La compañía dice que entrega hasta 13,4 petaflops en cómputo de 4 bits, 232 gigabytes de memoria y 15,4 terabytes por segundo de ancho de banda. Frente al GB300 de Nvidia, del que hoy depende, OpenAI afirma que reduce la latencia extremo a extremo hasta 3,6 veces y con menor consumo. Son cifras suyas, y habrá que ver cómo se traducen cuando el chip entre en servicio en su flota de inferencia.

Lo interesante no es solo el rendimiento. Es cómo se diseñó. OpenAI metió sus propios LLM en el proceso y pasó de la primera arquitectura al primer silicio en menos de 20 meses. Entre el primer RTL y el tape-out mediaron nueve meses. Es rápido, y varios expertos creen que con modelos más capaces ese calendario quedará corto dentro de poco.

Cien personas y Broadcom

"Los modelos están dando superpoderes a nuestros ingenieros", dice Richard Ho, vicepresidente de hardware. "Nuestros ingenieros siguen llevando el trabajo. Siguen siendo el árbitro final de lo que pasa. Pero pueden hacer las cosas mucho más rápido". El equipo que diseñó el chip promedió menos de 100 personas y hoy sigue en torno al centenar, ya metido en la segunda y tercera generación. Ahí entra desde diseño de sistema hasta cadena de suministro, pero no cuenta a Broadcom, socio del proyecto. El reparto fue claro: OpenAI se encargó del diseño del sistema de extremo a extremo —acelerador de inferencia, jerarquía de memoria y red— y Broadcom del diseño físico desde las puertas.

Eso matiza el mérito de la velocidad. David Chin, de Verkor.io, cree que el calendario es creíble, pero sostiene que Broadcom fue esencial: "si alguien empieza desde cero, no será posible". Ravi Krishna, también de Verkor, lo llama "un resultado relativamente impresionante" y apunta que hoy sería aún más rápido. Andrew Kahng, de la Universidad de California en San Diego, lo describe como "probablemente lo mejor de su clase hoy".

Los LLM donde antes no llegaban las herramientas

Ankur Srivastava, de la Universidad de Maryland, recuerda que la automatización en diseño de chips existe desde hace décadas, pero los LLM entienden lenguaje y código. Eso los hace útiles para las tareas que siguen siendo lingüísticas.

El flujo de OpenAI se apoya en XLS (Accelerated Hardware Synthesis), una cadena de síntesis de alto nivel open source que nació en Google. Los diseñadores escriben en DSLX —un lenguaje específico inspirado en Rust— o en C++, y XLS lo convierte a Verilog. Chris Leary, miembro del equipo técnico, lo empezó en Google. "Pensábamos en cómo aprovechar la IA para acelerar el proyecto, y la IA era mucho mejor en cosas que parecen software. XLS se parece en parte a software, así que se benefició de eso".

La misma lógica llevó al equipo a optimizar software. Cuando volvieron los primeros chips de la fundición en mayo, apuntaron sus modelos internos a escribir código para benchmarks como InferenceX. En el kernel de multi-head latent attention de DeepSeek, el rendimiento pasó del 0,31% del techo teórico al 88,94% en unas 40 horas. Ho dice que el resultado es repetible, lo que acorta el tiempo entre los primeros chips y la producción en volumen. Jalapeño va montado en pods de 2.048 chips.

Queda por ver cuándo llega a producción y a qué precio. Pero el mensaje que deja OpenAI es que sus LLM ya no son solo un producto que vende: también son la herramienta con la que comprime sus propios ciclos de ingeniería.