NVIDIA Feynman será el fin de la GPU monolítica tradicional y el inicio de la SRAM vertical gracias a las LPU de Groq, ¿RTX 70 con 3D V-Cache? Posiblemente

La compra, si es que se le puede llamar así, de Groq por parte de NVIDIA, no es un movimiento aislado ni una apuesta oportunista, tiene una repercusión clara que ahora entendemos un poco mejor. La leemos como la pieza que faltaba para redefinir la GPU de inferencia en un contexto donde la latencia, el bajo batch y la eficiencia real pesan más que el throughput bruto, siendo lo primero el cuello de botella que tiene NVIDIA frente a sus rivales especializados. Puede que no entiendas nada de lo que decimos, pero tranquilo, todo converge en una misma dirección: la GPU clásica ya no puede seguir creciendo de forma monolítica y la SRAM se ha convertido en el cuello de botella que fuerza un cambio de arquitectura, así que, ¿cómo va a solucionar NVIDIA esto? Con una LPU vertical complementaria a la SRAM para la GPU, donde Feynman como arquitectura tendría la primera implementación de caché vertical de NVIDIA:

Lo que está en juego no es un nuevo acelerador como tal, ni una integración menor, sino una forma distinta de unir cómputo y memoria. A partir de aquí, el orden importa, y explica por qué Feynman apunta a ser una GPU radicalmente distinta a todo lo anterior que va a dinamitar a todos sus competidores ASIC del mercado.

NVIDIA prepara Feynman con un movimiento magistral: GPU con SRAM vertical a modo de LPU tras comprar Groq

La “operación Feynman” arranca con la compra de Groq que vimos la semana pasada, donde NVIDIA no adquiere la compañía para vender LPU como producto independiente ni para sustituir sus GPU, quería su diseño e infraestructura. Lo que compra es una filosofía de ejecución basada en dataflow determinista, control total del compilador y eliminación del scheduling dinámico, algo que entenderemos más adelante.

Lo importante ahora es entender que estamos en un momento en el que la inferencia en producción exige latencias predecibles y alta utilización del hardware en escenarios de bajo paralelismo para la IA. Ese enfoque encaja de forma casi incómodamente perfecta con los problemas que la GPU arrastra desde hace años y que es la principal debilidad de NVIDIA, pero también es la principal fortaleza de empresas como Google o Amazon, por ejemplo.

El siguiente punto es la SRAM, y aquí conviene ser directos y breves, porque es algo que hemos tratado hasta la saciedad y volveremos con ello en unos meses con TSMC e Intel. La SRAM ya no escala. Desde N5 hasta N3E la reducción de la bitcell ha sido marginal, y N2 solo mejora de forma limitada a costa de un aumento brutal del coste por área.

Cada megabit de SRAM añadido en un die monolítico avanzado es superficie perdida de cómputo y un golpe directo al rendimiento por wafer. Sin embargo, la inferencia moderna necesita cada vez más memoria cercana para evitar ir a HBM en cada paso del decode. El resultado es una contradicción física que no se puede resolver con optimización incremental. ¿Qué va a hacer NVIDIA entonces? Algo realmente inteligente.

Feynman será la primera generación de GPU de NVIDIA con una especie de SRAM vertical basada en las LPU de Groq

Es precisamente en este punto donde las LPU se vuelven críticas para NVIDIA. No por lo que son como chip, sino por lo que implican como modelo de ejecución, quedaros con ese detalle. Las LPU prescinden de cachés complejas, coherencia global y arbitraje dinámico, y esto es clave para entender hacia dónde parecen ir los verdes.

Con las LPU para IA todo está decidido en compilación, con rutas de datos fijas y latencias conocidas de antemano. Por simplificar el concepto, digamos que el rendimiento es predecible y estable en casi el 100% del tiempo. Esto permite mantener una MFU muy alta incluso cuando el batch es bajo, justo donde las GPU generalistas empiezan a desperdiciar recursos, y ahí está la segunda clave unida a este modelo de ejecución. Para NVIDIA, esto no es una alternativa a la GPU, es lo necesario e ideal para redefinir cómo se ejecuta la inferencia dentro de ella, un complemento, un plus.

La consecuencia directa es que la SRAM deja de entenderse como caché y pasa a verse como scratchpad explícito gestionado por el compilador. Y cuando la SRAM deja de ser caché, deja también de tener sentido forzarla dentro del mismo die de cómputo. Aquí es donde aparece la integración vertical que define a Feynman, la SRAM vertical y las LPU.

NVIDIA usará una especie de 3D V-Cache de AMD, con varios cambios importantes

La idea no es meter una LPU dentro de una GPU ni añadir otro motor especializado a los que ya tienen. La idea es que parte de la GPU adopte un comportamiento tipo LPU y se alimente directamente de SRAM apilada sobre el die de cómputo. El esquema apunta a un Compute Die fabricado en A16 por TSMC, optimizado para densidad, frecuencia y eficiencia energética, con uno o varios dies de SRAM apilados mediante hybrid bonding de alta densidad. La SRAM se fabrica en un nodo más maduro y barato, evitando el castigo económico de integrarla en el nodo más avanzado.

El Super Power Rail, o SPR (BSDPN de TSMC) de A16, es el habilitador silencioso de todo esto. Al desplazar la distribución de potencia a la cara trasera, se libera la superficie superior del die y se simplifica el apilado de memoria sin caer en un infierno de ruteo frontal. La SRAM apilada se convierte en una extensión directa del cómputo determinista, con latencia fija y ancho de banda masivo, sin las penalizaciones de las jerarquías de caché tradicionales.

En este diseño, la HBM no desaparece ni pierde relevancia, ya que mantiene su papel como memoria de capacidad para training y prefill, pero deja de ser el recurso al que se recurre constantemente en decode. Esa función pasa a la SRAM apilada, optimizada para resolver tokens en tiempo real con la máxima eficiencia.

¿RTX 70 con caché vertical para reducir la cantidad de GB de VRAM final? Es más que factible

En definitiva, al unir GPU y LPU de forma vertical, NVIDIA cubre con una sola arquitectura el espectro completo de inferencia y training, combinando flexibilidad, escala y latencia predecible. Esto, unido a CUDA Tile, es posiblemente el golpe mortal para todos los ASIC del resto de empresas, que hasta ahora habían sido una competencia muy dura a NVIDIA en inferencia.

Con esta GPU + LPU a modo de SRAM vertical, NVIDIA Feynman va a dar carpetazo a las opciones de sus rivales, porque va a tener lo mejor de los dos mundos, con el mejor software del planeta, en una única arquitectura.

Sobra decir que Feynman en su versión para gaming, posiblemente las RTX 70, tendrían exactamente una versión simplificada que, con total posibilidad, sea una GPU + SRAM vertical simple, lo cual reduciría enormemente los requisitos de VRAM GDDR7X o GDDR8, donde los GB a incluir posiblemente sean mucho menores, aumentando el rendimiento exponencialmente.