AMD Instinct MI300: hasta 24 núcleos Zen 4 + GPU CDNA 3 con 192GB HBM3

Esta mañana hablábamos de la serie de APUs Instinct MI300, y ahora ha sido cuando AMD ha terminado de completar la información confirmando las especificaciones técnicas de esta super APU para servidores. Lo denominamos super APU, ya que tenemos en un solo chip tenemos una CPU con núcleos AMD Zen 4 de alto rendimiento. Por otro lado, tenemos una GPU con la arquitectura profesional AMD CDNA 3. Por si no fuera suficiente, todo ello se acompaña de la memoria más rápida del mercado bajo el mismo encapsulado.

Esta memoria se trata de la HBM3. De esta forma, tenemos una APU de rendimiento bestial para servidores que buscará luchar con Intel y NVIDIA en diferentes segmento. En principio, AMD dice que será líder de la aceleración de la IA gracias a su Instinct MI300X, que es la versión tope de gama. Ahora toca conocer realmente qué se esconde tras dicho nombre.

Especificaciones del AMD Instinct MI300A & MI300X

Bajo el nombre de AMD Instinct MI300A nos encontramos con una APU que se podrá configurar con hasta 24 núcleos AMD Zen 4. Estos se pueden se pueden acompañar de una GPU con hasta 14.592 Stream Processors bajo la arquitectura CDNA 3. Terminamos con hasta 128 GB de memoria HBM2. Esta se trata de la primera APU de AMD diseñada para la aceleración de IA y HPC. Su diseño chiplet combina los procesos de fabricación de 5nm y 6nm, y los 128 GB de memoria HBM3 es compartida para la CPU y GPU.

El AMD Instinct MI300X está puramente enfocado a la Inteligencia Artificial. Es por ello que a nivel de GPU ofrece hasta 19.456 Stream Processors bajo la arquitectura CDNA 3. Aquí desaparece la CPU, pero se aprovecha el espacio libre para añadir hasta 192 GB de memoria HBM3. Esto se traduce en ofrecer un ancho de banda para la memoria de 5,2 TB/s. Para no tener cuellos de botella, tenemos la interfaz Infinity Fabric capaz de interconectar todo con un ancho de banda de 896 GB/s.

Gracias a la gran capacidad de memoria de la AMD Instinct MI300X, los clientes ahora pueden instalar modelos de lenguaje de gran tamaño, como Falcon-40, un modelo de 40.000 millones de parámetros, en un único acelerador MI300X.

Resto de la información y primeras pistas en torno al rendimiento

Estas APU están ligadas a un nuevo socket bautizado como AMD SH5. Este permitirá configuraciones de hasta cuatro chips combinados utilizando la última interconexión Infinity Fabric y los nuevos conmutadores de interconexión para un mayor ancho de banda y velocidades de interconexión.

En las últimas comparaciones de rendimiento, AMD ha demostrado que su Instinct MI300 multiplica por 8 el rendimiento de IA (TFLOPs) y por 5 el rendimiento de IA por vatio (TFLOPs/vatio) con respecto a Instinct MI250X. Por desgracia, no hay comparativas de rendimiento respecto a otras soluciones del mercado de sus rivales.

Al menos AMD si mencionó a NVIDIA en un aspecto, y fue en el ancho de banda de su aceleradora de IA. En concreto, su Instinct MI300X ofrece un 60% más de ancho de banda respecto a la NVIDIA H100. En lo que respecta a densidad, capacidad de memoria, ofrece 2,4 veces más. La compañía indica que una plataforma AMD Instinc podrá sumar hasta 8x MI300X. Esto da lugar a una configuración de hasta 1,5 TB de memoria HBM3.