NVIDIA se frota las manos con Enfabrica, la startup que incluirá hasta 18 TB de DDR5 en servidores de IA usando Ethernet

A la hora de entrenar una IA, no solo necesitaremos una gran potencia de cálculo, sino que vamos a depender de la memoria como principal factor limitante. Si tenemos suficiente memoria en el ordenador, podremos entrenar y usar IA con decenas o cientos de millones de parámetros. Debido a esto, la memoria (tanto RAM como VRAM) es muy valorada y necesaria en actividades que impliquen inferencia de IA y similares. Ahora, gracias a una startup respaldada por NVIDIA llamada Enfabrica, tenemos un sistema llamado Emfasys que permite añadir hasta 18 TB de memoria DDR5 usando un pool de memoria a través de Ethernet para que las GPU para IA se beneficien.

Aunque la IA ha existido desde hace décadas, la que tenemos actualmente es distinta a la de esa época. Mientras que antes se entrenaban algoritmos de ML e inteligencia artificial para que aprendan a hacer algo muy específico, la IA generativa actual usa enormes cantidades de contenido para tener un conocimiento general. Ejemplos de ello son IA generativa de imágenes que pueden generar todo tipo de imágenes y arte o la IA generativa de textos que se entrena con básicamente todo el contenido de Internet que encuentra y está en constante evolución.

La startup Enfabrica diseña un sistema llamado Emfasys que permite añadir hasta 18 TB de memoria DDR5 a servidores de GPU para IA

Como el interés por la IA generativa no decae, las grandes compañías están invirtiendo millones de dólares para desarrollar modelos de inteligencia artificial más avanzados. Para poder conseguirlo, necesitan comprar el hardware necesario que suele ser GPU de NVIDIA o chips aceleradores de IA además de los correspondientes procesadores y componentes para hacer que el equipo esté totalmente operativo. Tanto la cantidad de memoria RAM como VRAM de estos sistemas será crucial y, por desgracia, estamos bastante limitados, sobre todo en VRAM.

Por suerte, hay esperanza con la memoria HBF de SanDisk para añadir hasta 4 TB de VRAM y sabiendo que Raja Koduri estará trabajando con ellos, puede que se cumpla. En cuanto a memoria RAM, la startup Enfabrica ha ideado un nuevo sistema llamado Emfasys que le permite añadir hasta 18 TB de memoria DDR5 como VRAM y lo mejor de todo es que es mediante Ethernet. Según indican, este sistema es compatible con racks de servidor y está basado en la ACF-S SuperNIC, la cual alcanza una velocidad de 3,2 TB/s y una capacidad de hasta 18 TB DDR5.

La memoria se trasmite a través de la red de Ethernet usando RDMA con una latencia muy baja

Estos 18 TB de memoria DDR5 se conectarán usando CXL DRAM como podemos ver en el gráfico de la parte superior y a esta memoria podrán acceder los servidores con 4x GPU/8x GPU conectadas. Para añadir la memoria a estas gráficas y aprovecharla en IA se usará la conectividad Ethernet con puertos 100G, 200G, 400G o 800G que se conectarán con RDMA (Remote Direct Memory Access).

Con RDMA consigue un acceso y transferencia de memoria de forma rápida, con una baja latencia de menos de unos microsegundos y sin necesidad que la CPU intervenga en el proceso. Para que todo esto funcione, se requerirá un software proporcionado por la empresa. Aunque pueda resultar complejo el sistema de Enfabrica, básicamente lo que hacemos es usar esos 18 TB de memoria DDR5 como VRAM de GPU con Ethernet y así tener una capacidad mucho mayor en IA. Esto permitirá no solo entrenar y usar modelos de IA más complejos, sino que se reduce