Intel Gaudi 3: el acelerador de IA tope de gama de la compañía que promete desbancar a NVIDIA

Durante la conferencia Intel Vision 2024, la compañía anunció su nuevo acelerador de IA generativa tope de gama: Intel Gaudi 3. Respecto a su predecesor, el Intel Gaudi 2, la compañía ha conseguido aumentar por 4 la capacidad de cálculo de inteligencia artificial (IA) para BF16. Se ha conseguido aumentar en 1,5 veces el ancho de banda de memoria, y en 2 veces el ancho de banda de red para un escalado masivo del sistema. Y, esto se traduce un gran avance y una fuerte declaración de Intenciones de Intel para la industria hambrienta de hardware para entrenar sus IA.

Esto que supone un salto significativo en el rendimiento y la productividad para la formación y la inferencia de IA en los populares modelos de grandes lenguajes (LLM) y modelos multimodales. Basándose en el rendimiento y la eficiencia demostrados del acelerador Intel Gaudi 2 AI -la única alternativa MLPerf para LLM del mercado- Intel ofrece a los clientes la posibilidad de elegir entre un software abierto basado en la comunidad y una red Ethernet estándar del sector para escalar sus sistemas de forma más flexible.

Intel Gaudi 3 también saca pecho ante su principal rival: las GPU NVIDIA H100

Como ejemplo, Elon Musk indicó que la segunda versión de su chatbot, Grok 2, se estaba entrenando con 10.000 GPU NVIDIA H100. Grok 3 requerirá 100.000 de estas GPU. Pues bien, las Intel Gaudi 3 son hasta un 50% más rápidas consumiendo menos energía. Para ser exactos, según las pruebas de laboratorio realizadas por Intel. En Llama 2 7B con 13.000 millones de parámetros. Y en el modelo GPT-3 con 175.000 millones de parámetros, cada Intel Gaudi 3 es un 50% más rápida en tiempo de entrenamiento.

Con Llama 7B con 70.000 millones parámetros, y Falcon con 180.000 millones, el rendimiento de inferencia es un 50% más rápido mientras que la eficiencia energética de inferencia es un 40% mayor. En el peor de los casos, con Llama 7B con 70.000 millones de parámetros, y el modelo Falcon con 180.000 millones de parámetros, la Intel Gaudi 3 es un 30% más rápida en inferencia que la NVIDIA H200. En el mejor de los casos, Gaudi 3 es hasta 2,3 veces más eficiente.

La aceleradora de IA Intel Gaudi 3 alardea de ofrecer 128 GB de memoria HBM2E (3,7 TB/s de ancho de banda) con un TDP de 600W en su versión PCI-Express 5.0 x16. Con la misma interfaz, pero en forma de "Mezzanine Card" (PMC) su TDP se dispara hasta los 900W. Será durante este mismo trimestre cuando Intel lance a Gaudi 3 a un mercado hambriento por hardware relacionado con la IA.

Resto de información ofrecida por Intel en su nota de prensa

"En el panorama en constante evolución del mercado de la IA, persiste una brecha significativa en la oferta actual. Las empresas sopesan consideraciones como la disponibilidad, la escalabilidad, el rendimiento, el coste y la eficiencia energética. Intel Gaudi 3 se destaca como la alternativa GenAI que presenta una combinación convincente de desempeño de precio, escalabilidad del sistema y ventaja de tiempo para generar valor". Dijo Justin Hotard, vicepresidente ejecutivo y director general del grupo de centros de datos e IA de Intel.

El acelerador Intel Gaudi 3, diseñado para la computación eficiente de IA a gran escala, se fabrica a un proceso de 5 nanómetros (nm) y ofrece avances significativos con respecto a su predecesor. Está diseñado para permitir la activación de todos los motores en paralelo -con el motor de multiplicación de matrices (MME), los núcleos de procesamiento tensorial (TPC) y las tarjetas de interfaz de red (NIC), lo que permite la aceleración necesaria para una computación de aprendizaje profundo rápida, eficiente y a escala.