La Nvidia H100 80GB PCIe aparece en Japón por 34.690 euros

Por Japón se ha dejado ver listada la recientemente anunciada Nvidia H100 con 80 GB de memoria, y no es para nada barata, y es que como has podido leer en el título, cuesta la friolera de 34.690 euros, siendo así la GPU más cara del mercado en la actualidad, aunque obviamente, es la mejor que se puede comprar pensando en el mercado de la Inteligencia Artificial y Machine Learning, así que no imaginéis que alguien se gasta tal dinero para jugar al "Fornai" o al Aristoputas (sí, existe).

Por dicho precio se adquiere una GPU que integra nada menos que 80.000 millones de transistores gracias al usar el proceso de fabricación más avanzado del momento, y este no es otro que los 4nm de TSMC. Su chip gráfico Nvidia GH100, que mantiene el diseño monolítico, ofrece una configuración de 18432 CUDA Cores acompañado por nada menos que 80 GB de memoria HBM3, la cual es capaz de ofrecer un ancho de banda de 3 TB/s, es decir, un 50 por ciento más respecto al Nvidia A100.

En términos de rendimiento, hablamos de 60 TFLOPs FP64/FP32, 1.000 TFLOPs TF32, y 2.000 TFLOPs FP16, lo que implica multiplicar x3 el rendimiento de la Nvidia A100. En lo que respecta al rendimiento FP8, lo multiplica x6 al alcanzar los 4.000 TFLOPs. Debido a este aumento de potencia, también se usa la interfaz PCI-Express 5.0 para alcanzar un ancho de banda de 128 GB/s (vs 64 GB/s) y la 4ª Gen de la tecnología de interconexión NVLink que ofrece un ancho de banda de 900 GB/s (+50%).

Todo esto tiene un elevado coste energético, ya que hablamos de un TDP de 700W, un enorme salto respecto a los 400W que consume la Nvidia A100 tope de gama con 80 GB de memoria HBM2e. Es decir, que el consumo energético crece un 75% a cambio de ofrecer una mejora de rendimiento entre un 300 - 600% y un 50% en el ancho de banda.

La Nvidia H100 incluye las siguientes especificaciones:

• 8 GPCs, 72 TPCs (9 TPCs/GPC), 2 SMs/TPC, 144 SMs por GPU
• 128 FP32 CUDA Cores por SM, 18432 FP32 CUDA Cores por GPU
• 4x Tensor Cores de 4ª Gen por SM, 576 por GPU
• 6 HBM3 o HBM2e stacks, 12x controladores de memoria de 512 bits
• 60 MB L2 Cache
• NVLink de 4ª Gen y PCIe Gen 5

La Nvidia H100 SXM5 incluye las siguientes especificaciones:

• 8 GPCs, 66 TPCs, 2 SMs/TPC, 132 SMs por GPU
• 128 FP32 CUDA Cores por SM, 16896 FP32 CUDA Cores por GPU
• 4x Tensor Cores de 4ª Gen por SM, 528 por GPU
• 80 GB HBM3, 5 HBM3 stacks, 10x controladores de memoria de 512 bits
• 50 MB L2 Cache
• NVLink de 4ª Gen y PCIe Gen 5

La Nvidia H100 PCIe 5.0 incluye las siguientes especificaciones:

• 7 u 8 GPCs, 57 TPCs, 2 SMs/TPC, 114 SMs por GPU
• 128 FP32 CUDA Cores/SM, 14592 FP32 CUDA Cores por GPU
• 4x Tensor Cores de 4ª Gen por SM, 456 por GPU
• 80 GB HBM2e, 5 HBM2e stacks, 10 512-bit Memory Controllers
• 50 MB L2 Cache
• NVLink de 4ª Gen y PCIe Gen 5