EXO combina dos NVIDIA DGX Spark con un Mac M3 Ultra para mejorar 2,8 veces el rendimiento en IA

Vivimos en una era donde la inteligencia artificial ha arrasado con todo y se ha convertido en el sector con mayor potencial de crecimiento. Las grandes empresas han llegado a dejar de lado otros proyectos a los que se dedicaban para desarrollar modelos de IA o invertir en ella sea añadiendo nuevas funciones o simplemente usándola. Todos se están subiendo al carro de la inteligencia artificial y no es de extrañar, pues ya hemos visto que ha revolucionado la forma en la que creamos contenido o buscamos información. En estos momentos donde la IA es tan importante, crear equipos optimizados para su uso es lo ideal. EXO Labs ha decidido hacer un "Frankenstein" de ordenador que combina 2 NVIDIA DGX Spark junto a un Mac Studio con M3 Ultra para conseguir un gran rendimiento en IA.

Si lo que queremos es poder entrenar y usar modelos de IA complejos, vamos a necesitar de un ordenador que tenga una gran capacidad de memoria y ancho de banda. Aquí hablamos tanto de memoria RAM del sistema como VRAM de la tarjeta gráfica, pues en ambos casos vamos a llenarla rápidamente a medida de que el modelo de IA tiene más parámetros. De igual forma, vamos a necesitar la mayor potencia posible para poder conseguir la mayor velocidad en IA, por lo que aquí combinamos dos factores que suben mucho el precio.

EXO Labs muestra su EXO 1.0, una combinación de 2 NVIDIA DGX Spark y Mac Studio M3 Ultra para lograr un mejor rendimiento en IA

Si bien podemos usar modelos de IA utilizando hardware de PC normal, este no está diseñado para tales cargas. Aunque tengas la tarjeta gráfica más potente para gaming, la RTX 5090, sus 32 GB de VRAM y su potencia se quedarán muy por detrás de lo que pueden ofrecer las GPU diseñadas para IA de NVIDIA, aunque eso sí, te saldrá mucho más barata. Si es posible, lo ideal sería comprar hardware o dispositivos creados específicamente para tareas de inteligencia artificial. EXO Labs tuvo una idea en la que combinarían varios dispositivos para poder conseguir un rendimiento en IA muy superior al habitual.

Así es como nace el EXO en su versión 1.0, una combinación de dos NVIDIA DGX Spark y un ordenador Mac Studio equipado con el potente M3 Ultra. Aunque sean dispositivos muy distintos, EXO aprovecha los puntos fuertes de cada uno y hace que se complementen muy bien. Cada NVIDIA DGX Spark tiene una potencia de cálculo bruta mayor que Apple y a su vez, el M3 Ultra del Mac Studio es capaz de transferir datos de forma mucho más rápida. Para que te hagas una idea, cada DGX Spark tiene 4 veces mayor potencia de cómputo que el Mac y cada Mac tiene 3 veces mayor ancho de banda que el Spark.

Un solo NVIDIA DGX Spark es 1,9 veces más rápido que el Mac Studio y al combinar dos de ellos y el Mac logran 2,8 veces más rapidez en tareas de inferencia

En tareas como la inferencia LLM para IA primero tenemos la etapa de "prefill", donde el modelo de inteligencia artificial lee y procesa la orden que le mandamos. La velocidad a la que avanza dependerá de la capacidad de cálculo, así que aquí es donde se aprovechan las GPU Blackwell de las DGX Spark. Una vez se completa, aparece el primer token de la solicitud y tras esto, para seguir generando tokens hay que pasar a la fase de "decode", momento en el cual se dependerá de la memoria y su ancho de banda.

Sabiendo la teoría pasamos a la práctica y aquí es donde vemos que el experimento funciona muy bien. Utilizando como benchmark el modelo de IA Llama-3.1 8B (FP16) con un prompt de 8.192 tokens y generando 32 tokens tenemos los resultados que puedes ver arriba. Partiendo de una base con el Mac Studio M3 Ultra, tenemos 5,57 segundos de tiempo de prefill y 0,85 segundos de tiempo de decode dando como resultado 6,42 segundos.

Un solo NVIDIA DGX Spark logra 1,47 segundos de tiempo de prefill y 2,87 segundos de tiempo de decode, lo que nos da 4,34 segundos en total, suponiendo así una mejora de un 90% sobre el Mac. Ahora, tras combinar ambos se consigue lo mejor de cada uno y mantenemos los 1,47 segundos de prefill y los 0,85 segundos de decode quedando así 2,32 segundos en total y una increíble mejora 2,8 veces superior al Mac.