Nvidia GH200: Grade Hopper acaba de recibir la actualización HBM3e

La GPU H100 obtiene otro impulso de velocidad: Nvidia la está lanzando con HBM3e en lugar de los componentes de memoria HBM3. Esto aumenta la capacidad y el rendimiento de la RAM y está destinado a acelerar el entrenamiento de modelos de IA particularmente grandes.

anuncio

Nvidia habla un idioma Anuncio para una exposición de cigraph de un impulso por un factor de 3.5 – por supuesto en escenarios seleccionados del “mejor de los casos”. Sin embargo, por ahora, la GPU H100 mejorada solo está disponible como un chip GH200 de “gama alta” junto con el propio procesador ARM de Nvidia en una placa de circuito genérica.

141 GB HBM3e por GPU

En esta variante, el acelerador utiliza 141 GB de memoria HBM3e con una tasa de transferencia de unos 5 TB/s. Nvidia no proporciona antecedentes técnicos para esta capacidad distorsionada: algunas ubicaciones de memoria pueden estar fuera de servicio. Samsung, SK Hynix y Micron están produciendo inicialmente componentes con capacidades de hasta 24 GB, seis de los cuales en realidad producirán 144 GB.

En la versión H100 original, cinco de los seis bloques de construcción HBM3 adjuntos están activos. Se pueden usar 80 GB de RAM a una velocidad de transferencia de 3,35 TB/s. Con el H100 NVL, la sexta unidad HBM3 está activa. Esto aumenta la capacidad a 94 GB (los niveles de almacenamiento individuales también se desactivan aquí) y la velocidad de transferencia a 3,9 TB/s.

El resto del equipamiento no cambia entre las tres versiones. Todos utilizan 14 592 núcleos de sombreado, que alcanzan una potencia informática de aproximadamente 4 petaflops mientras entrenan la IA. Este valor se aplica al cálculo del FP8 con poca precisión, pero es suficiente para el entrenamiento.

anuncio

Con 72 núcleos Neoverse V2 ARM, la CPU Grace de las placas GH200 pertenece a la clase media alta en estos días. La principal carga informática es la GPU H100.

Aun no está disponible

Los primeros sistemas con las nuevas placas GH200 deberían estar disponibles en el segundo trimestre de 2024. Para entonces, los fabricantes de memorias deberían poder ofrecer componentes HBM3e. Además, Nvidia todavía tiene tiempo para aliviar los cuellos de botella en la entrega.

Los sistemas que contienen la combinación anterior de Grace Hopper todavía son raros. Nvidia anunció esto a principios del verano de 2022 para la primera mitad de 2023; Los primeros modelos se mostraron en la feria comercial Computex en mayo. Sin embargo, aún no ha aparecido comercialmente.

(Maestría)