Nvidia, iki yılı aşkın bir süre önce duyurulan Hopper nesli bilgi işlem hızlandırıcısının başka bir versiyonunu da beraberinde getiriyor: PCIe x16 H200 NVL kartı. Daha büyük ve önemli ölçüde daha hızlı yerel bellek sayesinde, büyük AI dil modellerini (LLM'ler) 1,5 yıl önce duyurulan H100 NVL'ye göre %90'a kadar daha hızlı işlediği söyleniyor. Çipin bilgi işlem gücü tamamen aynı kalıyor. Ancak PCIe kartın güç tüketimi %50 artarak 400 watt'tan 600 watt'a çıkıyor. Ancak H200 NVL, optimum kullanımla H100 NVL'den daha verimli performans göstermelidir. Enerji tüketimi de azaltılabilir.
Duyuru
İki veya dört H200 NVL, NVLink aracılığıyla 900 GB/sn (aktarım yönü başına 450 GB/sn) ile bağlanabilir; H100 NVL ile NVLink yalnızca 600 GB/sn'yi işler. Sunucu ana kartına bağlantı PCIe 5.0 x16 aracılığıyla yapılır, yani 128 GB/sn'ye kadar (her yönde 64 GB/sn).
Supermicro, SC'24 konferansında sekiz Nvidia H200 NVL ve iki Intel Xeon 6900P'ye sahip SYS-522GA-NRT SuperServer'ı tanıttı.
Nvidia henüz H200 NVL'nin fiyatını açıklamadı. Önceki H100 NVL birkaç haftadır perakende satış mağazalarında yaklaşık 30.000 Euro'dan başlayan fiyatlarla satışa sunuluyor.
| Nvidia H200: PCIe ve SXM versiyonları | |||
|
Kart/Modül |
H200SXM |
H200NVL |
H100NVL |
|
Bağlantı |
SXM |
PCIe 5.0×16 |
PCIe 5.0×16 |
|
Proje |
SXM |
2 yuva |
2 yuva |
|
Enerji tüketimi |
700W |
maksimum 600W |
300 – 400W |
|
Veri deposu |
HMB3e 141GB |
141 GB HMB3e |
94GBHBM3 |
|
Aktarım hızı |
4,8 TBayt/sn |
4,8 TBayt/sn |
3,9 TByte/sn |
|
NVLink |
0,9 TBayt/sn |
0,9 TBayt/sn |
0,6 TByte/sn |
| maksimum teorik hesaplama gücü Tensör Çekirdeği | |||
|
Seyreklikle Int8/FP8 |
3.958 patlama/flop |
3.341 patlama/flop |
3.341 patlama/flop |
|
Kıtlık ile FP16 veya BF16 |
1.979 PFlop |
1.671 PFlop |
1.671 PFlop |
|
Kıtlık ile TF32 |
989 TFlop |
835 TFlop |
835 TFlop |
|
FP64 veya FP32 |
67 TFlop |
60 TFlop |
60 TFlop |
|
FP64 tensörsüz |
34 TFlop |
30 TFlop |
30 TFlop |
|
Seyreklik: seyrek matrisler |
|||
Blackwell Dörtlüsü
Nvidia ayrıca Hopper'ın halefi Blackwell'in ilk versiyonlarını da piyasaya sürüyor. Bir CPU kalıbı (Grace, 72 ARM çekirdeği) ve iki B200 hızlandırıcıdan oluşan Grace Hopper Superchip GB200 kombo işlemci, bazı yeni Top500 süper bilgisayarlarında halihazırda kullanılıyor.
SC'24'te Nvidia yeni bir GB200 paketi olan GB200 NVL4'ü duyurdu. Dört B200'ü iki Grace çipiyle birleştiren aracın gelecek yılın 2025'in ikinci yarısından itibaren teslim edilmesi bekleniyor.
Temel olarak bir GB200 NVL4, Haziran ayında tanıtılan iki GB200 NVL2'den oluşur. Yani Grace çiplerinde 384 GB hızlı HBM3e yerine 768 GB artı 480 GB LPDDR5X yerine 960 GB bulunuyor. Toplamda 1,7 TB RAM mevcuttur. GB200 NVL4'ün maksimum güç tüketimi 5,4 kW'tır, bu nedenle modülün çoğunlukla su soğutmalı sistemlerde kullanılması muhtemeldir.
(chiw)
Bir yanıt yazın