NVIDIA H200
NVIDIA H200は、HopperをベースにメモリをHBM3eに更新しています。これによりメモリ帯域が4.8TB/sとえげつないことになっており、メモリ容量は141GBとなっています。NVIDIA A100と比較すると、容量がほぼ2倍、帯域幅が2.4倍に向上しています。
各コア数などは不明ですが各理論性能は以下のとおりです。
| TFLOPS | GPU | Tensor |
|---|---|---|
| FP64 | 34 | 67 |
| FP32 | 67 | 989 |
| Bfloat16 | 1,979 | |
| FP16 | 1,979 | |
| FP8 | 3,958 | |
| INT8 | 3,958 |
NVIDIAによれば、GPT-3性能（1750億パラメータ）でH100比1.6倍、Llama2性能（700億パラメータ）で同1.9倍、HPCシミュレーションがA100比2倍の性能となっているとしています。
NVIDIA H200はH100と互換性があり、HGX H100のシステムで利用可能であるほか、Grace Hopper Superchipsとして製品化されている「GH200」でも利用可能であるとしています。
また、HGX H200サーバーも提供される見込みです。
リリース
H200は2024年第2四半期にリリースされる予定となっており、ASRock Rack、ASUS、Dell、Eviden、Gigabyte、HPE、Omgrasus、Lenovo、QCT、Supermicro、Wostron、Wiwynnなどからシステムがリリースされます。
更に、HGXやH100プラットフォームとの互換性から、オンプレミス・クラウド・ハイブリッドクラウド・エッジなど様々に利用できるとしています。
