錦です。
kopite7kimi氏が、Hopperの最上位GPU「GH100」についてツイートしています。
DO NOT overreact. We know the actual die size will be significantly smaller than the package size.
— kopite7kimi (@kopite7kimi) January 29, 2022
But GH100>GA100 is confirmed. 😁
GH100
Hopperは、Ampereの後継となるアーキテクチャです。なお、今世代はVolta・Turing世代のように、研究用とコンシューマ向けでアーキテクチャが異なっており、Hopperは旧Teslaの系統を汲むアーキテクチャです。
GH100はその最上位に当たるGPUコアで、GA100の後継となるGPUです。主な用途は、AI研究や、シミュレーション向けの用途となります。
今回のツイートを見ると、GH100はマルチチップレット（MCM）ではなく、モノリシックダイとして登場するみたい。ただ、現在のGA100がフルダイになった場合1万を超えるCUDAを搭載していることになるので、ダイサイズも大きくなることが予想されます。同氏によると、GA100以上1000mm²未満になる（どちらかというと1000mm²に近い大きさになる）とのことで、この大きさは、単一のGPUとして歴代最大のものになります。
MCMを否定しているのはkopite7kimi氏のみだけでなく、Greymon55氏もツイートしています。
GH100 does not have MCM, it's still monolithic.
— Greymon55 (@greymon55) January 29, 2022
ただ、Hopper自体はMCMに対応しているようで、GH100はモノリシックダイになるものの、それ以外のHopper GPU（GH102とか）はマルチチップレット構造になる可能性があるという情報もGreymon氏がツイートしています。
Is the MCM variant of Hopper possibly simply running under a different chip code name?
— 3DCenter.org (@3DCenter_org) January 29, 2022
消費電力は1000W超え
これは直近の内容ではありませんが、kopite7kimi氏が昨年10月にHopperが48V電圧で1000Wを超えるバリアントが存在するという旨のツイートをしています。
Wow, more than 10k followers.
— kopite7kimi (@kopite7kimi) October 19, 2021
It's a great honor to me.
Let's look forward to Hopper with 48V power and 1xxxW consumption.
What a MONSTER!
NVIDIAはすでに水冷システムを一部のモデルに採用しているため、消費電力が高すぎるというのは大した問題ではないみたい（そもそも単純にコア数が多いってのが理由だと思うんですども）。
