生成AIに対して演算リソースの需要が高まる中、さくらインターネットは「NVIDIA H100 GPU」を8基搭載した生成AI向けの高火力クラウド「高火力PHY」を正式に発表しました。
さくらのAI
さくらインターネットは昨年6月に経済産業省から、経済安全保障推進法に基づく特定重要物資である「クラウドプログラム」の供給確保計画に関する認定を受けていました*1。2022年から続く第3次AIブームにおいて、日本には十分なトレーニング演算能力を持つHPCは(富岳を除いて)ありませんでしたが、さくらインターネットがそれを実現した形です。
同社は世界最高峰のAI向けアクセラレータでもあるNVIDIA H100 GPUを2000基以上投入し、合計2 EFLOPSの大規模クラウドインフラを北海道の石狩データセンターに整備する計画を明らかにしており、実際のサービスとしての提供が今回発表されました。
高火力PHY
さくらインターネットは、生成AI向けのクラウドサービス「高火力」の第一弾として、ベアメタルシリーズ「高火力PHY(ファイ)」を2024年1月31日より提供を開始することを明らかにしました。この高火力サーバーは、専用サーバーとなっているようで、契約すればサーバー1台を専有するようです。
サーバーの仕様は以下のとおりです。
詳細 | |
---|---|
CPU | Intel Xeon Platinum 8480+ x2 |
CPUコア数 | 112コア(CPUあたり56コア) |
GPU | NVIDIA H100 SXM 80GB x8 |
メモリ | 2.0 TB |
ローカルディスク(OS用) | 400 GB x2(RAID 1) NVMeSSD |
ローカルディスク(非OS用) | 7.68 TB x4 NVMeSSD |
グローバル回線 | 100 Mbps |
ローカル回線 (専用サーバーPHY サービスネットワーク) |
4 GbE(2 Gbps x2) |
ローカル回線 インターコネクト (広域ロスレスネットワーク) |
200 GbE x4 |
電源 | 冗長性あり |
OS | Ubuntu Server 22.04 LTS |
CPUには、Sapphire RapidsのXeon Platinum 8480+(56C112T / 2.0 GHz - 3.8 GHz / 350W)を2ソケット採用しています。ストレージは、OS用とデータ用に分かれており、OS用は400 GBのSSDをRAID 1(ミラーリング)で構成されており、非OS用は7.68 TBのNVMe SSDを4基搭載しています。
GPUのほか、複数台のサーバーを並行して演算させる場合についてのインターコネクトは200Gbitイーサネットを4基という非常に大きい帯域で接続されるなどの生成AIが想定されたスペックとなっています。ただし、インターコネクトの設定については利用開始時点からではなく、設定が完了次第利用可能になるとしています。
そして、GPUですが、NVIDIA H100 SXMを8基搭載しており、FP32性能は536 TFLOPS、TensoeコアによるFP32性能は7,912 TFLOPS(7.912 PFLOPS)、INT8性能では、31,664 TOPSの性能を発揮します。Nishiki-Hubで計算した演算性能は以下のとおりです。
精度 | GPU | Tensorコア |
---|---|---|
FP64 | 272 TFLOPS | 536 TFLOPS |
FP32 | 536 TFLOPS | |
TF32 | 7,912 TFLOPS | |
Bfloat16 | 15,832 TFLOPS | |
FP16 | 15,832 TFLOPS | |
FP8 | 31,664 TFLOPS | |
INT8 | 31,664 TOPS |
私が知る限り、国内で契約できるAI演算リソースでは最大の物となっています。
価格
価格は月額定価が3,046,120円で、最低2ヶ月の契約が必要です。1年コミットプランと3年コミットプランも用意されており、それらの月額はそれぞれ2,741,508円と2,436,896円となっています。なおいずれも初期費用は無料です。
価格設定からわかるように、現時点で個人向けというよりかは法人や組織、研究団体向けのサービスであることがわかります。
提供及び申込みは1月31日からとなっています。なお、1年コミットプラン・3年コミットプランは導入に際して営業担当への相談を呼びかけており、そちらはすでにフォームがオープンしています。
業界からは歓迎の声
さくらインターネットによる生成AI向けクラウドサービスの提供開始において、同社は、業界からの歓迎の声を掲載しており、130億パラメータの「LLM-jp-13B」の構築を主導している国立情報学研究所の所長 黒橋 禎夫氏や、国産LLMの開発を行っているサイバーエージェントの機械学習エンジニア 石上 亮介氏、元GoogleのエンジニアでAI Allianceにも加盟しているSakana AIの共同創設者CEOのDavid Ha氏、そしてNVIDIA の副社長 兼 日本代表の大崎 真孝氏が祝福の声明を寄せています。
特に、日本ではNTTやサイバーエージェント、そして政府が国産のLLM(大規模自然言語モデル)の開発を進めており、実際に成果を上げている物もあります。さくらインターネットの高火力サーバーは米国のAIインフラにはまだ劣るものの、日本において生成AI技術を大きく進歩させる追い風となることは間違いありません。
今後の展開
さくらインターネットは「高火力PHY」を生成AI向け「高火力」シリーズの第一弾としており、今後さらなるプランが登場することが考えられます。
また、この「高火力PHY」についても、時間単位での貸出などのプラン拡張を検討する旨の記述があり、柔軟かつ手軽に高火力な生成AI向けトレーニング環境が利用可能になる見込みです。