Amazonは、AWS（Amazon Web Services）にてNVIDIAのGPGPU「NVIDIA H100」が利用可能な「Amazon EC2 P5」インスタンスサービスを開始しました。
EC2 P5
EC2 P5インスタンスでは、NVIDIA H100 Tensor Core GPUが利用可能になっており、複雑化するLLM及びコンピュータビジョンモデルののトレーニングと推論の実行に最適であるとしています。
P5インスタンスは、クラウド内の高性能コンピューティング、ネットワーキング、ストレージで構成されるEC2 UltraClusterと呼ばれるハイパースケールクラスターにデプロイできます。
さらに、P5インスタンスでは、NVIDIA Collective Communications Libraryを使用して、最大20,000個のH100 GPUを使用できるとしています。また、NVIDIA AI Enterpriseは、100を超えるフレームワークや、トレーニング済みのモデル、AIワークフロー、AIインフラを調整するツールを含むソフトウェアのフルスタックスイートによって最大限にP5インスタンスを活用できるとしています。
NVIDIA H100
NVIDIA H100はNVIDIAが昨年発表し、主に今年から徐々に供給されているAI向けGPGPUです。Hopperアーキテクチャをベースとしており、チップあたりPFLOPSクラスの性能を持っていることが特徴です。
H100のは第4世代のTensorコア、そしてTransformer Engineが搭載されており、AIに特化した性能を誇るほか、単純なGPU性能も高いため様々な研究やシミュレーションに対応することができます。
