AMD、Arm、Intel、Meta、Microsoft、NVIDIA、Qualcommの7社は、次世代の狭精度データ方式を標準化するための業界団体「Microscaling Formats（MX） Alliance」を今年始めに結成したことと、Open Compute Project Group（OCP）を通じて「Microscaling Formats（MX） Specification v1.0」をライセンスフリーで公開したことを発表しました。

狭精度データ方式

次世代のディープラーニングの可能性を引き出すために、行化は従来の32bit浮動小数点精度から、現在は8bit精度まで移行することができました。より狭いフォーマットにとって、シリコンはクロックサイクルごとにより効率的なAI演算を実行できるようになるため、モデルのトレーニングと推論時間は短縮されることになります。AIモデルもサイズが小さくなることからメモリから取得するデータが少なくなり、より優れた性能と効率を実現できます。さらに、ビット転送が小さくなるので、ネットワークコストやアプリケーションのコスト低下、性能向上も可能です。

MX Allianceは、4つの具体的な浮動小数点および整数ベースのデータ形式 (MXFP8、MXFP6、MXFP4、および MXINT8) を含む、MX Specification v1.0をライセンスフリーで公開することを発表しました。幅広い業界での採用を可能にし、新しいデータ形式の採用を促進、そしてプラットフォームの育成などを目的としてまいます。

これらのデータ方式は、現在のAIスタックと互換性があり、ハードウェアとソフトウェアの両方で実装の柔軟性をサポートし、ハードウェアレベルでシステムでのきめ細やかなマイクロスケーリングを可能にします。

これにより、従来のトレーニングレシピを変更することなく6bitや4bit精度でのLLMの事前トレーニングも可能です。