CPUやGPU性能を計測する便利マークソフトウェア「Geekbench」とデータベースを提供しているPrimate Labsは、同社のAI向けの性能を計測する「Geekbench AI 1.0」をリリースしました。
Geekbench AI
Geekbench AIはもともと「Geekbench ML」という名称で提供されていたソフトウェアで、CPU・GPU・NPUのAIに関わる性能を計測することができます。
ベンチマークでは、単精度、半制度、量子化データという3つの異なる精度レベルを利用し、システムのAI性能を計測します。もちろん、他のGeekbenchと同様に、Windows、Mac、Linux、iOS、Androidと幅広いプラットフォームに提供されます。
各OSで提供されているAPIを利用してAI性能を測定しているようです。
- Android：TensorFlow Lite
- iOS：CoreML
- Linux：TensorFlow Lite、ONNX、OpenVINO
- macOS：CoreML
- Windows：ONNX、OpenVINO
Geekbench MLからの変更点として、OpenVINO、ONNX、Qualcomm QNNなどの新しいAPIのサポートが行われ、最適化されました。
また、現実世界のパフォーマンスの差を適切に考慮しているとしており、すべてのワークロードが最低でも1秒間実行されるようになっています。
スコアは、Lenovo ThinkStation P340（Core i7-10700プロセッサ搭載）を1,500として調整されています。
すでにNVIDIAとSamsungが社内のチップぱどーマンスの性能を評価するためにGeekbench AIを使用しているとしています。
