Intelが、オープンソースのNPU Accelerration Libraryをリリースしました。

NPUライブラリ

今回のライブラリは基本的にCore Ultra（現時点ではMeteor Lakeのみ）に搭載されているNPUのパワーを活用したライブラリです。開発者向けであり、一般のユーザーがそのまま利用できるようなソフトウェアではないものの、今後研究などでNPUを利用することが用意になることが期待されています。

ライブラリはGitHubで公開されており、基本的な情報も含まれています。

intel/intel-npu-acceleration-library: Intel® NPU Acceleration Library

すでにIntelのエンジニアによって、Meteor Lake搭載デバイスで、TinyLlama 1.1B Chatを実行しているデモが公開されています。

For devs that have been asking, check out the newly open sourced Intel NPU Acceleration library. I just tried it out on my MSI Prestige 16 AI Evo machine (windows this time, but the library supports Linux as well) and following the GitHub documentation was able to run TinyLlama… pic.twitter.com/UPMujuKGGT
— Tony Mongkolsmai (@tonymongkolsmai) March 1, 2024

このライブラリは、完全にNPUに向けて記述されているため、Meteor Lakeでのみ実行できます。つまり、NPU（Intel DL Boost）が搭載されていないRaptor Lake以前のIntel CPUや、Ryzen、Snapdragon、Apple Siliconでは実行できない点には注意が必要。

また、ライブラリもすべての機能が搭載されているわけではないため、今後のアップデートが期待されています。