IntelはオープンソースのNPUアクセラレーションライブラリをリリースしました。これにより、Meteor Lake搭載AI PCでTinyLlamaなどの軽量LLMを実行できるようになります。主に開発者向けですが、ある程度のコーディング経験を持つ一般ユーザーでも、Meteor Lake上でAIチャットボットを動作させるために使用できます。
このライブラリは現在GitHubで公開されており、IntelはNPUアクセラレーションライブラリに関するブログ記事を書く予定でしたが、IntelソフトウェアアーキテクトのTony Mongkolsmai氏がXで早期に公開しました。彼は、Meteor Lake CPUを搭載したMSI Prestige 16 AI EvoラップトップでTinyLlama 1.1B Chatを実行するソフトウェアのデモを見せ、スマートフォンと折りたたみ式携帯電話の長所と短所について質問しました。このライブラリはWindowsとLinuxの両方で動作します。
開発者の皆さん、新しくオープンソース化されたIntel NPUアクセラレーションライブラリをチェックしてみてください。MSI Prestige 16 AI Evoマシン（今回はWindowsですが、ライブラリはLinuxもサポートしています）で試してみましたが、GitHubのドキュメントに従ってTinyLlamaを実行できました… pic.twitter.com/UPMujuKGGTMarce 2024年3月1日
もちろん、NPUアクセラレーションライブラリは開発者向けに作られており、一般ユーザー向けではないため、自分の目的で使用するのは簡単ではありません。Mongkolsmai氏は、チャットボットを実行するために書いたコードを共有してくれました。同じものをPCで実行したい場合は、Pythonをある程度理解しているか、上の画像で共有されているすべての行を再入力して、自分のPCで動作することを期待する必要があると言っても過言ではありません。
NPUアクセラレーションライブラリはNPU専用に開発されているため、現時点ではMeteor Lakeでのみ実行可能です。今年後半に発売予定のArrow LakeとLunar LakeのCPUにより、対応CPUの選択肢が広がると予想されます。これらのCPUはMeteor Lakeの3倍のAI性能を備えており、ノートパソコンやデスクトップのチップ上でさらに大規模なLLMを実行できるようになるでしょう。
このライブラリはまだ完全な機能を備えておらず、計画されていた機能の半分弱しか搭載されていません。特に注目すべきは、NPU自体で実行可能な混合精度推論、BFloat16（AI関連ワークロードで一般的なデータ形式）、そしてNPU-GPUヘテロジニアスコンピューティング（おそらく両方のプロセッサで同じAIタスクを実行できるようにするもの）が欠けていることです。NPUアクセラレーションライブラリは新しいため、その影響力がどれほど大きいかは不明ですが、AI PC向けの新しいAIソフトウェアにつながることを期待しています。
Tom's Hardware の最高のニュースと詳細なレビューをあなたの受信箱に直接お届けします。
マシュー・コナッツァーは、Tom's Hardware USのフリーランスライターです。CPU、GPU、SSD、そしてコンピューター全般に関する記事を執筆しています。
