Raspberry Pi 5はeGPUとVulkanを使用してLLMの高速化に成功しました

AMD Radeon搭載eGPUに接続されたRaspberry Pi 5が、グラフィックスハードウェアを用いて大規模言語モデル（LLM）の実行を高速化するデモを公開しました。もちろん、今回もRaspberry Piの魔術師、Jeff Geerling氏が登壇します。下の動画では、Vulkan APIサポートを活用してRaspberry Pi 5でGPUアクセラレーションによるローカルAIを体験した様子を詳しく解説しています。

前回の楽しく有益な動画の最後、Geerling氏はRaspberry Pi 5のLLMサポートに関する最新情報を紹介しました。Geerling氏は、Raspberry Pi 5でLLMのGPUアクセラレーションはまだ実現できていないものの、小規模なモデルであればRaspberry PiのRAM上のCPU上で実行できると述べました。さらに、AMDがArmでのROCmサポートを事実上断念しているため、今後の見通しは明るいとは言えません。

ありがたいことに、愛好家主導のテクノロジーの世界では、物事は急速に変化します。Geerling氏は最新のビデオで、Raspberry Pi 5におけるGPUアクセラレーションLLMの解決策はVulkan API（実験的なパッチ付き）であると明かしています。Geerling氏によると、VulkanはAMDのROCmとRaspberry Pi 4のどちらかを選択できるハードウェア/システムでは、AMDのROCmよりも優れたパフォーマンスを発揮することさえあるため、決して貧乏人のための選択肢ではないとのことです。

動画の約2分あたりで、Geerling氏がハードウェアのセットアップを詳しく説明しています。ここで最も難解なのは、GPUをRaspberry Piに接続するために使用した2枚のボードです。彼はRaspberry PiのPCIe Express FFCコネクタをM.2スロットに変換するアダプタを使用しました。M.2スロットには、M.2-OCuLinkアダプタと、GPU OCuLinkライザーケーブルを接続しました。動画では、再びRX 6700 XTを使用しています（予備のPC電源ユニットなど、いくつかの部品も必要です）。

ソフトウェアのセットアップは現在少し複雑で、ユーザーは独自のLinuxカーネルをコンパイルし、いくつかのドライバとパッチを集めるなど、様々な作業が必要になります。Geerlingのブログでより詳しいガイダンスをご覧いただけます。

画像

1

の

2

Pi 愛好家であり TechTuber でもある彼は、ハードウェアとソフトウェアを扱うことの利点をさらに明らかにし、いくつかのパフォーマンス数値と比較を提供しています。

Tom's Hardware の最高のニュースと詳細なレビューをあなたの受信箱に直接お届けします。

Geerling氏が、Raspberry PiとeGPuの組み合わせを代替案として提案しているのは興味深い。これはM1 Max Mac Studio（64GB）とほぼ同等の速度と効率を実現する。また、彼は、このセット全体の価格は新品で約700ドルだが、既に必要なパーツ（特に古いGPUが余っている人）があれば、はるかに安くなると強調した。

RTX 4090ベンチマーク（2枚目のスライド）を加えると、高性能な最新PCがいかに高いLLM性能を発揮できるかが分かります。毎秒数百トークン（T/s）を生成する600Wシステムが必要な場合は素晴らしい性能ですが、家庭用オフラインAIであれば40～60T/sで十分でしょう。さらに、この効率的なPiベース（Pi 5とRX 6700 XT）ソリューションのアイドル時消費電力は約12Wなので、電気代を払う人にとっても満足できるかもしれません。