カリフォルニア大学サンタクルーズ校の研究論文と付随記事では、AI研究者が最新の数十億パラメータ規模のLLMをわずか13ワットの電力で動作させる方法をどのようにして発見したかを論じています。これは100ワット相当のLED電球とほぼ同じですが、さらに重要なのは、NVIDIA H100やH200などのデータセンター向けGPUに必要な700ワットの電力の約50倍の効率であるということです。ましてや、GPUあたり最大1200ワットを消費する近日発売のBlackwell B200は言うまでもありません。
この研究はカスタムFPGAハードウェアを用いて行われたが、研究者らは、効率性の向上の大部分はオープンソースソフトウェアと既存の設定の調整によって実現可能であると明言している。この向上の大部分は、LLMの学習および推論プロセスから行列乗算（MatMul）を削除したことによるものだ。
MatMulをニューラルネットワークから除去しながら、パフォーマンスと精度を同等に維持するにはどうすればよいでしょうか。研究者たちは2つの手法を組み合わせました。まず、数値体系を-1、0、1を用いる「3進法」に変換しました。これにより、数値の掛け算ではなく、足し算で計算できるようになります。次に、方程式に時間ベースの計算を導入することで、ネットワークに効果的な「メモリ」を与え、より少ない演算でより高速に実行できるようにしました。
研究者たちが参照点として用いた主流モデルは、MetaのLLaMa LLMです。この取り組みは、ニューラルネットワークにおける3進数の使用に関するMicrosoftの論文に触発されたものですが、Microsoftはカリフォルニア大学サンタクルーズ校の研究者のように行列乗算を削除したり、モデルをオープンソース化したりすることはありませんでした。
これは結局のところ最適化問題です。この論文に携わった大学院生の一人、Rui-Jie Zhu氏は、「高価な演算をより安価な演算に置き換えました」と述べています。このアプローチがAIやLLMソリューションに普遍的に適用できるかどうかはまだ分かりませんが、もし実現可能であれば、AIの状況を根本的に変える可能性を秘めています。
過去1年間、大手AI企業による飽くなき電力需要を目の当たりにしてきました。今回の調査では、その多くが非効率的な処理手法を用いながら、先手を打つための競争であったことが示唆されています。Arm社のCEOをはじめとする著名な人物からも、AIの電力需要が現在のペースで増加し続ければ、2030年までに米国の電力の4分の1を消費すると警告する声が上がっています。電力消費量を現在の50分の1に削減できれば、大幅な改善となるでしょう。
Meta、OpenAI、Google、Nvidia、そしてその他すべての主要企業が、このオープンソースの画期的な成果を活用する方法を見つけてくれることを期待しています。AIワークロードをより高速かつ効率的に処理できれば、人間の脳の機能性に近づくことができます。ある推定によると、脳は1日あたり約0.3kWhの電力で動作します。これはNvidia H100に必要な電力の56分の1に相当します。もちろん、多くのLLMでは数万基のGPUと数ヶ月にわたるトレーニングが必要なので、人間の脳はまだ完全に時代遅れではありません。
Tom's Hardware の最高のニュースと詳細なレビューをあなたの受信箱に直接お届けします。
クリストファー・ハーパーは、2015年からPCハードウェアとゲームを専門とするフリーランスのテクニカルライターとして活躍しています。それ以前は、高校時代に様々なB2Bクライアントのゴーストライターを務めていました。仕事以外では、友人やライバルには、様々なeスポーツ（特に格闘ゲームとアリーナシューティングゲーム）の現役プレイヤーとして、またジミ・ヘンドリックスからキラー・マイク、そして『ソニックアドベンチャー2』のサウンドトラックまで、幅広い音楽の愛好家として知られています。
