GoogleのAI研究機関であるGoogle DeepMindは、AIモデルのトレーニングに関する新たな研究を発表しました。この研究では、トレーニング速度とエネルギー効率の両方が桁違いに向上し、他の手法と比較して13倍のパフォーマンスと10倍の電力効率が得られるとされています。AIデータセンターの環境への影響に関する議論が白熱する中、この新しいJESTトレーニング手法はタイムリーな発表となりました。
DeepMindの手法であるJEST（Joint Example Selection）は、従来のAIモデル学習手法とは一線を画しています。一般的な学習手法は、学習と学習において個々のデータポイントに焦点を当てていますが、JESTはバッチ全体に基づいて学習を行います。JEST手法はまず、非常に高品質なソースからのデータ品質を評価し、バッチを品質順にランク付けする小規模なAIモデルを作成します。次に、その評価結果を、より大規模で品質の低いデータセットと比較します。この小規模なJESTモデルは、学習に最適なバッチを決定し、その小規模なモデルの結果に基づいて大規模なモデルを学習します。
もちろん、このシステムはトレーニングデータの質に完全に依存しており、ブートストラッピング手法は人間がキュレーションした最高品質のデータセットがなければ機能しません。「ガベージイン、ガベージアウト」という格言がまさに当てはまるのは、この手法です。この手法はトレーニングプロセスを「先読み」しようとします。そのため、JEST法は、趣味で研究を行う人やアマチュアのAI開発者にとって、他の多くの手法よりもはるかに困難です。なぜなら、最高品質のトレーニングデータをキュレーションするには、専門家レベルの調査スキルが求められる可能性が高いからです。
JESTの調査は、テクノロジー業界と世界各国政府が人工知能（AI）の膨大な電力需要について議論を始めている今、まさに時宜を得た発表と言えるでしょう。AIワークロードは2023年に約4.3GWの電力を消費し、これはキプロス共和国の年間電力消費量にほぼ匹敵します。そして、その勢いは衰える気配がありません。ChatGPTリクエスト1件あたりの電力コストはGoogle検索の10倍にも達し、ArmのCEOは2030年までに米国の電力網の4分の1をAIが占めると予測しています。
JEST法がAI分野の主要プレーヤーに採用されるかどうか、またどのように採用されるかはまだ不明です。GPT-4oの学習コストは1億ドルと報じられており、将来の大規模モデルはまもなく10億ドルの大台に乗る可能性もあるため、企業はこの分野でコスト削減の方法を模索していると考えられます。期待を抱く人々は、JEST法によって現在の学習生産性を消費電力を大幅に抑え、AIのコスト削減と地球環境保護につながると考えています。しかし、より可能性が高いのは、資本主義の機械がアクセルを踏み続け、JEST法を用いて消費電力を最大限まで抑え、超高速学習の出力を実現することです。コスト削減と出力規模の拡大、どちらが勝つのでしょうか？
Tom's Hardware の最高のニュースと詳細なレビューをあなたの受信箱に直接お届けします。
サニー・グリムはTom's Hardwareの寄稿ライターです。2017年からコンピューターの組み立てと分解に携わり、Tom'sの常駐若手ライターとして活躍しています。APUからRGBまで、サニーは最新のテクノロジーニュースを網羅しています。
