Appleは、最近発表したApple Intelligence機能の開発にNVIDIAのハードウェアアクセラレータを使用していないことを明らかにしました。Appleの公式研究論文（PDF）によると、Apple Intelligence Foundation Language Modelsのトレーニングデータの処理にはGoogle TPUが利用されたとのことです。
Google TPUv4およびTPUv5チップを搭載したシステムは、Apple Foundation Models（AFM）の開発に大きく貢献しました。これらのモデル（AFMサーバーモデルとAFMオンデバイスモデル）は、6月のWWDC 2024で発表されたオンラインおよびオフラインのApple Intelligence機能を実現するために設計されました。
AFMサーバーはApple最大のLLMであるため、オンラインのみで稼働しています。最近発表された研究論文によると、AppleのAFMサーバーは8,192個のTPUv4チップでトレーニングされました。これらのチップは「8×1,024チップスライスとしてプロビジョニングされ、スライスはデータセンターネットワーク（DCN）によって相互に接続されています」。事前トレーニングは3段階のプロセスで行われ、6.3Tトークンから開始し、1Tトークンで継続し、最後に100Bトークンを使用してコンテキストを延長しました。
Appleによると、AFMの学習に使用したデータには、Applebotウェブクローラー（robots.txtを参照）から収集した情報に加え、ライセンス供与された様々な「高品質」データセットが含まれているという。また、厳選されたコード、数学データ、公開データセットも活用した。
もちろん、ARM-on-deviceモデルは大幅に削減されていますが、Appleは知識抽出技術によってこの小規模モデルのパフォーマンスと効率が最適化されていると考えています。論文によると、AFM-on-deviceは6.4Bのサーバーモデルから抽出された3Bのパラメータモデルであり、6.3Tトークンでトレーニングされたとのことです。
AFMサーバーによる学習とは異なり、ARMオンデバイスモデルの準備にはGoogle TPUv5クラスターが活用されました。論文では、「AFMオンデバイスは2,048個のTPUv5pチップの1つのスライスで学習された」と述べられています。
AppleがApple Intelligenceの背後にある技術や手法を詳細に明らかにした論文を公開したのは興味深い。同社は透明性の高さで知られているわけではないが、AI分野では出遅れていることもあり、他社に差をつけようと懸命に努力しているようだ。
Tom's Hardware の最高のニュースと詳細なレビューをあなたの受信箱に直接お届けします。
Apple社内テストによると、AFMサーバーとAFMオンデバイスは、指示に従う能力、ツールの使用、書き込み能力などのベンチマークで優れた性能を発揮しています。例として、書き込みベンチマークのグラフを上に貼り付けました。
Apple が使用するトレーニングと最適化に関する詳細や、さらなるベンチマーク比較に興味がある場合は、冒頭にリンクされている PDF をご覧ください。
マーク・タイソンはトムズ・ハードウェアのニュース編集者です。ビジネスや半導体設計から、理性の限界に迫る製品まで、PCテクノロジーのあらゆる分野を網羅的にカバーすることに情熱を注いでいます。
