ユーザーは Xbox 360 で AI モデルを実行します — 512 MB のメモリを搭載した 3 コアの PowerPC が llama2.c に基づく AI モデルを処理します

X（旧Twitter）ユーザーのAndrei David氏が、Andrej Karpathy氏のllama2.cをベースにしたAIモデルを、約20年前のXbox 360本体にインストールして実行しました。本体が古かったにもかかわらず、David氏はブートローダーを使ってこのモデルを古い本体にロードし、「Sleep Joe said」というプロンプトを表示させました。投稿によると、EXO LabがWindows 98 PCでLlamaを実行する試みに成功したことが、David氏の実験のきっかけになったとのことです。

Xbox 360で使用されたAI LLMは、EXO LabのWindows 98 Pentium II PCと同じものをベースにしていますが、David氏によると、コンソールのPowerPCアーキテクチャと（当時としては）独自のメモリ管理機能に合わせてコードを最適化する必要があったとのことです。最も大きな違いは、PowerPCがビッグエンディアンを採用し、最も重要な値を最初に保存するという点です。

デイビッドが直面したもう一つの課題は、コンソールの統合メモリの使用でした。これは現代のコンソールやAPUでは一般的になっていますが、Xbox 360の発売当時はまだ未開拓の領域であり、ゲーム開発者は自社タイトルがコンソールのハードウェアを最大限に活用できるようにする必要に迫られました。そのため、512MBのRAMを搭載していたにもかかわらず、アンドレイはCPUとGPUが同じRAMプールを共有するため、60MBモデルがシステムがCPUとGPUに割り当てるメモリ容量に収まるようにする必要がありました。

しかし、彼はメモリ管理を綿密に行い、PowerPCの動作を調整することで、古びたXbox 360コンソールでLLMを実行できるようにしました。これは、最先端の機器に数十億ドルを費やし、数メガワットの電力を消費する巨大企業に限定することなく、一般の人々にAIへのアクセスを提供するというEXO Labの目標に向けた新たな一歩です。

数十年前のデバイスでLlama 2ベースのAIモデルを動作させるだけでも素晴らしい偉業ですが、あるユーザーは、512MBの統合RAMがあれば、Hugging FaceのSmolLMや4ビットの0.5B Qwen2.5モデルを動作させるのに十分すぎるだろうとコメントしました。Andrei David氏は「挑戦を受けます！ :)」と返信しており、今後Xbox 360でより強力なAIモデルが動作するのを見るのが楽しみです。