新しいソフトウェアを使用すると、ネットワークに接続されたスマートフォン、タブレット、コンピューターを使用して、自宅でプライベート AI クラスターを実行できます - Exo…

OpenAI、GoogleのGeminiチーム、Microsoft Copilotの開発陣といった大手AI開発者は、AIワークロード向けに巨大なデータセンターを保有しています。開発チームの尽力により、新しいソフトウェアが登場し、既存のスマートフォン、タブレット、パソコンを使って自宅で独自のAIクラスターを運用できるようになるかもしれません。

実験的なソフトウェア「exo」は、大規模言語モデル（LLM）を分割し、自宅のコンピューティングデバイスの一部またはすべてを使用して、個人用チャットボットやその他のAIプロジェクトを実行できるようにします。これには、Androidスマートフォンやタブレット、macOSまたはLinuxコンピューターが含まれます。 

コンパイルして実行すると、exo はネットワーク上のデバイスを自動的に検出し、クラスターに追加します。ピアツーピア接続を使用して、デバイスの平等性を確保します。exo はデバイス間で作業を分散するためのさまざまなパーティショニング戦略をサポートしていますが、デフォルトではリングメモリ重み付け方式を採用しており、各デバイスのメモリ容量に基づいてワークロードを割り当てます。

exoソフトウェアはiOSにも対応していますが、開発者によると、一般ユーザー向けにリリースするにはコードの修正が必要だとのことです。iOS版は既にリリースされていますが、リード開発者にメールを送信したユーザーのみアクセス可能です。 

開発者たちは、さらなる改良と機能追加も計画しています。また、新機能や互換性の追加を支援するための報奨金プログラムも用意されています。本稿執筆時点では、LLaVaのサポート、バッチリクエスト、無線ネットワークモジュール、パイプライン並列推論のサポートなどが含まれています。現状でも、実験してみる価値のある魅力的なプロジェクトになりそうです。