PC上で大規模言語モデル（LLM）をローカルに実行することが、世界中でますます普及しています。これを受けてAMDは、あらゆるWindowsマシン上でローカルLLMを実行できるオープンソースプロジェクトである独自のLLMアプリケーション「Gaia」を発表しました。
Gaiaは、Windows PC上で様々なLLMモデルを実行できるように設計されており、Ryzen AIプロセッサ（Ryzen AI Max 395+を含む）を搭載したマシン向けにさらなるパフォーマンス最適化が施されています。Gaiaは、LLM推論にONNX TurnkeyMLのオープンソースLemonade SDKを使用しています。Gaiaを使用することで、モデルは要約や複雑な推論タスクなど、様々な目的に適応できると言われています。
画像
1
の
2
Gaiaは、検索拡張生成エージェント（RAG）を介して動作すると言われています。RAGはLLMと知識ベースを組み合わせることで、LLMがエンドユーザーにインタラクティブなAI体験を提供し、より正確で状況に応じた応答を提供できるようにします。RAGには現在、4つのGaiaエージェントが組み込まれています。Simple Prompt Completionは、テストと評価を目的としたモデルとの直接的なインタラクション用に設計されたエージェントです。Chatyは、ユーザーと対話するLLMのチャットボット部分です。Clipは、YouTube検索とQ&A機能を備えたエージェントです。Jokerは、チャットボットにユーモラスな個性を与えるジョークジェネレータです。
AMDの新しいオープンソースプロジェクトは、Lemonade SDKを通じてLLM固有のタスクを提供し、複数のランタイムにまたがって実行することで機能します。Lemonadeは「OpenAI互換のRest APIを介してGAIAアプリケーションと通信するLLMウェブサービスを公開する」とされています。Gaia自体は、データを取得・処理するAI搭載エージェントとして機能します。また、「外部コンテンツ（GitHub、YouTube、テキストファイルなど）をベクトル化し、ローカルベクトルインデックスに保存する」機能も備えています。
言い換えれば、Gaia は LLM が処理する前にユーザーのクエリを強化できるため、応答の精度と関連性が向上すると言われています。
新しいAIチャットボットには2つのインストーラーがあります。1つはAMDハードウェア搭載の有無にかかわらず、あらゆるWindows PCで動作するメインストリームインストーラー、もう1つはRyzen AI PC向けに最適化された「ハイブリッド」インストーラーです。後者は、GaiaがRyzen AI CPUのニューラルプロセッシングユニット（NPU）と統合グラフィックス上で演算処理を実行し、パフォーマンスを向上させることを可能にします。
Gaiaは、LM StudioやChatRTXといったローカライズされたLLMアプリケーションの新たな潮流に新たに参入した企業です。LLMをローカルで実行することで、クラウドベースのソリューションに比べてセキュリティの強化、レイテンシの低減、そしてシステムハードウェアによってはパフォーマンスの向上など、大きなメリットが得られます。そして何より、ローカルLLMはオフラインでも動作し、インターネット接続を必要としません。
Tom's Hardware の最高のニュースと詳細なレビューをあなたの受信箱に直接お届けします。
Aaron Klotz 氏は Tom's Hardware の寄稿ライターであり、CPU やグラフィック カードなどのコンピューター ハードウェアに関するニュースを扱っています。
