愛好家が12スロットNVMe NASにNvidia RTX GPUを搭載し、ローカルChatGPTを実行

ニュースメディアStorageReviewは、NvidiaのRTX A4000グラフィックカードを搭載したNAS上でAIチャットボットを運用し、ChatGPT機能をローカルサーバーに実装しています。YouTubeのコンピューターハードウェアクリエイターは、奇抜で面白いものを好む傾向がありますが、StorageReviewは、そのユニークさと実用性を兼ね備えたソリューションを開発しました。

テラバイト単位のデータが詰まった NAS と、稼働可能な RTX マシンがあれば、ジョーダンは、グラフィック カードを搭載した PC 上で ChatGPT エクスペリエンスを設定し、ローカル ファイルからデータを取得できる Nvidia の新しいプログラム「Chat with RTX」を使用できます。 

AIを内蔵したNASを持つことは非現実的に思えるかもしれませんが、AIへの依存度が高まっている現代において、このソリューションは非常に理にかなっています。企業におけるAIの活用には、データとパフォーマンスの分析と最適化が含まれており、これらはオープンインターネット上に公開したくない機密データに紐付けられる可能性があります。オンラインのChatGPTモデルは、自らの用途に合わせて学習するため、機密データを持つユーザーは、AIデータベースへの漏洩を恐れて、そのデータが漏洩するのを恐れるでしょう。オープンインターネットから切り離され、かつこれらのソリューションのためにデータと連携するローカルAIチャットボットは、セキュリティを重視する企業にとって大きな変革をもたらす可能性があります。NASにこのツールを設置すれば、ネットワーク上の誰もがAIツールにアクセスできるようになります。 

このプロジェクトは、ますます目新しさ重視のYouTube技術環境において、驚くほど有用です。既に強力なNAS（15TBのNVMeドライブは企業環境で一般的になりつつあり、このQNAPのNASは12台を収容可能）にChatGPT機能を追加することは、急速に進化する世界でAIの力を活用して競争力を高めたい企業にとって、考えるまでもなく最適なソリューションです。AI言語モデルに関する倫理的な懸念や懸念の一部も、このプロジェクトでは回避されています。完全にオフグリッドな言語モデルを使用することで、AIによる回答の盗難から保護されます。また、ボットをユーザーのデータのみでトレーニングすることで、LLMモデルをダウンロードしてチャットアプリを動作させた後でも、著作権侵害や他者のデータ盗難が継続されることを防ぎます。 

このプロジェクトの詳細と、実際に自分で再現する方法については、StorageReviewの記事をご覧ください。AI NASプロジェクトを始めるには、私たちがレビューした最高のSSDとHDDがおすすめです。本格的なDIYに挑戦したい方は、NASケースを3Dプリントすることを検討してみてください。