Nvidiaは、AI大手4社の中で初めて、ローカルオフラインでの使用に特化した無料チャットボットをリリースしました。新しいChat with RTXアプリでは、クラウドに接続することなく、オープン言語モデルをローカルで使用できます。「Chat with RTX」の唯一の欠点は、特にクラウドソリューションと比較した場合、非常に高いシステム要件とダウンロードサイズが大きくなることです。実行するには、少なくとも8GBのVRAMを搭載したRTX 30シリーズ以降のGPUとWindows 10または11が必要です。
Chat with RTXの最大のセールスポイントは、オフライン機能とユーザーによるカスタマイズ性です。NVIDIAのチャットボットでは、ユーザーが独自のファイルを指定することで、チャットボットがユーザーのニーズに合わせてカスタマイズされた回答を提供できます。.txt、PDF、Word、XMLドキュメントなど、様々な形式のファイルをインポートできます。YouTube動画もダウンロードしてチャットボットで解析できます。
Chat with RTXは、オープンソース言語モデルMistralまたはLIama 2とRetrieval-Augmented Generation（RAG）を組み合わせて利用します。RAGとは、ユーザー独自のデータに基づいて応答を調整する手法です。デスクトップ版の提供にあたり、NVIDIAはTensorRT-LLMソフトウェアを採用し、RTX 30シリーズまたはRTX 40シリーズGPUのTensorコアをより有効に活用できるようにしています。
アプリケーション本体は35GBのダウンロードから始まります。それを解凍した後、インストールプロセスを完了する必要があります。このプロセスでは、追加データがダウンロードされます（正確な量は把握していません）。また、特定のGPUをターゲットにするためのコンパイルプロセスも実行され、これには15分程度かかる場合があります。ローカルファイルを解析して追加のコンテキストを取得するのにも時間がかかりますが、これはファイルの数によって異なります。150個のファイルを1つのフォルダにまとめましたが、ローカルデータを使ってアプリをカスタマイズするのに約3分かかりました。
このアプリケーションはまだデモ段階なので、完璧な回答が得られるとは期待できません。RTX 20シリーズのユーザーも同様に残念ながら対象外です。オリジナルのTuringアーキテクチャGPUがサポートされていない理由は完全には明らかではありませんが、NVIDIAは時間的な制約が要因の一つであり、将来的には20シリーズのカードにも搭載される可能性があると示唆しています。
Tom's Hardware の最高のニュースと詳細なレビューをあなたの受信箱に直接お届けします。
Aaron Klotz 氏は Tom's Hardware の寄稿ライターであり、CPU やグラフィック カードなどのコンピューター ハードウェアに関するニュースを扱っています。
