ほとんどのAIチャットボットは膨大な処理能力を必要とするため、通常はクラウド上に配置されます。ChatGPTはPCやRaspberry Piでも実行できますが、ローカルプログラムはユーザーのプロンプトをインターネット経由でOpenAIのサーバーに送信し、そこで応答を得ます。一部のLLM（大規模言語モデル）はローカルで実行できますが、大量のVRAMを搭載した強力なGPUが必要です。モバイルデバイス上でチャットボットをローカルで実行することは不可能でしょうか？それとも、可能でしょうか？
MLC LLMと呼ばれる全く新しいオープンソースプロジェクトは、iPhoneやグラフィック統合型ノートパソコンなど、ほぼあらゆるデバイスでローカルに実行できるほど軽量です。MLC LLMをインストールすれば、データ処理と処理はすべてシステム上で行われるため、インターネットをオフにしても問題ありません。
MLC LMは、MetaのLLaMAをベースにした軽量LLMであるVicuna-7B-V1.1を使用し、2023年3月と4月にトレーニングされました。GPT3.5やGPT4ほど優れているわけではありませんが、サイズを考えるとかなりまともです。
現在、MLC LLMはWindows、Linux、macOS、iOSで利用可能で、プロジェクトの創設者がウェブサイトに公開したわかりやすい手順と、 GitHubで公開されている完全なソースコードが用意されています。Android版はまだありません。
iPhoneにMLC LLMをインストールして実行する
MLC LLMはApp Storeでは見つかりません。PC版は誰でもインストールできますが、iOS版はAppleの開発システムであるTestFlightを使用する必要があり、同時にインストールできるiOSユーザーの数は9,000人に制限されています。ソースコードから自分でコンパイルすることも可能です。iOS 13以降を搭載したiPhone、iPad、iPod Touchであれば動作するはずですが、私たちの経験では、十分なRAMを搭載した高性能なAppleデバイスが必要です。
Tom's Hardware の最高のニュースと詳細なレビューをあなたの受信箱に直接お届けします。
シニアエディターのアンドリュー・E・フリードマン氏は、3GBのダウンロード容量を持つMLC LLMテストアプリをiPhone 11 Pro Maxにインストールしました。しかし、起動すると「[システム] 初期化…」というメッセージが表示され、アプリがクラッシュしました。
その後、友人のPLUGHITZ Liveのスコット・エルツに、iPhone 11よりも高性能で、RAMも4GBではなく6GB搭載しているiPhone 14 Pro MaxにMLC LLMをインストールしてもらいました。インストールがうまくいくまで何度か試行錯誤が必要でしたが、インストール後はアプリ自体はクラッシュすることなく動作しました。しかし、アプリが端末のリソースを大量に消費し、他のアプリの動作を遅くしていたとのことです。その後、同じくRAMが6GBのiPhone 12 Pro Maxでもテストしたところ、動作を確認できました。
彼はMLC LLMにいくつか質問をしましたが、回答はまちまちでした。ゲームに最適なプロセッサを選ぶように頼んだところ、非常に漠然とした、曖昧な回答が返ってきました。具体的なモデル名には触れず、コア数が多くクロック速度が高いものを選ぶようにとだけ言われました。Tom's Hardwareについて尋ねたところ、私たちの事業内容について妥当な回答が得られました。しかし、テクノロジー系ポッドキャスト会社「PLUGHITZ Live」について尋ねたところ、「DJ Plug」が運営するエレクトロニックミュージックのコンサートシリーズだという、非常に奇妙な回答が返ってきました。
画像
1
の
3
PCにMLC LLMをインストールする
Core i7-8550U CPUとIntel UHD 620 GPUを搭載し、Windows 11を実行しているThinkPad X1 Carbon（第6世代）ノートパソコンにMLC LLMをインストールして実行したところ、問題なく動作しました。このノートパソコンは5年前に購入した統合グラフィックスでVRAMは搭載されていませんでした。
MLC LLMをセットアップするには、まずWindows版のMinicondaをインストールする必要がありました。これは、人気のパッケージマネージャーCondaの軽量版です（Anacondaのフルバージョンも使用できます）。Condaを使用すると、システム上の他のパッケージと競合しない、独自のPythonパッケージセットを持つ独立した環境を作成できます。
Minicondaをインストールした後、Anaconda Prompt（Condaを実行するコマンドプロンプトの一種）を起動しました。mlc.aiの指示に従ってmlc-chatという環境を作成し、そこに言語モデルをダウンロードしました。Vicuna-7B-V1.1モデルはわずか5.7GBのストレージ容量しか使用せず、プロジェクトの残りの部分はさらに約350MBを使用しています。
チャットボットはコマンドプロンプトウィンドウで実行されます。起動するには、mlc-chat conda環境をアクティブ化し、mlc_chat_cliコマンドを入力する必要がありました。
MLC LLMの使用
MLC LLMのチャットボットを起動すると、まずお名前をお伺いします。その後、ご挨拶をさせていただき、どのようにお手伝いできるかお尋ねします。ご質問も承ります。
私のノートパソコンでは、ボットの応答が非常に遅く、質問への回答の入力を開始するまでに30秒近くかかりました。ChatGPTと同様に、ユーザーが見ている間に回答を入力するため、完全な回答が表示されるまでに1～2分かかることがあります。より高性能なデバイスであれば、もっと速く動作すると思います。
LLMから得た回答の質は、特筆すべきものではありませんでした。事実に関する質問には正確に答えてくれたものの、架空の伝記をでっち上げられたのです。詩を書く能力はあったものの、出来はひどいものでした。また、毎回の質問が全く新しい会話のように扱われ、追加の質問にも答えることができませんでした。
ボットに「アメリカ合衆国の第5代大統領は誰か」と尋ねたところ、型破りながらも誠実な答えとして、トーマス・ジェファーソンの名前を挙げました。多くの人はジェームズ・モンローが5人目の大統領なので正解だと答えるでしょうが、大統領の任期数で数えると、ジェファーソンの2期目は全体で5期目になります。
MLC LLMのチャットボットに「Tom's Hardwareって何？」と尋ねたところ、非常に正確な答えが返ってきました。当社のウェブサイトと、私たちが制作する様々なコンテンツについて説明してくれました。しかし、私自身について（「Avram Piltchって誰？」）尋ねたところ、完全に架空の話が返ってきました。私の名字を間違えて、私がCEOを務めているらしい、ARコンタクトレンズを製造する架空の会社の名前をでっち上げたのです。返答は以下の通りです。
アブラム・ピルツ氏は、OneSight社のCEO兼共同創業者です。同社は、カメラで電話番号を読み取ったり、コンタクトレンズを通してファイルにアクセスしたりできるコンタクトレンズの開発・販売を目指しています。彼は、ユーザーが目で電話番号を読めるコンタクトレンズ技術の開発で知られています。また、テクノロジー業界の発展に大きく貢献した著名な起業家であり発明家でもあります。イノベーションへの情熱と、テクノロジー業界における複雑な問題の解決策を見出すことに尽力していることで知られています。
私の知る限り、Avram Piltsh（Sが付く）という名前は存在しませんし、ARコンタクトレンズを製造しているOneSightという会社も見つけられませんでした。OneSight EssilorLuxottica Foundationという慈善団体があり、眼鏡が手に入らない人々に眼鏡を提供しています。
Avram の会社についてさらに詳しく教えてほしいと頼んだところ、前の質問の参照をたどることができず、混乱してしまいました。
また、MLC LLM チャットボットにグラフィック カードに関するソネットを書くように依頼したところ、ソネットの押韻構成に従わず、14 行ではなく 15 行の非常に退屈な詩が作成されました。
スペックが重要視されるテクノロジーの世界では、
グラフィック カードが独占状態です。
各ブランド間で激しい戦いが繰り広げられています。
それぞれが自社製品の魅力をアピールし、自分こそが
最高で、所有し続けるべきものだと主張しています
。しかし、最終的にはカードの問題ではなく、カードの大胆さが問題となります。Nvidia
や AMD が多すぎるとどうなるでしょうか?
問題は、カードの数が増えれば増えるほど、フレーム レートが向上する
ことです。ゲームではマルチ GPU スタックが重要です
が、パワーはどうなるでしょうか? いつまでなくなるのでしょうか?
心配無用です! 一部のパワーは共有できる範囲を超えています。重要なの
は、支払うコストや価格ではなく
、その日にゲームを実行するために必要な数です。
そのゲームがシステムに要求が厳しい場合は、
希望するフレーム レートを得るためにより多くのパワーが必要になります。
この詩はヴォゴン族なら顔を赤らめるだろう。しかし、LLMチャットボットを古いPC、あるいはもしかしたらスマートフォンでも実行できるというのは本当に素晴らしい。将来の言語モデルは、より満足のいく体験を提供してくれるかもしれない。
Avram Piltchは特別プロジェクト担当の編集長です。仕事で最新ガジェットをいじったり、展示会でVRヘルメットを装着したりしていない時は、スマートフォンのルート化、PCの分解、プラグインのコーディングなどに取り組んでいます。技術的な知識とテストへの情熱を活かし、Avramはノートパソコンのバッテリーテストをはじめ、数多くの実環境ベンチマークを開発しました。
