研究者グループが、データの窃取、マルウェアの拡散、メールクライアントを介したスパム送信、そして複数のシステムへの拡散が可能な第一世代のAIワームを作成しました。このワームは、一般的なLLMを用いたテスト環境で開発され、正常に動作しました。研究チームは研究論文を公開し、2つの手法を用いてデータを窃取し、他のメールクライアントに影響を与える様子を示す動画を公開しました。
このワームは、コーネル工科大学のベン・ナッシ氏、イスラエル工科大学のスタヴ・コーエン氏、そしてIntuitのロン・ビットン氏によって作成されました。彼らは、1988年に世界中でオンライン上で迷惑行為を引き起こした最初のコンピュータワームであるオリジナルのMorrisにちなんで、「Morris II」と名付けました。このワームは、Gemini Pro、ChatGPT 4.0、LLaVAなどのモデルを用いてテキストや画像を生成するAIアプリやAI対応メールアシスタントを標的としています。
このワームは、敵対的な自己複製プロンプトを使用します。作成者は攻撃メカニズムを次のように説明しています。
本研究では、攻撃者が入力にプロンプトを挿入し、GenAIモデルで処理すると、モデルが入力を出力（複製）として複製し、悪意のある活動（ペイロード）を実行できることを実証しました。さらに、これらの入力は、GenAIエコシステム内の接続性を悪用することで、エージェントに新しいエージェントへの送信（伝播）を強いることになります。本研究では、2つのユースケース（スパム送信と個人データの窃取）、2つの設定（ブラックボックスアクセスとホワイトボックスアクセス）、2種類の入力データ（テキストと画像）を用いて、GenAI搭載メールアシスタントに対するMorris IIの適用を実証しました。
簡潔なデモンストレーションは以下のビデオでご覧いただけます。
研究者らは、このアプローチにより、悪意のある人物がクレジットカードの詳細や社会保障番号などを含む機密情報を盗み出すことが可能になる可能性があると述べている。
GenAIリーダーの対応と抑止力展開計画
責任ある研究者全員と同様に、研究チームは調査結果をGoogleとOpenAIに報告しました。Googleがこの研究についてコメントを拒否したため、 Wiredは連絡 を取りましたが、OpenAIの広報担当者は「Googleは、チェックやフィルタリングされていないユーザー入力を利用することで、プロンプトインジェクション型の脆弱性を悪用する方法を見つけたようです」と回答しました。OpenAIの広報担当者は、同社はシステムの耐性を強化しており、開発者は有害な入力を扱わないための対策を講じるべきだと述べました。
Tom's Hardware の最高のニュースと詳細なレビューをあなたの受信箱に直接お届けします。
Roshan Ashraf Shaikhは2000年代初頭からインドのPCハードウェアコミュニティに携わり、PCの組み立て、インドの多くの技術フォーラムやブログへの寄稿に携わってきました。Hardware BBQを11年間運営し、eTeknixとTweakTownでニュース記事を執筆した後、Tom's Hardwareチームに加わりました。テクノロジー以外にも、格闘ゲーム、映画、アニメ、機械式時計に興味を持っています。
