46
GoogleのAIは、スパムを送信したり、ユーザーの位置情報を明らかにしたり、カレンダーの招待状でプライベートなやり取りを漏らしたりするように騙される可能性がある。「プロンプトウェア」はLLMインターフェースを標的にして悪意のあるアクティビティを誘発する。
円の背景にGoogleロゴ
(画像クレジット: Google、Malte Luk)

SafeBreach の研究者は、テクノロジー製品への AI の急速な統合によってもたらされる危険性を判断するための継続的な取り組みの一環として、悪意のある Google カレンダーの招待状を使用して Gemini (Google が Workplace ソフトウェア スイート、Android オペレーティング システム、検索エンジンに組み込んだ AI アシスタント) を悪用する方法を明らかにしました。

研究者たちは、このようなエクスプロイトを「プロンプトウェア」と名付けました。これは、「プロンプト(テキスト、画像、音声サンプルなどの入力情報)を利用し、推論時にLLMインターフェースを悪用してスパムの拡散や機密情報の抽出といった悪意のあるアクティビティを誘発するように設計されている」ためです。SafeBreachによると、セキュリティコミュニティ全体がプロンプトウェアに関連するリスクを過小評価しており、このレポートはこれらのエクスプロイトがどれほどの被害をもたらし得るかを示すことを目的としています。

  • スパムやフィッシングを行う
  • 有害なコンテンツを生成する 
  • 被害者のカレンダーイベントを削除する
  • 被害者の家電製品(接続された窓、ボイラー、照明など)を遠隔操作する
  • 被害者の位置を特定する 
  • Zoomで被害者をビデオストリーミング
  • 被害者のメールを盗み出す

エクスプロイトの仕組みを段階的に説明したレポート全文をご覧ください。研究者らは、2月にGoogleに脆弱性を開示し、Googleは6月に「Geminiをプロンプトインジェクション攻撃から保護するための多層的な緩和策の概要を紹介するブログを公開した」と述べています。(これらの緩和策が開示からブログ投稿までのどの時点で導入されたかは不明です。)

このようなやり取りは、何十年もの間、コンピューティングの主流となってきました。企業が新しい技術を導入し、人々がそれを悪用する方法を見つけ、企業が時折それらの悪用に対する防御策を考案し、そして人々がまた別の悪用方法を見つける。つまり、SafeBreachの調査は、一見無限に思えるこうした問題に新たな問題が加わったことを明らかにしたに過ぎないと言えるでしょう。

しかし、この報告書が本来よりもさらに深刻なものとなっている要因はいくつかあります。例えば、SafeBreachが指摘した、セキュリティ専門家がPromptwareを真剣に受け止めていないこと、企業が「AI」導入において「迅速に行動し、現状を打破する」というアプローチをとっていること、そして、企業が提供するほぼすべての製品にこれらのチャットボットが組み込まれていること(Geminiの普及率からも明らかです)などが挙げられます。

SafeBreachは、「当社の分析によると、LLMパーソナルアシスタントがエンドユーザーにもたらす脅威の73%は、極めて重大なリスクを示しています」と述べています。「これは、エンドユーザーを保護し、リスクを低減するために、迅速かつ専用の緩和策が必要となるほど重大なリスクであると考えています。」

Tom's Hardware の最高のニュースと詳細なレビューをあなたの受信箱に直接お届けします。

Google ニュースで Tom's Hardware をフォローすると、最新のニュース、分析、レビューをフィードで受け取ることができます。「フォロー」ボタンを忘れずにクリックしてください。

ナサニエル・モットは、Tom's Hardware US のフリーランスのニュースおよび特集記事ライターであり、最新ニュース、セキュリティ、テクノロジー業界の最も面白い側面などを扱っています。