コンピュータサイエンスの研究者らが、テキスト画像変換モデル用のデータを「ポイズニング（汚染）」する新しい画像データツール「Nightshade」を開発しました。Nightshadeは、オンラインにアップロードされた画像に、クリエイターが認識できないほどの改変を加えます。その後、データスクレーパーがこれらの改変された画像をデータセットに追加すると、モデルに「予期せぬ動作」が導入され、モデルが汚染されます。
テキストから画像を生成する生成モデルに対するプロンプト固有のポイズニング攻撃という論文のプレビューが最近arXivに掲載され、Nightshadeのスコープと機能の概要が説明されました。MIT Technology Reviewは、このプロジェクトのチームとの話し合いを通じて、さらに詳しい情報を得ました。
AIモデルが作成者の明示的な許可なくデータで学習し、学習内容に基づいて「新しいデータを生成する」という問題は、ここ数ヶ月、ニュースで大きく取り上げられています。データスクレイピングの自由奔放な行為と、ほとんどあるいは全く出典を明示しないまま機械がデータを逆再生する行為は、多くの分野のクリエイターから、現在の生成型AIプロジェクトへの批判的な声が上がっています。
Nightshadeは、ビジュアルアーティストを支援する、あるいは少なくともAIデータスクレーパーが無差別にデータを取得することに対してより慎重になることを目的としています。このツールは、人間の視聴者に害を与えることなく画像データを汚染することができますが、DALL-E、Midjourney、Stable Diffusionなどの生成ツールで使用されるAIモデルを混乱させる可能性があります。
Nightshadeによるデータ汚染効果の例としては、犬が猫に、車が牛に、キュービズムがアニメに、帽子がトースターに、といった混乱が挙げられます。Nightshadeの腐食効果の実例については、以下をご覧ください。
画像
1
の
3
これまで、生成AIを汚染するには、数百万もの毒サンプルをトレーニングパイプラインに投入する必要があると考えられていました。しかし、Nightshadeは「プロンプトに特化した毒攻撃…効力に最適化された」とされています。驚くべきことに、Nightshadeは100個未満の毒サンプルで破壊的な攻撃を実行できます。さらに、研究者らは、Nightshadeの毒の効果は関連する概念に「浸透」し、複数の攻撃を単一のプロンプトに組み合わせることができると述べています。最終的には、ユーザーのテキストプロンプトに基づいて意味のある画像を生成することができなくなります。
研究者たちは、Nightshadeのようなツールが不用意に使用されることを意図しているわけではありません。むしろ、これは「オプトアウト／クロール禁止指示を無視するウェブスクレイパーに対するコンテンツ制作者のための最後の防衛線」として意図されています。このようなツールは、ワイルドウェスト時代のAIデータスクレイパーに対する抑止力となる可能性があります。MIT Technology Reviewのレポートによると、Stability AIやOpenAIといった大手AI企業は、ユーザーが手間をかけてオプトアウトした場合にのみ、アート作品を除外しています。AI企業がユーザーにオプトインを促す義務を負うべきだと考える人もいます。
Tom's Hardware の最高のニュースと詳細なレビューをあなたの受信箱に直接お届けします。
Nightshade研究チームを率いたシカゴ大学のベン・チャオ教授は、クリエイターが自身のアートスタイルを隠蔽し、AI企業によるスクレイピングや模倣を防ぐツール「Glaze」の開発にも携わっています。オープンソースプロジェクトとして準備が進められているNightshadeは、将来的にGlazeに統合され、AIデータポイズニングを可能にする可能性があります。
マーク・タイソンはトムズ・ハードウェアのニュース編集者です。ビジネスや半導体設計から、理性の限界に迫る製品まで、PCテクノロジーのあらゆる分野を網羅的にカバーすることに情熱を注いでいます。
