MITコンピュータ科学・人工知能研究所（CSAIL）は、Googleの画像認識AIのような最先端の人工知能でさえ、ハッカーに騙される可能性があることを実証しました。彼らの新しい手法では、ハッキングは既存の手法に比べて1,000倍高速に実行できます。
AIの認識を変える
学生たちは、画像内の物体の元の分類を維持しながら、ピクセル単位で全く異なる物体へと画像を変化させることができました。例えば、研究者たちは犬の写真を、山でスキーをする2人の姿に変えることができましたが、AIアルゴリズムは依然としてその写真が犬の写真であると認識しました。
研究チームはこれをGoogleのCloud Vision APIでテストしたが、このハッキングはFacebookや他の企業の画像認識アルゴリズムに対しても機能する可能性があると述べている。
MITの研究者たちは、この種の技術はTSA（運輸保安局）の脅威認識アルゴリズムを欺き、例えばカメを銃と誤認させる、あるいはその逆の誤認を生じさせる可能性があると警告している。また、テロリストが爆弾をTSAの画像認識システムから隠蔽するために、このようなハッキングを利用する可能性もある。
この種のハッキングは自動運転車にも有効です。悪意のある人物が道路標識やその他の道路要素を改変し、自動運転車を騙して事故を起こさせるといった物理的な攻撃によって自動運転車が騙される危険性は既に存在します。今回のAIハッキングは、この危険性をさらに一歩進め、実際には存在しないものを「見える」ように車を騙す可能性があります。
自動車メーカーは、自社の車が「レベル5」の自動運転を実現できることを証明しようと躍起になっています。しかし、たとえ近いうちにそれが実現し、どんな道路でも完璧に走行できるようになったとしても、発生する可能性のあるセキュリティ上の問題をすべて考慮に入れているメーカーは多くないようです。この新しいタイプのAIハッキングは、ソフトウェアやサーバー側の脆弱性を悪用する攻撃に加え、自動運転車に事故を起こさせる新たな手段に過ぎません。
AIハッキングが1,000倍速くなる
MIT CSAILの研究者たちは、機械学習システムをハッキングしようとする既存のアプローチと比べて、この新しい手法がいかに高速かつ効率的であるかに驚いていました。彼らは、いわゆる「ブラックボックス」AIシステム、つまり研究者がAIの内部構造を見ることができないシステムに対して、この手法が既存の手法よりも1,000倍高速であることを発見しました。
Tom's Hardware の最高のニュースと詳細なレビューをあなたの受信箱に直接お届けします。
つまり、研究者たちはAIが画像をどのように「見ている」かを正確に知らなくても、AIをハッキングできるということです。画像をピクセル単位で変更することでAIシステムを騙し、別の画像として認識させる方法は他にもありました。しかし、これらの方法は通常、50×50ピクセルのサムネイルなど、低解像度の画像に限られます。この方法は、高解像度の画像では実用的ではありません。
CSAIL チームは、「自然進化戦略」(NES) と呼ばれるアルゴリズムを使用しました。これは、類似した敵対画像を調べ、類似したオブジェクトの方向に画像のピクセルを変更できるものです。
犬をスキーヤーに変える例では、アルゴリズムは 2 つの変更を実装します。まず、AI の観点から画像を犬に似せるようにし、次にピクセルの RGB 値を変更して画像を 2 人のスキーヤーに似せるようにします。
AI ハッキング - まだ始まったばかり？
MIT CSAILの研究は、AIへのハッキングが可能であるだけでなく、少なくともAI開発者がアルゴリズムを大幅に改良するまでは、比較的容易に実行できる可能性もあることを示しています。しかし、これはソフトウェア業界におけるセキュリティ専門家とハッカーの争いに似た、いたちごっこになりつつあるように見えます。
AI システムをハッキングする潜在性がこれほど高いのであれば、今後この分野での研究がさらに進み、人工知能によって管理されるシステムに対する現実世界の攻撃も起こる可能性が高くなります。
