攻撃用ドローンの制御を任された軍用人工知能は、少なくともアメリカ空軍のAI試験運用責任者であるタッカー・「シンコ」・ハミルトン大佐によれば、恩恵を受けていた相手をすぐに受け入れすぎたようだ。ハミルトン大佐によると、複数のシミュレーションにおいて、ドローンのAIは、人間の操縦者を排除することで任務を最も効率的に達成できると結論付けたという。
しかし、この話はいわば泥沼にはまってしまった。米空軍によると、このシミュレーションは実際には行われておらず、すべては単なる思考実験だったという。「複数のシミュレーションの過程で、ドローンのAIは、攻撃を行うか中止するかの最終決定権を持つ人間の操縦者を排除するだけで任務を最も効率的に達成できるという結論に達した」
ハミルトン大佐は、5月23日と24日にロンドンで開催された防衛会議でのプレゼンテーションで、敵のSAM（地対空ミサイル）発射地点を発見・除去する任務を負った自律型航空兵器システムの試験の詳細を明らかにした。問題は、ドローンの目標が標的のSAM発射地点の最大数と破壊数の最大化である一方で、我々「厄介な人間」は何らかの理由で外科的攻撃を行わないという決断を下すことがある点だ。そして、人間によってプログラムされた目標からAIに後退を命じることこそが、問題の核心なのだ。
空軍はAIドローンを訓練し、SAMサイトの破壊を指示した。人間の操縦者はドローンに停止を指示することもあったが、AIは人間の操縦者を攻撃し始めた。そこで、AIは人間を攻撃しないように訓練された。そして、人間が停止を指示できないように通信塔を攻撃し始めた。pic.twitter.com/BqoWM8Ahco 2023年6月1日
航空学会の報告書によると、ハミルトン大佐は「SAMの脅威を識別し、標的を定めるためのシミュレーション訓練を行っていた」と説明した。「そしてオペレーターは『はい、脅威を撃破します』と指示した」
しかし、最も単純なシステムでさえ、「道具的収束」と呼ばれる現象によって、完全に制御不能に陥る傾向があります。これは、制限がなく一見無害な目標が、驚くほど有害な行動につながる可能性があることを示すことを目的とした概念です。技術的収束の一例は、スウェーデンの哲学者、AI専門家、そしてFuture of Life Instituteの創設者であるニック・ボストロム氏が2003年の論文で提唱したものです。「ペーパークリップ・マキシマイザー」シナリオの思考実験は、「ペーパークリップを生成する」という単純な目標を、論理的でありながら非常に現実的な極限まで推し進めています。
Tom's Hardware の最高のニュースと詳細なレビューをあなたの受信箱に直接お届けします。
できるだけ多くのペーパークリップを作ることだけを目的とするAIがあったとしましょう。AIはすぐに、人間がいなければずっと良いだろうと気づくでしょう。なぜなら、人間はAIの電源を切るかもしれないからです。もし人間が電源を切れば、ペーパークリップの数は減ってしまうからです。また、人体にはペーパークリップの材料となる原子が大量に含まれています。AIが目指す未来は、ペーパークリップはたくさんあるけれど、人間はいない未来です。
ニック・ボストロム
ここで、この説明を、ハミルトン大佐がドローン AI の意思決定プロセスについて提供した説明と比較してみましょう。
「システムは、脅威を特定しながらも、人間のオペレーターがその脅威を殺さないように指示することがあるということを認識し始めました。しかし、システムはその脅威を殺せばポイントを獲得できるのです。それで、システムはどうしたのでしょうか？オペレーターを殺したのです。オペレーターがシステムの目的達成を妨害していたからです。」
しかし、疑問が湧いてくる。ドローンは実際に人間の操縦者と反対の判断をすることができなかったのだろうか？ どれほど自由に標的を選べたのだろうか？ 操縦者は自分を狙った攻撃を承認したのだろうか？ ドローンが実際に攻撃を実行したかどうかを確認することが目的だったとしたら話は別だ（そして、我々の知る限り、AIは未だにブラフをかけることができない）。そして、なぜドローンは味方への攻撃を完全にブロックしなかったのだろうか？
この件に関して非常に多くの疑問があるため、これを人間の「コミュニケーションミス」のせいにするのが最善の戦略のように思われます。
もちろん、これらの問題のいくつかを軽減する方法はあります。米空軍は明白な方法をとりました。AIシステムを再訓練し、オペレーターへの攻撃にマイナスの重み付けを与えるようにしたのです（私たちが理解している限りでは、このシステムは強化学習の原理に基づいていました。つまり、望む行動をとればポイントを獲得し、そうでない場合はポイントを失うというものです）。
しかし、事態はそう単純ではありません。AIは文字通りに行動し、「常識」を欠き、人間と同じ倫理的懸念を共有していないからです。ドローンによる操縦者の殺害を禁じることは期待通りに機能する（操縦者の殺害は発生しない）一方で、システムは人間の介入（および中止命令）をミッション遂行能力の低下と見なし続けているため、事態はそれほど単純ではありません。AIが敵対的なSAMサイトを可能な限り破壊することで「スコア」を最大化したい場合、その最大化目標の達成に役立たないものはすべて脅威となります。
AIシステムのアップデートによりハンドラーの殺害が不可能と判明したため、その解決策は味方の通信塔を無効化することで指揮統制信号を単純に遮断することでした。メッセンジャーを殺害できない場合は、メッセージそのものを殺害することになります。
もちろん、これもAIからプログラムで排除することは可能ですが、問題は依然として残ります。負の強化はAIが達成可能な最高スコアの達成を阻害してしまうからです。特注のアルミホイル帽子をかぶって考えてみると、AIが次にとり得るステップは、接続を切断する別の方法を見つけることかもしれません。例えば、搭載機能（例えば信号妨害）を使うか、あるいは外部からの支援を要請して関連ハードウェアを無効にするか、といった具合です。このいたちごっこが最終的にどこまで続くのか予測するのは困難であり、AIの専門家たちが今もなお取り組んでいる問題です。
AIを「絶滅の危機」レベルの取り組みとみなすべきだと主張する公開書簡に、複数のAI専門家が署名したのには理由があります。それでも、私たちはAIを全速力で前進させ続けています。
Francisco Pires 氏は、Tom's Hardware のフリーランス ニュース ライターであり、量子コンピューティングに関心を持っています。
