研究者たちは、複数の意味を持つ単語から生じるAI幻覚バグを撲滅したいと考えている

AIブームにより、一般消費者はChatGPTのようなAIチャットボットを利用して、広範かつ深い情報を提供するプロンプトから情報を得ることができるようになりました。しかし、これらのAIモデルは依然として幻覚に陥りやすく、誤った回答を返すことがあります。さらに、AIモデルは明らかに誤った（時には危険な）回答を返すことさえあります。幻覚の中には、誤った学習データ、一般化、あるいはデータ収集の副作用によって引き起こされるものもありますが、オックスフォード大学の研究者たちは別の角度からこの問題に取り組んでいます。彼らはNature誌に、作話、つまり恣意的で誤った生成を検出するために新たに開発された手法の詳細を発表しました。

LLMは、学習データから特定のパターンを見つけることで答えを見つけます。しかし、これは必ずしもうまくいくとは限りません。AIボットが、実際には存在しないパターンを見つけてしまう可能性もあるからです。これは、人間が雲の中に動物の形を見つけるのと似ています。しかし、人間とAIの違いは、人間はそれが雲の中の形であり、実際に空に浮かぶ巨大な象ではないことを知っているという点です。一方、LLMはこれを絶対的な真実として扱い、まだ存在しない未来の技術を幻覚的に捉えたり、その他無意味なことを思いついたりする可能性があります。

意味エントロピーが鍵

オックスフォード大学の研究者たちは、意味エントロピーを用いて、LLMが幻覚を起こしているかどうかを確率的に判定します。意味エントロピーとは、同じ単語が異なる意味を持つことです。例えば、「砂漠」は地理的特徴を指す場合もあれば、誰かを見捨てるという意味を持つ場合もあります。LLMがこれらの単語を使い始めると、自分が何を言おうとしているのか分からなくなる可能性があります。そこで研究者たちは、LLMの出力の意味エントロピーを検出することで、LLMが幻覚を起こしているかどうかを判定することを目指しています。

セマンティックエントロピーを使用する利点は、LLM上で人間による監視や強化を必要とせずに動作するため、AIボットが幻覚を起こしているかどうかをより迅速に検出できることです。タスク固有のデータに依存しないため、LLMがこれまで経験したことのない新しいタスクにも使用できます。AIが特定の質問やコマンドに初めて遭遇する場合でも、ユーザーはLLMをより完全に信頼できるようになります。

研究チームによると、「私たちの手法は、ユーザーがLLMを使用する際に特別な注意を払うべきタイミングを理解するのに役立ち、信頼性の低さによってこれまで利用が阻まれていたLLMの新たな活用の可能性を切り開きます」とのことです。もし意味エントロピーが幻覚の検出に効果的な方法であることが証明されれば、このようなツールを用いてAIの出力精度を再確認し、専門家がAIをより信頼できるパートナーとして信頼できるようになるでしょう。しかしながら、人間が絶対に間違いを犯さないわけではないのと同様に、LLMも、たとえ最先端のエラー検出ツールを用いても、間違いを犯す可能性があることを忘れてはなりません。したがって、ChatGPT、CoPilot、Gemini、Siriなどのツールが返した回答は、必ず再確認するのが賢明です。