OpenAIの音声書き起こしツール「Whisper」を使用している研究者やエンジニアは、その出力に幻覚が含まれることがよくあると指摘している。幻覚とは、元の録音を正確に反映していないテキストの塊として現れることが多い。AP通信によると、ミシガン大学の研究者は、検査したこのAIツールの書き起こしの80%に作り話が含まれていることを発見し、改善に取り組んだという。
AI幻覚は新しい現象ではなく、研究者たちは意味エントロピーなどの様々なツールを用いてこの現象の解決に取り組んできました。しかし、懸念されるのは、Whisper AI音声文字変換ツールが医療現場で広く使用されており、ミスが致命的な結果をもたらす可能性があるということです。
例えば、ある話者は「あの少年は、正確には分かりませんが、傘を取ろうとしていました」と発言しましたが、ウィスパーは「十字架の大きな破片と、小さな破片…きっとテロナイフは持っていなかったので、何人も殺したのでしょう」と書き起こしました。別の録音では「他に2人の少女と1人の女性」と発言されていましたが、AIツールはこれを「他に2人の少女と1人の女性、ええと、黒人でした」と書き起こしました。最後に、医療関連の例では、ウィスパーが出力に「過剰活性化抗生物質」と書き込んでいましたが、これは実際には存在しません。
45,000人以上の臨床医が利用するAIアシスタント「Nabla」
上記のニュースにもかかわらず、患者と医師のやり取りを記録し、診察後にメモやレポートを作成する医療従事者を支援するアンビエントAIアシスタントであるNablaは、依然としてWhisperを使用しています。同社によると、ロサンゼルス小児病院やミネソタ州のマンケートクリニックなど、85以上の医療機関で4万5000人以上の医療従事者がこのツールを使用しているとのことです。
NablaはOpenAIのWhisperをベースにしていますが、同社の最高技術責任者であるマーティン・レイソン氏によると、このツールは医療用語に特化しており、対話の書き起こしと要約に特化しているとのことです。しかしながら、OpenAIは重要な書き起こしにはWhisperの使用を推奨しておらず、「精度の欠陥が結果に顕著な欠陥をもたらす可能性がある意思決定の場面」での使用は控えるよう警告しています。
Nablaを開発する企業は、Whisperの幻覚傾向を認識しており、既に問題に対処していると述べています。しかし、Raison社は、データのプライバシーと安全性を確保するため、元の音声を自動的に削除するため、AIが生成したトランスクリプトと元の音声録音を比較することはできないと述べています。幸いなことに、NablaのAIメモツールによる幻覚が原因で医療従事者から苦情が寄せられたという記録はまだありません。
たとえそうであったとしても、OpenAIの元エンジニアであるウィリアム・サンダース氏は、元の録音を削除すると医療提供者がテキストの正しさを検証できなくなるため、問題が生じる可能性があると述べた。「真実の根拠となる情報を削除すれば、誤りを見つけることはできません」とサンダース氏はAP通信に語った。
Tom's Hardware の最高のニュースと詳細なレビューをあなたの受信箱に直接お届けします。
しかしながら、Nablaはユーザーが書き起こしたメモを編集し、承認することを求めています。そのため、患者がまだ医師と同室にいる間にレポートを提供できれば、医療従事者は最近の記憶に基づいて結果の正確性を検証する機会を得ることができ、AI書き起こしによって提供されたデータが不正確であると判断された場合は、患者に情報を確認することさえできます。
これは、AIが全てを正しく判断する絶対確実な機械ではないことを示しています。むしろ、AIは素早く考えることができる人間のようなもので、その出力は毎回二重チェックが必要です。AIは確かに多くの状況で便利なツールですが、少なくとも現時点では、AIに私たちの代わりに考えさせることはできません。
ジョウィ・モラレスは、長年のテクノロジー業界での実務経験を持つテクノロジー愛好家です。2021年から複数のテクノロジー系出版物に寄稿しており、特にテクノロジー系ハードウェアとコンシューマーエレクトロニクスに興味を持っています。
