AIはキーボードのキー入力を95%の精度で聞き取り、データをスワイプする

コーネル大学の研究チーム、ジョシュア・ハリソン、エフサン・トレイニ、マリアム・メヘルネザドは、音声のみからキーボード入力を解釈するAIのトレーニングに関する詳細な論文を発表しました。キー入力を記録してモデルをトレーニングすることで、キーボードに入力された内容を最大95%の精度で予測することができました。Zoomを使用してシステムをトレーニングした場合、この精度は93%まで低下しました。

このシステムは、ランダムなキーボードでは動作しません。各キーストロークがどの文字に対応するかを示す参照情報を用いて、特定のキーボードに学習させる必要があります。これは、マイクを使ってローカルで行うことも、Zoomなどのアプリケーションを使ってキーストロークの音声を録音してリモートで行うこともできます。

プロジェクトのデモンストレーションでは、チームはMacBook Proを用いてこのコンセプトを検証しました。36個のキーをそれぞれ25回ずつ押しました。これがAIモデルがどの文字とどのキー入力音の関連を認識するための基盤となりました。録音された波形には微妙な違いが十分にあったため、AIモデルは各キーを驚くほど正確に認識することができました。

この種の潜在的な攻撃には弱点がないわけではありません。研究チームは、入力スタイルを変えるだけでもシステムの精度を低下させる方法はあると述べています。タッチタイピングでは、キーストロークの認識精度が64%から40%に低下しました。また、ソフトウェアを使ってホワイトノイズや余分なキーストロークを生成し、入力を濁らせることも可能です。

この種のサイバー攻撃は、大きなクリック音が出るメカニカルキーボードで非常に効果的ですが、メカニカルスイッチだけに限ったものではありません。メンブレンキーボードでも、AIモデルの学習には十分な音が出ます。そのため、この種の攻撃を回避するには、クリック音の大きいメカニカルキーボードを静かなものに交換するのではなく、ソフトウェア側の対策を講じるのが最善策です。

チームの調査結果についてさらに詳しく知りたい場合は、研究の過程で発見された研究のすべてと研究の詳細が記載されている公式の研究 PDF をご覧ください。