ChatGPTが『レッド・デッド・リデンプションII』をプレイ — AIビジョンシステムが圧倒される

（画像提供：Rockstar）

中国とシンガポールの研究者グループが最近、AIに『レッド・デッド・リデンプションII』（RDR2）をプレイさせる際の課題を詳述した論文を発表しました。彼らはまた、AIのゲームプレイパフォーマンスを評価し、コメントしました。論文「Towards General Computer Control: A Multimodal Agent for Red Dead Redemption II as a Case Study」（PDF）では、AI向けのGeneral Computer Control（GCC）の概念と、GPT-4VとRDR2のインターフェースに使用される6つのモジュールからなるエージェントフレームワーク「CRADLE」について説明しています。結論として、AIゲームエージェントが直面する主要な課題は、GPT-4Vのビジョンシステムに起因するとされています。

研究論文によると、この『RDR2』プレイプロジェクトは、AIが汎用人工知能（AGI）の実現に向けてどの程度進歩しているかについての洞察を提供するとのことです。この目的のため、彼らは基本的に、OpenAIのGPT-4Vを搭載したAIをコンピューターと対話させようと試みています。つまり、視覚と聴覚からの手がかりを捉え、平均的なコンピューターに精通した人間のようにコンピューターを賢く操作することです。こうして、AIが複雑な汎用コンピューター制御（GCC）を成功させられることを実証しようとしているのです。

研究者たちは、RDR2を注目の的とするゲームとして選びました。その理由は、RDR2が「最も要求の厳しいコンピュータタスクを体現する複雑なブラックボックス制御システムを備えており、このような仮想環境におけるフレームワークのパフォーマンス限界を評価できる」と主張しているからです。確かに、RDR2はプレイヤーが操作できる豊かな環境と多様な状況を提供します。さらに、会話、独自のアイコン、ゲーム内プロンプト、指示といったUI要素により、背景知識を前提とすることなく操作できるため、AI学習に最適です。最後に、研究者たちは、マウスとキーボードによるRDR2のゲーム操作は、コンピューターユーザーが日常的に使用する他のほとんどのソフトウェアよりもGCCのトレーニングに適していると述べています。

公開された論文はRDR2に焦点を当てていますが、CRADLEはGCCの目的の一環として拡張可能であり、「シミュレーションゲームやストラテジーゲーム、そして様々なソフトウェアアプリケーションなど、より幅広いゲームをサポートする」ように設計されています。ここでの重要な革新はCRADLEフレームワークの導入です。それでは、これについて詳しく見ていきましょう。

上記は、CRADLEがGCCゲーム、特にRDR2の課題にどのように対処しているかの概要を示しています。研究者たちは、CRADLEが人間と同じようにゲームをゼロから（ゲーム内部の状態やAPIにアクセスすることなく）学習できる能力を実証することを目指しました。そして、AIエージェントがRDR2のメインストーリーに沿って世界を移動し、タスクを完了することでゲームを進めていくことを目指しました。

全体的に見て、CRADLEはRDR2のゲームプレイにおいて中程度の成功を収めたようです。研究者らは、メインストーリーとオープンエンドミッションの代表的なタスクでさえ評価したと述べています。重要な発見は、「CRADLEはメインストーリーのすべてのタスクを一貫して完了できる」というものでした。注目すべき例外としては、テンポの速い銃撃戦を伴う「ダッチを守る」、複雑な屋内環境を探索するエージェントを必要とする「家の探索」、そして長期的な視野を持つオープンエンドタスクが挙げられます。

上記から、CRADLEにおけるタスク推論とリフレクションの重要性が分かります。これらの改良は、エージェントがゲーム内を移動し、タスクが完了したタイミングを理解する上で特に重要です。研究中、CRADLEが繰り返し経験したいくつかの困難は、GPT4-Vに起因すると指摘されました。具体的には、「GPT-4Vの空間視覚認識能力は、精密できめ細かい制御には不十分である」と主張されています。さらに、GPT4-Vは、ゲーム内の固有のアイコンなどのドメイン固有の概念、ミニマップの理解、ゲーム環境における一般的な障害物の理解に苦労していると言われています。

Tom's Hardware の最高のニュースと詳細なレビューをあなたの受信箱に直接お届けします。