NvidiaはAIを活用して仮想世界をリアルタイムでレンダリングする

NVIDIAは、AIモデルが従来のモデリング技術やグラフィックスレンダリングエンジンを使用せずに新しい世界を描画できるようになったと発表しました。この新技術は、AIディープニューラルネットワークを用いて既存の動画を分析し、その視覚要素を新しい3D環境に適用します。

Nvidia は、この新しいテクノロジーは、シーン要素をモデル化する通常の骨の折れるプロセスを必要とせず、建物、樹木、車両、オブジェクトを新しい 3D 世界に自動的にレンダリングするように AI モデルをビデオからトレーニングするため、3D 世界の作成に革命的な一歩を踏み出す可能性があると主張しています。 

しかし、このプロジェクトはまだ開発段階です。右の画像は、Nvidia Titan VグラフィックカードのTensorコアを使ってリアルタイムで生成されたものですが、レンダリングされたシーンは現実世界で期待するほど鮮明ではなく、3D環境における通常のモデリングシーンほど鮮明ではありません。しかし、下のYouTube動画でリアルタイム出力を見ると、結果ははるかに印象的です。ここで重要なのはスピードです。AIがこれらのシーンをリアルタイムで生成しているのです。

NVIDIAの研究者たちは、この技術を用いてダンスの動きなど他の動きもモデル化し、それをリアルタイム動画内の他のキャラクターに適用しています。ディープフェイクのような改変された動画が蔓延していることを考えると、これは確かに倫理的な問題を提起しますが、NVIDIAは、これは技術の実現手段であり、現実ではないものをレンダリングすることを防ぐための技術的な解決策を必要とするセキュリティ問題として扱うべきだと考えています。 

大きな疑問は、これがいつゲーム分野に導入されるかということですが、NVIDIAは、まだ製品化されていないことを明言しています。同社は、シーンを分析し、学習済みモデルを適用してグラフィックを向上させることで、古いゲームの強化に役立つ可能性があると理論づけています。他にも多くの用途が考えられます。また、古いゲームに新しいレベルやコンテンツを作成するのにも使用できる可能性があります。同社は、この技術が普及し、ゲーム開発者のツールボックスに加えられることを期待しています。同社はこのプロジェクトをオープンソース化しているため、誰でもダウンロードしてすぐに使用できますが、現在はAI研究者向けに設計されています。

NVIDIAによると、この種のAI分析とシーン生成は、リアルタイムフィードを処理するのに十分なAIスループットを提供できる限り、あらゆるタイプのプロセッサで実行できるという。同社は、パフォーマンスと画質は時間の経過とともに向上すると予想している。

NVIDIAは、この技術が最終的にはゲーム、自動車、ロボット工学、そして仮想現実（VR）の分野で定着すると見ていますが、具体的な製品化の時期については明言していません。現時点では研究段階ですが、同社は将来的にゲーム開発者がこの技術を使い始めると予想しています。また、NVIDIAは今週開催されるAI研究に特化したカンファレンス「NeurIPS」において、AIが生成した世界のリアルタイムデモを実施します。