81
Nvidia ニューラルレンダリングの深掘り — DLSS 4、Reflex 2、メガジオメトリなどの詳細
Nvidia ニューラルレンダリングの詳細
(画像提供:Nvidia)

CES 2025開催中、NVIDIAはエディターズデイを開催し、近日発売予定のRTX 50シリーズGPUに関連する様々な技術について技術ブリーフィングを行いました。終日開催されたこのイベントは、DLSS 4、マルチフレーム生成、ニューラルマテリアル、メガジオメトリといったトピックを網羅したニューラルレンダリングセッションで幕を開けました。

RTX 50シリーズではAIと関連技術が最重要視されますが、一部のアップグレードは既存のRTX GPU(初代20シリーズTuringアーキテクチャまで遡る)でも動作します。Blackwellアーキテクチャ、RTX 50シリーズFounders Editionカード、ゲーム向けRTX AIとジェネレーティブAI、プロフェッショナルとクリエイター向けのBlackwell、そしてBlackwellとMFGのベンチマーク方法に関する記事も別途ご用意しています。膨大な情報量で、各セッションのスライド資料もご用意しています。

時間的な制約により (Intel の Arc B570 は明日発売され、今月末に発売される RTX 5090 と 5080 に向けてまだすべてのテストが残っているため)、各ディスカッションのすべての側面を網羅することはできませんが、ご質問があればコメントでお知らせください。今後数日中に、追加の洞察を加えてこれらの記事に回答し、更新できるよう最善を尽くします。

画像

1

22

Nvidia ニューラルレンダリングの詳細
(画像提供:Nvidia)

ニューラルレンダリングセッションでは、興味深い情報やデモが満載で、そのほとんどは一般公開される予定です。公開され次第、リンクを追加します。大まかに言うと、多くの機能強化は、Blackwellアーキテクチャのアップグレードされたテンソルコアに起因しています。最大の変更点は、FP4(4ビット浮動小数点)データ型のネイティブサポートで、スループットは前世代のFP8コンピューティングの2倍です。Nvidiaは、強化されたコアを活用するためにAIモデルのトレーニングとアップデートを行っており、これらはすべてBlackwell Neural Shadersというヘッダーにまとめられています。

Nvidia ニューラルレンダリングの詳細

(画像提供:Nvidia)

Nvidiaは5つの新機能を挙げています。ニューラルテクスチャ、ニューラルマテリアル、ニューラルボリューム、ニューラルラディアンスフィールド、そしてニューラルラディアンスキャッシュです。リストをざっと読んでいくと、少し神経質になられてしまうかもしれません…

ジェンセン氏のCES基調講演では、ニューラルマテリアルの影響について既にいくつか議論しました。将来のゲームでは、テクスチャとマテリアルのメモリ使用量を約3分の1削減できる可能性があります。ただし、この機能の実装にはゲーム開発者が実装する必要があるため、RTX 5070ノートPC用GPUや、おそらく未発表のRTX 5060デスクトップGPUを含む、あらゆる8GB GPUのパフォーマンスが魔法のように向上するわけではありません。しかし、この機能を活用するゲームはどうでしょうか?メモリ制限を回避しながら、より美しいグラフィックを実現できる可能性があります。

NVIDIAはMicrosoftと共同で、テンソルコードとシェーダーコードの混在を可能にする「Cooperative Vectors」と呼ばれる新しいシェーダーモデル(いわゆるニューラルシェーダー)の開発に取り組んでいます。これはオープンスタンダードになるはずですが、RTX 50シリーズに特化した機能強化のように思われるため、近い将来に他のGPUでサポートされるかどうかは不明です。これらの新機能は他のRTX GPUでも使用可能ですが、古いアーキテクチャでは特定のハードウェア機能がネイティブにサポートされていないため、結果として生成されるコードは遅くなると理解しています。

Nvidia ニューラルレンダリングの詳細

(画像提供:Nvidia)

Nvidiaは、Half-Life 2 RTX Remixのアップデートされたシーケンスもいくつか披露しました。その中には、「RTX Skin」と呼ばれる機能強化が含まれています。既存のレンダリング技術では、ほとんどのポリゴンが不透明になってしまいます。RTX SkinはAIトレーニングを用いて、上のカニのような特定の半透明オブジェクトに光がどのように照射されるかをシミュレートします。静止画よりも印象的なリアルタイムデモも披露されましたが、公開リンクはまだありません。

RTX 50シリーズのもう一つの新機能は、リニアスイープスフィアと呼ばれるものです。名前は少し長いですが、レイトレーシングされた髪の毛のレンダリングをよりスムーズに行えるようにすることを目的としています。ポリゴンで髪の毛をモデリングするのは非常に複雑な作業です。例えば、髪の毛の各セグメントには6つの三角形が必要になり、数千本の髪の毛が複数のセグメントを持つ場合、処理が困難になります。リニアスイープスフィアを使用すれば、セグメントごとに2つの球体に削減できるため、必要なデータストレージ容量は3分の1になります。

Nvidia ニューラルレンダリングの詳細

(画像提供:Nvidia)

ゲームのポリゴン数は過去30年間で大幅に増加しました。1990年代のハイエンドゲームでは、1シーンあたり1,000~10,000ポリゴン程度でした。サイバーパンク2077のような最近のゲームでは、1シーンあたり最大5,000万ポリゴンに達することもあり、NvidiaはBlackwellとMega Geometryの導入により、この数値がさらに桁違いに増加すると予測しています。

興味深いことに、NVIDIAはメガジオメトリの具体的なユースケースとして、クラスタベースジオメトリを実現するUnreal Engine 5のNaniteテクノロジーに言及しています。また、BVH(バウンディングボリューム階層)についても具体的に言及しているため、レイトレーシングのユースケースに特化したものと考えられます。

NVIDIAは基調講演と本セッションの両方で、「Zorah」と呼ばれるライブ技術デモを公開しました。Zorahは、多くの新しいニューラルレンダリング技術を駆使した、視覚的に印象的なデモでした。しかし、これはあくまで技術デモであり、今後リリースされるゲームではありません。これらの機能を活用したい将来のゲームは、早い段階から組み込む必要があると考えられます。そのため、これらの技術の大部分がゲームに搭載されるまでには、まだしばらく時間がかかるかもしれません。

画像

1

30

Nvidia ニューラルレンダリングの詳細
(画像提供:Nvidia)

ニューラルレンダリングセッションの後半は、応用ディープラーニング研究担当バイスプレジデントのブライアン・カタンツァーロ氏が議論をリードし、より緊迫した内容となりました。簡潔に言うと、すべてはDLSS 4と関連技術を中心に展開されました。何よりも、RTX 40シリーズのDLSS 3と同様に、DLSS 4はより高いレベルの「パフォーマンス」を実現するための鍵となるでしょう。「DLSS 4」と二重引用符で囲んだのは、マーケティングの誇大宣伝とは裏腹に、AI生成フレームは通常のレンダリングフレームと完全に同じにはならないからです。つまり、フレームスムージングの2倍の性能です。

Nvidiaによると、RTXグラフィックスカード搭載のゲーマ​​ーの80%以上がDLSSを使用しており、現在540以上のゲームとアプリケーションでサポートされています。AI技術であるDLSSは、継続的なトレーニングによって、時間の経過とともに品質とパフォーマンスの両方を向上させることができます。以前のDLSSバージョンでは、モデルに畳み込みニューラルネットワーク(CNN)が使用されていましたが、Nvidiaは現在、トランスフォーマーベースのモデルをDLSSに導入しています。トランスフォーマーは過去2年間の多くのAIの進歩の中核を担っており、AI画像生成やテキスト生成など、より詳細なユースケースを可能にしています。

DLSSトランスフォーマーモデルでは、Nvidiaはパラメーター数を2倍にし、計算量を4倍にすることで、画質を大幅に向上させます。さらに、RTX 50シリーズの発売に伴い、ゲーマーはNvidiaアプリを使用して少なくとも75のゲームでDLSSモードをオーバーライドできるようになり、最新モデルを利用できるようになります。

画像

1

2

Nvidia ニューラルレンダリングの詳細
(画像提供:Nvidia)

上記は、DLSSトランスフォーマーのアップグレードを実証する『Alan Wake 2』と『Horizo​​n Forbidden West』の比較画像2枚です。『Alan Wake 2』はレイ・リコンストラクションを用いたフルレイトレーシングを採用しており、従来のCNNモデルよりも高速かつ高画質を実現しています。『Forbidden West』は、アップスケーリング品質の向上と、細部の描写レベルが大幅に向上したことを実証するために使用されました。

DLSSトランスフォーマーについてはまだ詳しく調べていませんが、初期の動画やスクリーンショットを見る限り、DLSSが「ネイティブよりも優れた」画質を実現するという長年の誇大宣伝がついに現実になるかもしれません。結果はゲームによって異なる可能性がありますが、これは注目すべきアップグレードの一つであり、すべてのRTX GPUユーザーが利用できるようになります。

DLSS トランスフォーマー モデルはより多くのコンピューティングを必要とするため、特に古い RTX GPU では実行速度が遅くなる可能性がありますが、新しいモデルでは、古い DLSS CNN 品質モード (2 倍のアップスケーリング) よりも見栄えがよくパフォーマンスも優れている DLSS パフォーマンス モードのアップスケーリング (4 倍) が見られる可能性があります。

Tom's Hardware の最高のニュースと詳細なレビューをあなたの受信箱に直接お届けします。

画像

1

3

Nvidia ニューラルレンダリングの詳細
(画像提供:Nvidia)

マルチフレーム生成(MFG)については、マーケティング上の誇大宣伝のせいで、あまり熱心ではありません。新しいハードウェアフリップ測光によるスムーズな動作と、より高速なフレーム生成アルゴリズムの組み合わせにより、MFGは理にかなっています。1フレームを補間する代わりに、3フレームを生成します。なんと、パフォーマンスが3倍向上するのです!

しかし一方で、サンプリングレートは4分の1になります。つまり、MFGでゲームを実行して240fpsを実現している場合、実際には60fpsでレンダリングされ、MFGによってその4倍のレートでレンダリングされていることになります。この特定の例では、見た目も動作もおそらく良好でしょう。より問題となるのは、240fpsを実現できないゲームやハードウェアです。例えば、RTX 5070は120fpsしか動作しないかもしれません。それはどのような感じでしょうか?

DLSS 3 フレーム生成の経験から、物事が「まあまあ」と感じられるには最低限のパフォーマンスレベルが必要であり、ゲームを真に「スムーズ」に感じさせるにはさらに高いしきい値が必要であることがわかりました。シングルフレーム生成では、一般的に 80 FPS 以上、つまりベースフレームレート 40 を達成する必要があると感じていました。MFG でも同じパターンが当てはまる場合、同じ 40 FPS のユーザーサンプリングレートを得るには 160 FPS 以上が必要になります。

さらに深刻なのは、例えばフレームジェネレータを50FPSで実行すると、ユーザー入力が25FPSでしか行われないため、動作が遅く感じる傾向があったことです。MFGを使用すると、100FPSを下回った場合でも同様の現象が発生します。

Nvidia ニューラルレンダリングの詳細

(画像提供:Nvidia)

もちろん、フレーム生成とMFGの組み合わせでは完璧なスケーリングは得られません。通常のDLSS 3フレーム生成では、FPSが約50%向上しますが、NvidiaはDLSSとフレーム生成の組み合わせを純粋なネイティブレンダリングと比較することで、この点を曖昧にすることがよくあります。

ネイティブで40FPSで動作していた場合、フレーム生成後には60FPSに落ちてしまうことが多く、入力レートは30FPSに低下していました。シングルフレーム生成から4倍のMFGに移行すると、どの程度の性能向上が見られるでしょうか? おそらく2倍に近づくでしょう。これは良いことですが、実際にどのように動作するか、そして実際にどのように感じるかは、実際に使ってみて確認する必要があります。

上記のスライドにある Nvidia 自身の例では、パフォーマンスの向上は 33% (Alan Wake 2) から 144% (Hogwarts Legacy) まで及ぶ可能性があることが示されていますが、これは RTX 5090 を使用した場合です。繰り返しになりますが、これが 50 シリーズの下位の GPU でどのように機能し、どのように感じられるかは、待って確認する必要があります。

画像

1

6

Nvidia ニューラルレンダリングの詳細
(画像提供:Nvidia)

最後に、もう一つの大きな新機能はReflex 2です。Reflex 2は最終的にはすべてのRTX GPUで利用可能になりますが、まずはRTX 50シリーズで利用可能になります。Reflexでは入力サンプリングをレンダリングパイプラインの後半まで遅らせていましたが、Reflex 2ではいくつか興味深い変更が加えられています。

まず、過去と現在の入力に基づいて、レンダリング前にカメラの位置を予測すると考えられています。例えば、過去2つの入力サンプルで視点が2度上に移動した場合、タイミングに基づいて、カメラが実際には3度上に移動すると予測できます。さて、ここからが面白いところです。

すべてのレンダリングが完了すると、Reflex 2はユーザー入力を再度サンプリングして最新データを取得し、フレームをワープしてさらに精度を高めます。これは、VRヘッドセットで使用される非同期空間ワープ(ASW)に少し似ています。ただし、このワープによって遮蔽が解除される可能性があり、見えなかったものが見えるようになります。Reflex 2は、高速なAIインペインティングアルゴリズムでこの問題に対処します。

上のギャラリーは、白いピクセルが「欠落」しているサンプルです。エディターズデーのプレゼンテーションでは、インペインティングのオン/オフをリアルタイムで切り替えられるライブデモが披露されました。最終的な結果はゲームで実際に見ているフレームレートによって異なりますが、ReflexとReflex 2は高FPSで動作しているときに最も効果を発揮します。例えば、30FPSで動作しているゲームでは、ワーピングとインペインティングにアーティファクトが発生しやすくなる可能性がありますが、200FPS以上のゲームではそれほど問題にはならないでしょう。当然のことながら、Reflex 2はThe FinalsやValorantのようなテンポの速い対戦型シューティングゲームに最初に導入される予定です。

ニューラルレンダリングセッションはこれで終了です。スライド資料は上記でご覧いただけますが、ここではいくつかの側面について簡単に触れました。言うまでもなく、AI関連では現在多くのことが起こっており、特にニューラルテクスチャなどの技術がどうなるのか非常に興味があります。今後、より幅広いゲームに適用される可能性はあるでしょうか?

Nvidiaに問い合わせたところ、一部のゲームスタジオは実行時にアセットを再圧縮する「オプトイン」が可能になる可能性があるとのことですが、それはゲームごとに異なります。率直に言って、全体的な忠実度が多少低下したとしても、一部のゲームのVRAM要件を12~16GBから4~6GBに削減できれば、8GB GPUに新たな息吹が吹き込まれる可能性があります。しかし、実際に卵が孵化するまでは、その卵の数を数えるのはやめておきましょう。

ジャレッド・ウォルトンは、Tom's Hardwareのシニアエディターで、GPU全般を専門としています。2004年からテクノロジージャーナリストとして活躍し、AnandTech、Maximum PC、PC Gamerなどで執筆活動を行っています。初代S3 Virgeの「3Dデセラレータ」から最新のGPUまで、ジャレッドは最新のグラフィックストレンドを常に把握しており、ゲームパフォーマンスに関する質問は彼にお任せください。