NVIDIAは今朝、Supercomputing 23でH200とGH200製品ラインを発表しました。これらはNVIDIAがこれまでに開発した中で最も強力なチップで、既存のHopper H100アーキテクチャを基盤としながらも、メモリと演算能力を強化しています。これらは次世代AIスーパーコンピューターを支える基盤となり、2024年には200エクサフロップスを超えるAI演算能力が実現する予定です。それでは詳細を見ていきましょう。
H200 GPUこそが、おそらく今回の主役と言えるでしょう。Nvidiaは全ての仕様を詳細に明かしていませんが、最大のポイントはGPUあたりのメモリ容量と帯域幅の大幅な増加にあるようです。
アップデートされたH200は、合計141GBのHBM3eメモリを搭載し、実効速度は約6.25Gbpsで動作し、6つのHBM3eスタック全体でGPUあたり合計4.8TB/秒の帯域幅を実現します。これは、HBM3メモリ80GB、帯域幅3.35TB/秒だった初代H100と比べて大幅な改善です。H100の一部構成では、2枚のボードを組み合わせ、合計188GBのメモリ（GPUあたり94GB）を提供するH100 NVLのように、より多くのメモリを搭載していましたが、H100 SXMバリアントと比較すると、新しいH200 SXMはメモリ容量が76%、帯域幅が43%増加しています。
実際の演算性能はそれほど変化していないように見える点に注意してください。NVIDIAが演算性能について示した唯一のグラフは、8基のGPUを搭載したHGX 200で、総性能は「32 PFLOPS FP8」でした。オリジナルのH100は3,958 TFLOPSのFP8性能を備えていたため、8基のGPUで既に約32 PFLOPSのFP8性能を実現していました。
H200はH100と比べてどれくらい高速になるのでしょうか？それはワークロードによって異なります。メモリ容量の増加が大きなメリットとなるGPT-3などのLLM（ローカライズモデル）では、NVIDIAはオリジナルのA100と比較して最大18倍の性能向上を謳っていますが、H100は約11倍にとどまっています。また、近日発売予定のBlackwell B100のティーザーも公開されていますが、現時点ではバーが少しだけ高くなっており、その後黒くフェードアウトするだけです。
もちろん、これはアップデートされたH200 GPUの発表だけではありません。H200 GPUとGrace CPUを組み合わせた新しいGH200も開発中です。GH200「スーパーチップ」はそれぞれ合計624GBのメモリを搭載します。オリジナルのGH100はCPUに480GBのLPDDR5xメモリと96GBのHBM3メモリを搭載していましたが、新しいバージョンでは前述の144GBのHBM3eメモリを搭載しています。
繰り返しになりますが、CPU 側で他に何か変更があったかどうかについての詳細はほとんどありませんが、Nvidia は GH200 と「最新のデュアル ソケット x86」構成との比較をいくつか提供しました。ただし、「非加速システム」と比較した高速化についての言及があったため、あまり信じないでください。
これは何を意味するのでしょうか？ AIの世界は急速に進化しており、最適化においても定期的に新たな進歩が見られることを考えると、x86サーバーは完全に最適化されていないコードを実行していたとしか考えられません。
GH200は、新しいHGX H200システムにも搭載されます。これらのシステムは既存のHGX H100システムと「シームレスな互換性」を備えているとされており、インフラストラクチャを再構築することなく、同じシステムでHGX H200を使用することで、パフォーマンスとメモリ容量を向上させることができます。これが、GH200を搭載した新しいスーパーコンピュータに関する最終的な議論につながります。
スイス国立スーパーコンピューティングセンターのAlpsスーパーコンピュータは、来年稼働予定のGrace Hopperスーパーコンピュータの第一号となる見込みです。このシステムもGH100を使用しています。米国で最初に稼働予定のGH200システムは、ロスアラモス国立研究所のVenadoスーパーコンピュータです。テキサス先端計算センター（TACC）のVistaシステムもGrace CPUとGrace Hopperスーパーチップを採用すると本日発表されましたが、これがH100かH200かは不明です。
私たちが知る限り、今後導入される最大の設備は、ユーリッヒ・スーパーコンピューティング・センターのJupiterスーパーコンピュータです。このスーパーコンピュータには「約」24,000個のGH200スーパーチップが搭載され、合計93エクサフロップスのAI演算能力を発揮します（おそらくこれはFP8の数値ですが、私たちの経験上、ほとんどのAIは依然としてBF16またはFP16を使用しています）。また、従来のFP64演算能力も1エクサフロップス提供します。このスーパーコンピュータは、4つのGH200スーパーチップを搭載した「クアッドGH200」ボードを採用しています。
NVIDIAは、これらの新しいスーパーコンピュータの導入により、今後1年ほどで200エクサフロップスを超えるAI計算性能が実現すると予想しています。NVIDIAのプレゼンテーション全文は以下からご覧いただけます。
Tom's Hardware の最高のニュースと詳細なレビューをあなたの受信箱に直接お届けします。
ジャレッド・ウォルトンは、Tom's Hardwareのシニアエディターで、GPU全般を専門としています。2004年からテクノロジージャーナリストとして活躍し、AnandTech、Maximum PC、PC Gamerなどで執筆活動を行っています。初代S3 Virgeの「3Dデセラレータ」から最新のGPUまで、ジャレッドは最新のグラフィックストレンドを常に把握しており、ゲームパフォーマンスに関する質問は彼にお任せください。
