Nvidia Hopper H200がTen​​sorRTでMLPerfベンチマーク記録を破る — 残念ながらBlackwellの提出はまだありません

NVIDIAは、同社の新型AI GPU Hopper H200と、パフォーマンス向上のためのTensorRT LLMを組み合わせたことで、最新のMLPerfパフォーマンスベンチマークの記録を更新したと発表しました。この組み合わせにより、H200のパフォーマンスはMLPerfのLlama 2 70Bベンチマークで毎秒31,712トークンという驚異的な数値に達し、NVIDIAの前世代H100 Hopper GPUと比較して45%の向上を実現しました。

Hopper H200は基本的にH100と同じシリコンですが、メモリが24GB 12-HiスタックのHBM3eにアップグレードされています。これにより、GPUあたり141GBのメモリと4.8TB/sの帯域幅が実現しました。一方、H100は通常、GPUあたり80GB（一部モデルでは94GB）のメモリと最大3TB/sの帯域幅しかありませんでした。

この記録は、今年後半か来年初めにBlackwell B200 GPUが市場に投入されれば、間違いなく破られるでしょう。NvidiaはBlackwellを社内で保有し、テスト中である可能性が高いですが、まだ一般公開されていません。ただし、トレーニングワークロードではH100の最大4倍の性能を発揮すると謳っています。

Nvidiaは、MLPerfのデータセンター推論ベンチマークが2020年後半に利用可能になって以来、完全な結果を公開している市場で唯一のAIハードウェアメーカーです。MLPerfの新しいベンチマークの最新版では、700億のパラメータを活用する最先端の言語モデルであるLlama 2 70Bが採用されています。Llama 2は、MLPerfのベンチマークで以前使用されていたGPT-J LLMの10倍以上の規模を誇ります。

MLPerfベンチマークは、ML Commonsが開発したベンチマークスイートであり、ソフトウェア、ハードウェア、およびサービスのトレーニングと推論のパフォーマンスを公平に評価することを目的としています。このベンチマークスイート全体は、GPT-3、Stable Diffusion V2、DLRM-DCNv2など、数多くのAIニューラルネットワーク設計で構成されています。