AMDはInstinct MI300Xの発表会で、人工知能（AI）および高性能コンピューティング（HPC）向けの最新GPUが、推論ワークロードにおいてNVIDIAのH100 GPUよりも大幅に高速であると主張しました。NVIDIAは今週、状況は全く逆であることを証明しました。適切に最適化された場合、H100ベースのマシンはInstinct MI300X搭載サーバーよりも高速であると主張しています。
NVIDIAは、AMDがInstinct MI300Xベースのサーバーとのパフォーマンス比較に使用したDGX H100マシンに最適化したソフトウェアを使用していなかったと主張している。NVIDIAは、優れたAIパフォーマンスは、堅牢な並列コンピューティングフレームワーク（CUDAを前提としている）、汎用性の高いツールスイート（これもCUDAを前提としている）、高度に洗練されたアルゴリズム（最適化を前提としている）、そして優れたハードウェアにかかっていると指摘している。これらの要素のどれか一つでも欠ければ、パフォーマンスは標準以下になると同社は述べている。
Nvidiaによると、TensorRT-LLMは、H100や類似GPUの重要なパフォーマンス向上要因であるHopperアーキテクチャ向けにカスタマイズされた高度なカーネル最適化を備えています。この微調整により、Llama 2 70Bなどのモデルは、推論の精度を損なうことなく、H100 GPU上でFP8演算を高速化して実行できるようになります。
Tom's Hardware の最高のニュースと詳細なレビューをあなたの受信箱に直接お届けします。
アントン・シロフはTom's Hardwareの寄稿ライターです。過去数十年にわたり、CPUやGPUからスーパーコンピュータ、最新のプロセス技術や最新の製造ツールからハイテク業界のトレンドまで、あらゆる分野をカバーしてきました。
