AMDがInstinct MI300X MLPerfベンチマークの初結果を発表 — Nvidia H100の性能とほぼ同等

AMDはついに、AIおよびHPC向けアクセラレータ「Instinct MI300X」の公式MLPerf結果を初公開しました。MI300Xプロセッサは、生成AI向けLlama 2 70Bモデルに搭載されているNVIDIAの前世代H100 GPUと同等の性能を発揮しているようですが、刷新されたH200バージョンには大きく及ばない結果となっています。ましてや、近日中に発表されるNVIDIA B200も、同じく昨日MLPerfの初結果を公表しました。

AMDがLlama 2 70BモデルのMLPerf 4.1生成AIベンチマークにおけるMI300Xのパフォーマンス数値のみを公開したことは注目に値します。AMDが公開したデータによると、MI300Xプロセッサ8基搭載システムは、Nvidia H100 SXM3プロセッサ8基搭載システム（オフライン時24,323トークン/秒）よりもわずかに遅い（オフライン時23,512トークン/秒）だけで、NvidiaのソフトウェアスタックがLlama 2 70Bのような一般的な大規模言語モデル向けに最適化されていることを考えると、これは「競争力がある」と言えるでしょう。AMD MI300Xシステムは、ほぼ現実世界のサーバーベンチマークにおいても、Nvidia H100マシンよりもわずかに高速で、21,028トークン/秒対20,605トークン/秒でした。

Nvidia の B200 の結果と同様に、これらの結果を完全に分析するには、もう少し深く掘り下げる必要があります。