AMD、MI300にGPUのみのモデルと1.5TBのHBM3を搭載した8GPUプラットフォームを追加

画像

1

の

2

AMDは本日、GPUのみを搭載したMI300Xを発表し、そのパフォーマンスを示す複数のデモを公開しました。GPUのみを搭載したMI300Xは、大規模言語モデル（LLM）向けに最適化されており、CDNA3 GPUタイルと192GBのHBM3メモリのみを搭載しています。

24GBのHBM3チップに分散された大容量メモリにより、最大800億パラメータのLLM（論理モデル）を実行可能となり、AMDは単一GP​​Uとしては記録的な数値だと主張しています。このチップは、8チャネルで5.2TB/秒のメモリ帯域幅と、896GB/秒のInfinity Fabric帯域幅を提供します。MI300Xは、NVIDIA H100の2.4倍のHBM密度と1.6倍のHBM帯域幅を備えており、AMDはNVIDIAのチップよりも大規模なモデルを実行できます。 

MI300Aは複数の異なるモードで動作可能ですが、プライマリモードは単一のメモリドメインとNUMAドメインで構成され、すべてのCPUコアとGPUコアに均一なアクセスメモリを提供します。一方、MI300Xは、すべてのGPUクラスター間でコヒーレントメモリを使用します。重要な点は、キャッシュコヒーレントメモリによって、CPUとGPU間のデータ移動が削減されることです。このデータ移動は、多くの場合、計算自体よりも多くの電力を消費します。これにより、レイテンシが低減され、パフォーマンスと電力効率が向上します。

AMDは、400億パラメータのFalcon-40Bモデルを単一のMI300X GPUで実行するデモを実施しましたが、パフォーマンス指標は提供されませんでした。その代わりに、LLMはAMDのイベント開催地であるサンフランシスコについて詩を書きました。AMDによると、これほど大規模なモデルが単一のGPUで実行されたのは今回が初めてとのことです。 

画像

1

の

2

AMDはまた、8基のMI300X GPUと合計1.5TBのHBM3メモリを搭載した単一のサーバーマザーボードに統合されたAMD Instinctプラットフォームを発表しました。このプラットフォームは、NVIDIA独自のMGXプラットフォームとは異なり、OCPに準拠しています。AMDは、このオープンソース設計により、導入が迅速化されるとしています。 

CPU+GPUモデルのMI300Aは現在サンプル出荷中です。MI300Xと8GPU搭載のInstinctプラットフォームは第3四半期にサンプル出荷、第4四半期に発売予定です。詳細については現在調査中です。今後の発表にご期待ください。