イーロン・マスクは、xAIが今後5年間で5000万台の「H100相当」のAI GPUを目標としていると述べた。そのうち23万台のGPUには、Grokのトレーニング用に既に稼働している3万台のGB200も含まれている。

大手AI企業は、自社が現在使用している、あるいは将来的に使用する予定のGPUの数を誇示してきました。つい昨日、OpenAIは200万基のGPUを動かすインフラを構築する計画を発表しましたが、イーロン・マスク氏はさらに壮大な計画を明らかにしました。今後5年間でAI用に5000万基相当のH100 GPUを導入するというものです。H100相当の数は膨大に見えますが、実際に導入されるGPUの数はそれほど多くないかもしれません。消費電力はそれとは対照的です。

AIトレーニングに50エクサフロップス

1 つの Nvidia H100 GPU は、AI トレーニング用に約 1,000 FP16/BF16 TFLOPS を提供できます (これらは現在 AI トレーニングで最も人気のある形式です)。そのため、2030 年までに 5,000 万個のこのような AI アクセラレータが AI トレーニング用に 50 FP16/BF16 ExaFLOPS を提供する必要があります。現在のパフォーマンス向上の傾向に基づくと、これは今後 5 年間で十分に達成可能です。

Feynman Ultra GPUはわずか65万台

Nvidia (およびその他) が、Hopper 世代や Blackwell 世代よりもわずかに遅いペースで GPU の BF16/FP16 トレーニング パフォーマンスを拡張し続けると仮定すると、推測に基づくと、2028 年には 130 万個の GPU を使用して 50 BF16/FP16 ExaFLOPS が達成可能となり、2029 年には 65 万個の GPU を使用して達成可能となります。

xAI が Nvidia ハードウェアに費やす十分な資金を持っている場合、AI トレーニングで 50 ExaFLOPS に到達するという目標がさらに早く達成される可能性もあります。

イーロン・マスク氏のxAIは、AIトレーニング能力の強化に最新のGPUアクセラレータを最も迅速に導入している企業の一つです。同社は既に、Hopperアーキテクチャに基づくH100およびH200アクセラレータ20万台と、Blackwellアーキテクチャに基づくGB200ユニット3万台を搭載したColossus 1スーパークラスターを運用しています。さらに、同社は55万台のGB200およびGB300ノード（各ノードに2基のGPUが搭載されるため、クラスター全体で100万基以上のGPUを搭載）で構成されるColossus 2クラスターの構築を目指しており、マスク氏によると、最初のノードは今後数週間以内にオンラインになる予定です。

着実なパフォーマンスの向上

Nvidia (および他の企業) は最近、新しい AI アクセラレータのリリースを年 1 回に切り替えました。Nvidia のスケジュールは、今では当時の Intel の Tick-Tock モデルに似ていますが、この場合、既知のアーキテクチャの新しいプロセス テクノロジに切り替えるのではなく、単一の製造ノード (例: Blackwell -> Blackwell Ultra、Rubin -> Rubin Ultra) を使用したアーキテクチャ -> 最適化のアプローチについて説明しています。

このようなアプローチは、毎年大幅なパフォーマンス向上を保証し、ひいては長期的なパフォーマンスの劇的な向上につながります。例えば、Nvidiaは、Blackwell B200が2016年のPascal P100と比較して20,000倍の推論性能を実現し、約20,000 FP4 TFLOPSであると主張しています。これはP100の19 FP16 TFLOPSに対しての数値です。直接的な比較ではありませんが、この指標は推論タスクに関連します。また、生成トークンあたりのジュールで測定した場合、BlackwellはPascalの42,500倍のエネルギー効率を誇ります。