1.2兆個のトランジスタと40万個のAIコアを搭載した世界最大の単一プロセッサを製造するCerebras Systemsは本日、長らくスーパーコンピューティング分野のリーダーである米国エネルギー省（DOE）と提携し、同社の新しいウエハスケールチップを超大規模AIを活用した基礎科学、応用科学、医療に使用することを発表しました。
こうして、世界最大となる42,225平方ミリメートルの巨大なプロセッサが誕生しました。このプロセッサには、TSMCの16nmプロセスで製造された1兆2000億個のトランジスタが詰め込まれています。これは、世界最大のGPU（815平方ミリメートル、211億個のトランジスタ）の56.7倍の大きさです。この巨大なチップには、なんと4万個ものAI処理コアと18GBのオンチップメモリが搭載されています。これにより、最大9PBps、つまり毎秒ペタバイトのメモリ帯域幅が実現します。先日、Hot Chipsカンファレンスでこの巨大なチップを間近で見る機会がありましたが、ご覧の通り、私たちのノートパソコンのフットプリントよりも大きいのです。
画像
1
の
27
Cerebras WSE はアルゴンヌ国立研究所とリバモア国立研究所に設置され、既存のスーパーコンピュータと組み合わせて AI 特有のワークロードを高速化するために使用されます。
DOEによるこのプロジェクトへの賛同は、Cerebrasにとって極めて重要です。これは、チップが実稼働システムで実際に使用できる状態にあることを意味するからです。また、これまで何度も見てきたように、スーパーコンピューティング分野のトレンドは、より一般的な用途にも波及することがよくあります。つまり、CerebrasのWSEは、今後開発が進めば、より一般的なサーバー実装に採用される可能性が高まっているということです。
DOE には、エクサスケール クラスの Frontier スーパーコンピューター向けの AMD の ROCM ソフトウェア スイートへの投資、Aurora スーパーコンピューター向けの Intel の OneAPI に関する DOE の取り組み、El Capitan における Cray との提携など、大量導入に必要となる重要なソフトウェア エコシステムに多額の投資を行ってきた歴史もあります。
AIモデルは5ヶ月ごとに倍増しており、サイズが爆発的に増加しています。WSEの18GBのSRAMメモリでは今のところ問題はなさそうですが、SRAMは遡及的に拡張できないため、モデルが大きくなるとすぐにチップのネイティブメモリ容量を超えてしまう可能性があります。Cerebrasによると、GPUがペア（SLIなど）で使用された場合、ユニット間でメモリを単純にミラーリングする（データ並列）のとは異なり、WSEはモデル並列モードで動作するため、ペアで展開するとメモリ容量を2倍にすることができ、線形にスケーリングできるため、複数のチップを連携させて使用することで、より大きなワークロードに対処できるとのことです。同社はまた、AIワークロードに使用されるウエハサイズのチップが追加されるたびに、スケーリングは継続するとも述べています。
Tom's Hardware の最高のニュースと詳細なレビューをあなたの受信箱に直接お届けします。
画像
1
の
39
本日の発表はパートナーシップの基本事項のみをカバーしているとのことですが、共同開発に関する詳細は 11 月に開催されるスーパーコンピュータ トレードショーで発表される予定です。
ポール・アルコーンはTom's Hardware USの編集長です。CPU、ストレージ、エンタープライズハードウェアに関するニュースやレビューも執筆しています。
