昨日、Armプロセッサが初めて電源投入されてから36周年を迎えました。本日、Armは、将来のデータセンター向けプロセッサ設計を支えるNeoverse V1およびN2プラットフォームの詳細を発表しました。これらのプラットフォームは、最大192コア、350W TDPという驚異的な性能を誇ります。
当然のことながら、NVIDIAによる400億ドル規模のArm買収が迫っていることを考えると、この件はより興味深いものとなる。しかし、今回のブリーフィングではNVIDIAはそれ以上の詳細は明らかにしなかった。その代わりに、NVIDIAのCEOであるジェンスン・フアン氏が同社を魅力的な買収対象にしている理由について語る技術ロードマップについて、詳細に説明された。
Armは、より重点的に機能強化された新しいNeoverseプラットフォームが、パフォーマンスと効率性を飛躍的に向上させると主張しています。Neoverse V1プラットフォームは、スケーラブル・ベクトル拡張（SVE）をサポートする初のArmコアであり、HPCおよびMLワークロードのパフォーマンスを最大50%向上させます。さらに、SVE2やメモリタギングといった新たに発表されたArm v9拡張機能をサポートする初のIPであるNeoverse N2プラットフォームは、多様なワークロードにおいて最大40%のパフォーマンス向上を実現するとArmは述べています。
さらに、同社はNeoverse Coherent Mesh Network（CMN-700）の詳細を発表しました。CMN-700は、CCIX、CXL、PCIeといった業界標準プロトコルを組み合わせ、DDR、HBM、各種アクセラレータ技術といったプラットフォームの各種機能とインテリジェントな高帯域幅・低レイテンシ・インターフェースを備えた最新のV1およびN2設計を統合します。この新しいメッシュ設計は、シングルダイ設計とマルチチップ設計の両方をベースとした次世代Armプロセッサのバックボーンとして機能します。
Armの性能予測が実現すれば、Neoverse V1およびN2プラットフォームは、データセンターからエッジに至るまでの複数のアプリケーションへの導入を大幅に加速させ、x86業界の雄であるIntelとAMDへのプレッシャーをさらに強める可能性があります。特に、シングルダイ設計とマルチダイ設計の両方でフル機能の接続オプションが利用可能であることを考えると、その効果はさらに大きくなります。まずはArm Neoverseのロードマップと目標について説明し、次に新しいチップIPの詳細を見ていきましょう。
Arm Neoverse プラットフォームのロードマップ
画像
1
の
15
Arm のロードマップは昨年公開されたものから変更はありませんが、今後数年間に見られるであろう着実な改善のペースを示すのに役立ちます。
Arm のサーバーに対する野望は、2015 年に A-72 で実現しました。これは、標準的な競合サーバー アーキテクチャ上の従来のスレッドのパフォーマンスとワットあたりのパフォーマンスに相当します。
Arm社によると、AWS Graviton 2チップとAmpere社のAltraに搭載されている現世代のNeoverse N1コアは、「従来の」（つまりx86）SMTスレッドと同等かそれ以上の性能を発揮するとのこと。さらにArm社によると、N1のエネルギー効率を考慮すると、1つのN1コアで3つのx86スレッドを同等の電力消費量で置き換えることができ、価格性能比が全体で40%向上するという。Arm社はこの設計の成功の大きな要因として、コア数の増加に応じて線形にパフォーマンスをスケーリングできるCoherent Mesh Network 600（CMN-600）を挙げている。
Armは、本日ご紹介する新しいNeoverse V1およびN2プラットフォーム向けに、コアアーキテクチャとメッシュの両方を刷新しました。これにより、最大192コア、350WのTDPをサポートできるようになりました。Armによると、N2コアは競合チップのSMTスレッドに対して圧倒的な優位性を発揮し、ワット当たりの性能においても優れた性能を発揮します。
さらに同社は、Neoverse V1コアは競合コアと同等の性能を提供すると発表しており、SMT搭載コアで2スレッド動作において同等の性能を実現したのは同社が初めてとなる。両チップは、シングルダイまたはマルチチップソリューションを可能にするArmの最新CMN-700メッシュを採用しており、特にアクセラレータと併用する場合、顧客に幅広い選択肢を提供する。
予想通り、ArmのNeoverse N2とV1は、ハイパースケール、クラウド、HPC、5G、そしてインフラエッジ市場をターゲットとしています。顧客には、Tencent、Oracle Cloud（Ampere搭載）、Alibaba、AWS（Graviton 2搭載、全77リージョン中70リージョンで利用可能）などが挙げられます。Armはまた、Neoverse V1チップを搭載したエクサスケール級スーパーコンピュータ2台、SiPearl「Rhea」とETRI K-AB21の導入も計画しています。
全体として、ARM は、Neoverse N2 および V1 プラットフォームが、競合する x86 サーバー設計よりもクラス最高のコンピューティング、ワットあたりのパフォーマンス、およびスケーラビリティを提供すると主張しています。
Tom's Hardware の最高のニュースと詳細なレビューをあなたの受信箱に直接お届けします。
Arm Neoverse V1 プラットフォーム「Zeus」
画像
1
の
3
Armの既存のNeoverse N1プラットフォームは、クラウドからエッジまで拡張可能で、ハイエンドサーバーから電力制約のあるエッジデバイスまで、あらゆるものを網羅しています。次世代のNeoverse N2プラットフォームは、多様な用途においてそのスケーラビリティを維持します。一方、ArmはNeoverse V1「Zeus」プラットフォームを、HPCおよび機械学習（ML）アプリケーションへのさらなる浸透を目指し、新たなパフォーマンス層を導入することを目的として設計しました。
V1プラットフォームは、SIMD命令の一種であるスケーラブル・ベクトル拡張（SVE）をサポートする、より幅広く深いアーキテクチャを採用しています。V1のSVE実装は、256ビットのベクトル幅（2x256ビット）で2レーンにまたがって実行されます。また、このチップはbFloat16データ型もサポートしており、SIMD並列処理を強化しています。
Armは、同じ（ISO）プロセスを採用することで、前世代のN1と比較してIPCが最大1.5倍向上し、電力効率は70%から100%向上すると主張しています（ワークロードによって異なります）。L1およびL2キャッシュサイズが同じ場合、V1コアはN1コアよりも70%大きくなります。
V シリーズは、電力と面積の両方を犠牲にして最大のパフォーマンスが得られるように最適化されており、一方、N2 プラットフォームはワットあたりの電力と面積あたりのパフォーマンスが最適化された設計として登場するため、コアが大きくなったのは理にかなっています。
コアあたりのパフォーマンスは V1 の主な目的です。これにより、スレッドにバインドされたワークロードを待機することになる GPU とアクセラレータのパフォーマンスの低下を最小限に抑えられるほか、ソフトウェア ライセンス コストも最小限に抑えられます。
Armはまた、パフォーマンスのスケーラビリティに影響を与える優れたメモリ帯域幅を提供するよう設計を調整しました。また、PCIe 5.0やCXLといった次世代インターフェースはI/Oの柔軟性を提供します（メッシュセクションで詳しく説明します）。同社はまた、パフォーマンス効率（電力とパフォーマンスのバランス）にも重点を置いています。
最後に、Armは技術主権を重要な焦点として挙げています。これは、Armの顧客が独自のサプライチェーンを所有し、SoC全体を国内で製造できることを意味します。これは、世界的な貿易摩擦の激化の中で、主要アプリケーション（特に防衛分野）にとってますます重要になっています。
画像
1
の
2
Neoverse V1はArm史上最高性能のコアであり、その多くは「よりワイド」な設計理念によるものです。フロントエンドには8ワイドのフェッチ、5～8ワイドのデコード/リネームユニット、そしてパイプラインのバックエンド（実行ユニット）への15ワイドの発行ユニットが搭載されています。
右側の図からわかるように、このチップはHBM、DDR5、そしてカスタムアクセラレータをサポートしています。また、マルチダイおよびマルチソケット設計へのスケールアウトも可能です。柔軟なI/Oオプションには、PCIe 5インターフェース、CCIXおよびCXLインターコネクトが含まれます。Armのメッシュインターコネクト設計については、この記事の後半で詳しく説明します。
さらに、Arm は、N1 プラットフォームと比較して、SVE により浮動小数点パフォーマンスが 2 倍、ベクトル化されたワークロードが 1.8 倍、機械学習が 4 倍向上すると主張しています。
画像
1
の
7
V1の最大の変更点の一つは、7nmプロセスと5nmプロセスのどちらでも選択できるようになったことです。前世代のN1プラットフォームは7nmプロセスのみに限られていました。Armはまた、フロントエンド、コア、バックエンドにわたるマイクロアーキテクチャの大幅な改良を行い、前世代のArmチップと比較して大幅な高速化を実現し、SVEのサポートを追加し、スケーラビリティの向上を促進するための調整を行いました。
アーキテクチャにおける最大の変更点を箇条書きでまとめました。詳細は上記のスライドをご覧ください。
- フロントエンド：
- 分岐予測ミス（BTBミス）が90%削減され、フロントエンドのストールが50%削減されました。
- V1分岐予測器は命令フェッチから分離されているため、プリフェッチャーは先に実行して命令を命令キャッシュにプリフェッチすることができます。
- 分岐予測帯域幅の拡大により、より高速なランアヘッド（1サイクルあたり2x32b）が可能になりました。
- デュアルレベルBTB（分岐ターゲットバッファ）の容量増加により、より大きな命令フットプリントでより多くの分岐を捕捉し、分岐実行レイテンシを低下させ、分岐精度を向上させて予測ミスを削減
- 予測が難しい分岐をパイプラインの早い段階でフェッチ時にリダイレクトする機能が強化され、分岐回復が高速化され、パフォーマンスと電力の両方が向上します。
- ミッドコア:
- 整数パフォーマンスの純増25%
- マイクロオペレーション（MOP）キャッシュ：L0デコード命令キャッシュは、マイクロアーキテクチャ内の小さなカーネルのパフォーマンスを最適化し、N1に比べてフェッチとディスパッチの帯域幅が2倍に増加し、1つのステージを削除することでデコードパイプラインのレイテンシが低くなります。
- 命令融合機能を追加し、最も一般的に使用される命令ペアのパフォーマンスと電力効率を向上
- OoO（Out of Order）ウィンドウを2倍に拡張し、並列性を向上させました。また、第2の分岐実行ユニットと第4のALUにより、整数実行帯域幅も向上しました。
- SIMDおよびFPユニット：新しいSVE実装（1サイクルあたり2x256b演算）を追加しました。N1の2x128bパイプラインからV1の4x128bパイプラインへと、生の実行能力が倍増しました。スライド10：MLパフォーマンスが4倍向上
- バックエンド:
- ロード/ストア アドレス帯域幅を 50% 増加し、3 番目のロード データ アドレス生成ユニットを追加することで、ストリーミング帯域幅が 45% 増加します (AGU - 50% 増加)
- SIMDおよび整数浮動小数点演算の実行を改善するため、3つ目のロードデータパイプラインを追加し、整数およびベクトルのロード帯域幅を改善しました。ストア帯域幅を2倍にし、スケジューリングを2つのパイプに分割しました。
- ロード/ストアバッファウィンドウのサイズが拡大。MMU容量の増加により、より多くのキャッシュ変換が可能になりました。
- L2キャッシュのレイテンシを削減してシングルスレッドのパフォーマンスを向上させる（スライド12）
この図は、全体的なパイプラインの深さ (左から右) と帯域幅 (上から下) を示しており、設計の優れた並列性を強調しています。
画像
1
の
6
Armはまた、Dynamic Voltage Frequency Scaling（DVFS）の一般的な機能を超える、新たな電力管理および低レイテンシツールも導入しました。これには、高コア数プロセッサを可能な限り高い周波数で動作させることを可能にする調整可能な電力管理システムを提供するMax Power Mitigation Mechanism（MPMM）と、ベクトル化された作業など、IPCの高い特定のワークロード（IntelがAVXワークロード中に周波数を下げるのとよく似ています）中の電力を削減するDispatch Throttling（DT）が含まれます。
結局のところ、重要なのは電力、性能、面積（PPA）であり、Armはここでいくつかの予測を発表しました。Armは、同じ（ISO）プロセスで、前世代のN1と比較してIPCが最大1.5倍向上し、電力効率は70%から100%向上すると主張しています（ワークロードによって異なります）。L1およびL2キャッシュサイズが同じ場合、V1コアはN1コアよりも70%大きくなります。
Neoverse V1 は Armv8.4 をサポートしていますが、このチップは上記のように将来の v8.5 および v8.6 リビジョンからいくつかの機能も借用しています。
Arm は、上記のスライドでわかるように、特に共有リソースのパーティション分割と競合の軽減に関連する、システムのスケーラビリティを管理するための機能もいくつか追加しました。
画像
1
の
8
Armのスケーラブル・ベクター・エクステンション（SVE）は、この新しいアーキテクチャの大きな魅力です。まず、ArmはSVEによって演算帯域幅を2x256bに倍増させ、Neonの4x128bへの後方サポートも提供しています。
しかし、ここで重要なのは、SVEがベクトル長に依存しないということです。ほとんどのベクトルISAはベクトルユニットのビット数が固定ですが、SVEではハードウェアがベクトル長をビット単位で設定できます。一方、ソフトウェアではベクトル長は設定されません。これによりプログラミングが簡素化され、異なるビット幅をサポートするアーキテクチャ間でのバイナリコードの移植性が向上します。命令は必要に応じて自動的にスケーリングされ、利用可能なベクトル帯域幅（例えば128ビットまたは256ビット）を最大限に活用します。
ArmはSVE命令の細粒度命令に関する情報をいくつか公開しましたが、その多くはこの記事の範囲外です。Armはまた、SVEのV1およびN2ベンチマークのシミュレーション結果もいくつか公開しましたが、これらはベンダー提供のシミュレーションに過ぎないことにご留意ください。
ARM Neoverse N2 プラットフォーム「ペルセウス」
こちらはN2 Perseusプラットフォームのスライド資料です。スケールアウト実装を主要目標としています。そのため、同社は電力（ワット）あたりの性能と面積あたりの性能、そして適切なコア数とスケーラビリティを重視した設計を最適化しました。前世代のN1プラットフォームと同様に、この設計はクラウドからエッジまで拡張可能です。
Neoverse N2はV1チップよりも新しいコアを搭載していますが、Armはまだ詳細を明らかにしていません。しかし、N2がArmv9とSVE2（上記で説明したSVE命令の第2世代）をサポートする最初のArmプラットフォームであることは分かっています。
Armは、N1と比較してシングルスレッド性能が40%向上していると主張していますが、消費電力と面積効率は同等です。N2に関する詳細は、上記でV1について説明した内容とほぼ同じですが、より詳しい情報については上記のスライドをご覧ください。
画像
1
の
20
上記のベンチマークはArmが提供したものですが、他のベンダー提供のベンチマークと同様に、鵜呑みにしないようご注意ください。また、テスト構成についてさらに詳しくご確認いただけるよう、アルバムの最後にテストノートを掲載しました。
ArmのSPEC CPU 2017シングルコアテストは、N1からN2への着実な進歩を示し、V1プラットフォームではパフォーマンスがさらに飛躍的に向上しました。同社はまた、Intel Xeon 8268、詳細不明の40コアIce Lake Xeonシステム、EPYC Rome 7742、EPYC Milan 7763との比較結果も公開しました。
コヒーレントメッシュネットワーク（CMN-700）
画像
1
の
5
Armはパートナー企業に対し、コア数やキャッシュサイズの調整、DDR5やHBMといった異なる種類のメモリの使用、PCIe 5.0、CXL、CCIXといった様々なインターフェースの選択を許可しており、非常に柔軟な基盤設計手法が求められます。Neoverseはクラウドやエッジから5Gまでをカバーするため、相互接続は様々な電力消費とコンピューティング要件を網羅する必要があります。そこで登場するのが、Coherent Mesh Network 700（CMN-700）です。
Arm は、コンプライアンスと標準、Arm オープンソース ソフトウェア、ARM IP とアーキテクチャを通じてセキュリティに重点を置いています。これらはすべて、Neoverse プラットフォーム アーキテクチャの基盤となる SystemReady の傘下にまとめられています。
Armは、自社の社内開発に基づいたリファレンスデザインをお客様に提供しています。これらのデザインは、エミュレーションベンチマークとワークロード分析によって事前に認定されています。また、ソフトウェア開発用の仮想モデルも提供しています。
お客様はリファレンスデザインに基づき、コアタイプ（Vシリーズ、Nシリーズ、Eシリーズなど）を選択し、コア数、コア周波数ターゲット、キャッシュ階層、メモリ（DDR5、HBM、フラッシュ、ストレージクラスメモリなど）、I/O容量などを調整できます。また、アクセラレータ間で共有可能なシステムレベルキャッシュに関するパラメータも設定可能です。
マルチチップ統合もサポートされています。これはコヒーレントメッシュネットワークに接続し、PCIe、CXL、CCIXなどのインターフェースを介してI/O接続オプションとマルチチップ通信機能を提供します。
V シリーズ CPU は、アクセラレータに十分な帯域幅を提供し、分散設計をサポートし、また、減速しつつあるムーアの法則を緩和するマルチチップ アーキテクチャを提供することで、異種ワークロードの増加に対応します。
こうしたタイプの設計は、SoC あたりの電力予算 (および熱) が増加しているという事実に対処するのに役立ち、また、単一の SoC のレチクル制限を超えたスケーリングも可能にします。
さらに、I/Oインターフェースはより小さなノードへのスケーリングがうまくいかないため、多くのチップメーカー（AMDなど）はPHYを古いノードに残しています。そのため、チップ間接続の堅牢性は不可欠です。
ここでは、N1チップに搭載されている現行のCMN-600インターフェースとの世代間比較を確認できます。CMN-700メッシュインターフェースは、ダイあたりのコア数とシステムレベルキャッシュが4倍、ノード（クロスポイント）が2.2倍、メモリデバイスポート（DRAM、HBMなど）が2.5倍、CCIXデバイスポートが8倍（最大32）をサポートしており、これらにより優れたスケーラビリティを実現します。
画像
1
の
4
Armはクロスセクション帯域幅を3倍に向上させました。これは、コア数のスケーラビリティ、帯域幅を大量に消費するGPUによるスケールアウト、DDR5やHBMなどの高速メモリ（DDRまたはHBMのいずれか、あるいは両方に対応する40個のメモリコントローラを搭載）に十分な帯域幅を提供するために重要です。Armは、帯域幅を拡大するためのダブルメッシュチャネルオプションも提供しています。さらに、ホットスポット再ルーティング機能により、ファブリック上の競合領域を回避できます。
AMBAコヒーレント・ハブ・インターフェース（CHI）は、プロセッサとメモリコントローラを接続するSoCの高性能インターコネクトとして機能します。ArmはCHI設計を改良し、輻輳の検出と制御、トランザクション削減のための演算統合、データレス書き込みといったインテリジェントなヒューリスティックスを追加しました。これらはすべて、メッシュ上のトラフィック削減に役立ちます。これらのアプローチは、マルチチップのスケーリングにも役立ちます。
メモリパーティショニングとモニタリング（MPAM）は、システムレベルキャッシュへのノイジーネイバーの影響を軽減し、VMを分離することでシステムレベルキャッシュ（SLC）の占有を防ぎます。Armはこのソフトウェア制御システムをメモリコントローラにも拡張しています。これらすべてが共有リソースの管理と競合の軽減に役立ちます。CPU、アクセラレータ、PCIeインターフェースはすべて連携して動作する必要があるため、これらのユニット間にも同じトラフィック管理技術が設計に適用されています。
画像
1
の
4
メッシュはCXLまたはCCIXインターフェースを介してマルチチップ設計をサポートしており、ここではいくつかのユースケースを紹介します。CCIXは通常、ボックス内またはチップ間で使用され、異種パッケージ、チップレット、マルチソケットなど、様々な用途に使用されます。一方、CXLはメモリ拡張や複数ホストで共有されるメモリプールに使用されます。また、GPU、NPU、SmartNICなどのコヒーレントアクセラレータにも使用されます。
スライド14は、現在の接続トポロジの例を示しています。PCIeはDPU（データプレーンユニット - SmartNic）に接続し、DPUはコンピューティングアクセラレータノードへの相互接続を提供します。これにより、複数のワーカーノードが共有リソースに接続できるようになります。
スライド15は、このアプローチの次の論理的拡張、つまりワーカーノード間で共有される分散メモリプールの追加を示しています。残念ながら、スライド16に示すように、これは多くのボトルネックを生み出し、ホームノードとシステムレベルキャッシュを複数のダイにまたがって配置するなど、他の問題も引き起こします。しかし、Armはこれに対する解決策を持っています。
画像
1
の
4
これらのボトルネックに対処するには、ワーカーノード間でリソースを共有する現在のアプローチを見直す必要があります。Armは、レイテンシを低減する新しいAMBA CXS接続を備えたマルチプロトコルゲートウェイを設計しました。この接続は、CCIX 2.0およびCXL 2.0プロトコルを従来の相互接続よりもはるかに高速に転送できます。また、このシステムは、究極の低レイテンシ接続に最適化されたFlitデータリンク層を使用するオプションも提供します。
この新しい設計は、ソケット間またはマルチダイ・コンピューティングSoCのいずれにも対応可能です。スライド17の左側に示すように、このマルチプロトコル・ゲートウェイはPCIe PHYの有無にかかわらず使用できます。PCIe PHYを削除すると、ダイ間ゲートウェイが最適化され、重要なダイ間接続のレイテンシを低減できます。
Armは、マルチチップ設計に対応するために、新たなスーパーホームノードコンセプトを考案しました。この実装により、同種設計（ダイ間の直接接続）か、I/Oハブに接続された異種設計（コンピューティングチップレットとアクセラレータチップレット）かに応じて、システム構成を柔軟に変更できます。後者の設計は、I/Oが小規模ノードでは拡張性が低いため、より魅力的なものになりつつあります。そのため、古いノードを使用することで、投資を大幅に節約し、設計の複雑さを軽減することができます。
考え
ARMは、既存プラットフォームの次の3つのイテレーション（V1、N2、Poseidon）において、世代間IPC成長率を30%以上とする計画を掲げており、これは将来も継続される可能性があります。近年、Intelがこれほどの世代間IPC成長率を達成した例はありません。AMDは最初の2つのZenイテレーションで大きな成長を記録しましたが、EPYC Milanチップで見られるように、将来的にはこれほど大きな世代間成長を実現できない可能性があります。
ARM の予測が現実世界で実現すれば、同社は x86 との競合路線を進むだけでなく (いくつかの側面ではすでに競合しているとも言える)、パフォーマンス面での優位性も追求することになる。
驚くほど綿密に考え抜かれたコヒーレントメッシュ設計を採用することで、これらの設計は、特に主要なワークロードを様々な種類のコンピューティングアクセラレータにオフロードする傾向が進む中で、さらに強力なものとなっています。さらに、チップレット、マルチダイ、ハブアンドスポークといった複雑な設計をすべて、認定済みのリファレンスデザインという単一の傘下にまとめることで、少なくともクラウド事業者にとっては、Armアーキテクチャへの移行を加速させるのに役立つ可能性があります。これらの複雑なインターフェースを民主化するライセンス可能な相互接続の魅力は、Armにとって間違いなく新たな強みです。
Armがプレゼンテーションで公開した情報の中で、最も驚くべきものの一つは、おそらく最も些細な情報の一つだったでしょう。あるサードパーティ企業の測定によると、AWSに新規導入されたインスタンスの半数以上がGraviton 2プロセッサで動作していることがわかりました。さらに、Graviton 2搭載インスタンスは現在、77のAWSリージョンのうち70リージョンで利用可能です。これらのインスタンスは、近いうちに新しいN2またはV1アーキテクチャを搭載するようになると考えるのは当然でしょう。
こうした普及と、AWSが自社製プロセッサの使用によって享受するスケールメリットやその他のコスト削減効果は、他のクラウド大手企業にも同様の独自設計で対応を迫るでしょう。ひょっとすると、今後何年にもわたってデータセンターのあり方を根本から変えるような、優位性をめぐる激しい競争の火種となるかもしれません。ハイパースケーラーとクラウド大手企業がカスタムチップでしのぎを削る世界において、Armほど競争力のあるベンダーは他にありません。
ポール・アルコーンはTom's Hardware USの編集長です。CPU、ストレージ、エンタープライズハードウェアに関するニュースやレビューも執筆しています。
