サンディスクの新しい高帯域幅フラッシュメモリは、GPUで4TBのVRAMを実現し、より高い容量でHBM帯域幅に匹敵します。

サンディスクは水曜日、3D NANDの容量と高帯域幅メモリ（HBM）が実現する極めて高い帯域幅を組み合わせた、興味深い新メモリを発表しました。サンディスクの高帯域幅フラッシュ（HBF）メモリは、複数の大容量3D NANDアレイに並列にアクセスできるため、十分な帯域幅と容量を提供します。同社はHBFを、高帯域幅と高容量に加え、低消費電力も求められるAI推論アプリケーション向けのソリューションと位置付けています。第1世代のHBFは、GPUで最大4TBのVRAM容量を実現でき、将来のバージョンではさらに大容量化が期待されます。サンディスクは、この技術が携帯電話などの様々なデバイスにも搭載されると見込んでいます。発売日はまだ発表されていません。

「AI推論ワークロード向けにHBMメモリを拡張する技術として、これをHBFテクノロジーと呼んでいます」と、サンディスクのメモリ技術責任者であるアルパー・イルクバハール氏は述べています。「HBMメモリと同等の帯域幅を実現しながら、同等のコストで8～16倍の容量を実現していきます。」

概念的には、HBFはHBMに似ています。大容量・高性能のフラッシュコアダイを複数個、シリコン貫通ビア（TSV）で相互接続し、ロジックダイの上に積層することで、フラッシュアレイ（あるいはフラッシュサブアレイ）に並列アクセスを実現します。HBFの基盤となるアーキテクチャは、ロジックプロセス技術を用いて製造されたI/Oダイの上に3D NANDメモリアレイを接合するCMOS直接接合アレイ（CBA）設計を採用したサンディスクのBICS 3D NANDです。このロジックがHBF実現の鍵となる可能性があります。

「私たちはエンジニアたちに、『このスケーリングの力で他に何ができるだろうか』と問いかけました」とアルパー・イルクバハール氏は語る。「彼らが出した答えは、この巨大なアレイを多数のアレイに分割し、それぞれのアレイに並列にアクセスするアーキテクチャへの移行でした。そうすることで、膨大な帯域幅が得られます。では、これを使って何を構築できるでしょうか？高帯域幅のフラッシュメモリを構築するのです。」

従来のNANDダイ設計では、コアとなるNANDフラッシュメモリアレイをプレーン、ページ、ブロックとして扱うことがよくあります。ブロックは消去可能な最小領域、ページは書き込み可能な最小領域です。HBF（High-Definition Fault：ハイ・ディファレンシャル・フロー）は、ダイを「多数のアレイ」に分割し、それらへの同時アクセスを可能にするようです。各サブアレイ（それぞれにページとブロックが存在します）には、専用の読み書きパスが備わっていると考えられます。これはマルチプレーンNANDデバイスの動作に似ていますが、HBFのコンセプトはそれらをはるかに超えているようです。

現時点でサンディスクは、第1世代HBFは16個のHBFコアダイを使用すると述べています。このようなデバイスを実現するために、サンディスクは、16個のHBFコアダイを積層できる反りを最小限に抑えた独自のスタッキング技術と、複数のHBFコアダイから同時にデータにアクセスできるロジックダイを発明したと述べています。数百または数千の同時データストリームを処理できるロジックの複雑さは、一般的なSSDコントローラよりも高くなるはずです。

残念ながら、SanDisk は HBF 製品の実際のパフォーマンス数値を公開していないため、HBF がオリジナルの HBM (約 128 GB/秒) のスタックあたりのパフォーマンス、または Nvidia の B200 の場合スタックあたり 1 TB/秒を提供する新しい HBM3E に匹敵するかどうかは疑問です。

画像

1

の

2

サンディスクが提供した例から分かるのは、8つのHBFスタックに4TBのNANDメモリが搭載され、各スタックに512GB（容量24GBの8-Hi HBM3Eスタック1つの21倍）のストレージ容量が確保できるということだけです。16-Hi 512GB HBFスタックとは、各HBFコアダイが256Gb 3D NANDデバイスであり、ダイレベルの並列処理を可能にする複雑なロジックを備えていることを意味します。16個の3D NAND ICから毎秒数百ギガバイトのデータを処理することは依然として非常に大きな課題であり、サンディスクがどのようにしてこれを実現できるのか、不思議でなりません。

HBFはビットあたりのレイテンシにおいてDRAMに匹敵することは決してないだろうと確信しています。だからこそ、サンディスクはHBF製品が大規模なAI推論データセットなど、読み取り集中型の高スループットアプリケーションを対象としていることを強調しています。多くのAI推論タスクにとって重要な要素は、HBM（または他の種類のDRAM）が提供する超低レイテンシではなく、実現可能なコストで高スループットを実現することです。そのため、HBFがすぐにHBMに取って代わることはないかもしれませんが、大容量、高帯域幅、NAND並みのコストでありながら超低レイテンシは必要としない市場で、HBFが一定の地位を占める可能性はあります。HBMからの移行を容易にするため、HBFはプロトコルの変更を除けばHBMと同じ電気的インターフェースを備えていますが、HBMとの完全な互換性はありません。

「私たちはこれを機械的にも電気的にも HBM にできるだけ近づけようとしましたが、ホストデバイスで有効化する必要がある小さなプロトコルの変更が必要になります」と Ilkbahar 氏は語ります。

SanDiskは書き込み耐久性については触れていません。NANDには寿命があり、書き込み回数には限りがあります。SLCおよびpSLC技術は、コンシューマー向けSSDで使用されているTLCおよびQLC NANDよりも高い耐久性を備えていますが、容量とコストが犠牲になります。また、NANDへの書き込みは通常ブロック単位で行われますが、メモリはキャッシュラインレベルでアドレス指定可能です（つまり、NANDブロックは通常128KB、キャッシュラインは32バイトです）。これもまた重要な課題です。

サンディスクは、HBFを3世代にわたって進化させるビジョンを持っています。しかしながら、現時点では、サンディスクのHBFはまだ開発段階にあります。サンディスクは、HBFをオープンエコシステムを備えたオープンスタンダードにすることを目指しており、業界の著名人やパートナーで構成される技術諮問委員会を結成しています。