メモリスタートアップ企業の d-Matrix は、自社の 3D スタックメモリが HBM より最大 10 倍高速で、最大 10 倍の速度で動作すると主張している。d-Matrix の 3D デジタル インメモリ コンピューティング (3DIMC) テクノロジは、AI 推論専用に設計されたメモリタイプ向けの同社のソリューションである。
高帯域幅メモリ（HBM）は、AIと高性能コンピューティングに不可欠な要素となっています。HBMメモリは、メモリモジュールを積み重ねることで、メモリダイをより効率的に接続し、より高いメモリ性能を実現します。しかし、その人気と利用は拡大し続けていますが、HBMはすべての計算タスクに最適なソリューションではない可能性があります。AIの学習において重要な役割を果たすHBMですが、AIの推論においては、HBMに勝るものはありません。
この目標達成のため、d-Matrixはd-Matrix Pavehawk 3DIMCシリコンをラボで稼働させました。デジタルインメモリコンピューティングハードウェアは現在、LPDDR5メモリダイの上にDIMCチップレットをインターポーザーで接続した構造になっています。この構成により、DIMCハードウェアはメモリ内部で演算処理を実行できます。DIMCロジックダイは、トランスフォーマーベースのAIモデルで一般的に使用される行列ベクトル乗算向けに調整されています。
「AI推論の未来は、コンピューティングだけでなくメモリそのものの見直しにかかっていると考えています」と、d-Matrixの創業者兼CEOであるシド・シェス氏は、最近のLinkedInの投稿で述べています。「AI推論のボトルネックは、演算処理能力だけでなくメモリにあります。モデルは急速に成長しており、従来のHBMメモリシステムはコストが高く、消費電力が大きく、帯域幅も限られています。3DIMCは状況を一変させます。メモリを3次元的に積み重ね、コンピューティングと緊密に統合することで、レイテンシを大幅に削減し、帯域幅を向上させ、新たな効率性の向上を実現します。」
Pavehawkは現在d-Matrixのラボで稼働しており、同社はすでに次世代のRaptorの開発に着手しています。同社のブログ投稿とSheth氏のLinkedInでの発表によると、この次世代Raptorもチップレットモデルを採用しており、推論タスクにおいてHBMの10倍の性能を発揮しながら、消費電力は90%削減されるとのこと。
d-Matrix DIMC プロジェクトは、最近のスタートアップ企業や技術理論家の間で見られるパターンに沿っています。つまり、AI のトレーニングや推論などの特定の計算タスクには、そのタスクを効率的に処理するように特別に設計されたハードウェアが必要であるという考え方です。d-Matrix は、現在一部のハイパースケーラーの AI ワークロードの 50% を占める AI 推論は、トレーニングとは大きく異なるタスクであるため、専用のメモリ タイプを構築する必要があると考えています。
HBMの代替品は、経済的な観点からも魅力的です。HBMはSKハイニックス、サムスン、マイクロンなど、世界的に数社しか製造しておらず、価格も決して安くはありません。SKハイニックスは最近、HBM市場は2030年まで毎年30%成長し、需要に応じて価格も上昇すると予測しました。この巨大メモリの代替品は、倹約家であるAI購入者にとって魅力的かもしれません。しかし、特定のワークフローや計算専用に作られたメモリは、バブルを恐れる潜在顧客には少々近視眼的に見えるかもしれません。
Tom's HardwareをGoogleニュースでフォローするか、お気に入りの情報源として追加して、最新のニュース、分析、レビューをフィードで受信しましょう。「フォロー」ボタンを忘れずにクリックしてください！
Tom's Hardware の最高のニュースと詳細なレビューをあなたの受信箱に直接お届けします。
サニー・グリムはTom's Hardwareの寄稿ライターです。2017年からコンピューターの組み立てと分解に携わり、Tom'sの常駐若手ライターとして活躍しています。APUからRGBまで、サニーは最新のテクノロジーニュースを網羅しています。
