ニューラルネットワークフレームワーク「tinygrad」を開発するスタートアップ企業Tiny Corp.は、ペタフロップス級のAI性能を民主化することを目指しています。その目標達成に向けて、同社はAMDのRadeon RX 7900 XTXグラフィックスカード6枚を12Uラックケースに収めたTinyBoxシステムを発表しました。価格は15,000ドルで、必要なソフトウェアとハードウェアがすべて含まれています。
TinyBoxシステムは、最高クラスのグラフィックカードの一つであるAMD Radeon RX 7900 XTXボードを6枚搭載し、「フルファブリック」PCIe 4.0 x16リンクで接続することで、最大限の帯域幅を確保しています。これらのコンシューマーグレードGPUは、大規模言語モデルに必要なピアツーピア相互接続を完全にサポートしているようです（NvidiaのGeForce RTX 4090とは異なります）。そのため、同社はNvidiaのより一般的なGPUではなく、これらのGPUを採用しました。
パフォーマンスの観点から見ると、TinyBoxは最大738 FP16 TFLOPS（0.738 FP16 TFLOPS）の性能と、21 TB/sのメモリ帯域幅を実現する96GBのGDDR6メモリを搭載しています。これらの数値を具体的に見ると、TinyBox 1台あたりNvidia H100の演算性能（FP16）の37%に相当しますが、メモリ容量はわずかに多く（80GBではなく96GB）、ピーク時のメモリ帯域幅は大幅に高く（3.35TB/sではなく21TB/s）、メモリ帯域幅は最大で21TB/sとなっています。
Tiny社によると、TinyBoxマシンの原価は約1万ドルだが、販売価格は1万5000ドルと、NVIDIAのH100よりも大幅に安い。その結果、同社は583台の予約注文を受けており、4月に出荷を開始する予定だ。同社によると、すでに100台の生産が開始しているという。
ソフトウェア面では、TinyBoxはUbuntu 22.04に同梱されており、当初はtinygradフレームワークのみが含まれています。ただし、AMDハードウェア上のPyTorchやJAXなどの他の機械学習フレームワークとも互換性があるため、ユーザーは好みのツールを柔軟に選択できます。
TinyはAIワークロードにおけるペタフロップス級の性能を民主化することを目指しており、TinyBoxは単なる製品ではなく、それが実現可能であることを証明するものです。標準化されたハードウェアを提供することで、開発者がソフトウェアおよびアルゴリズム開発の新たな領域を開拓し、最終的にはこの分野におけるブレークスルーにつながることを目指しています。AMD、Intel、Nvidiaがデータセンターグレードのハードウェアをベースとした新しい高性能コンピューティングアーキテクチャを導入する中、コンシューマーグレードのハードウェアをベースとしたTinyBoxが今後普及していくかどうかは注目に値します。
Tom's Hardware の最高のニュースと詳細なレビューをあなたの受信箱に直接お届けします。
アントン・シロフはTom's Hardwareの寄稿ライターです。過去数十年にわたり、CPUやGPUからスーパーコンピュータ、最新のプロセス技術や最新の製造ツールからハイテク業界のトレンドまで、あらゆる分野をカバーしてきました。
