韓国科学技術院（KAIST）の科学者チームは、先日開催された2024年国際固体回路会議（ISSCC）において、「相補型トランスフォーマー（C-Transformer）」AIチップの詳細を発表しました。この新しいC-Transformerチップは、大規模言語モデル（LLM）処理が可能な世界初の超低消費電力AIアクセラレータチップであるとされています。
プレスリリースで、研究者たちはNVIDIAの消費電力を誇張し、C-TransformerはグリーンチームのA100 Tensor Core GPUと比べて625倍も消費電力が少なく、サイズも41分の1であると主張しています。また、Samsungが製造したこのチップの成果は、主に洗練されたニューロモルフィック・コンピューティング技術によるものであることも明らかにしています。
KAIST C-Transformerチップは、NVIDIAの高性能A100 GPUと同等のLLM処理タスクを実行できると言われていますが、私たちが入手したプレス資料やカンファレンス資料には、直接比較できるパフォーマンス指標は示されていません。これは重要な統計値ですが、その不在は目立ちます。皮肉なことに、パフォーマンス比較はC-Transformerに有利ではないと推測する人もいるかもしれません。
画像
1
の
4
上記のギャラリーには、「チップ写真」とプロセッサのスペック概要が掲載されています。C-Transformerは現在Samsungの28nmプロセスで製造されており、ダイ面積は20.25mm²です。最大動作周波数は200MHz、消費電力は500mW未満です。最高で3.41TOPSを達成できます。額面通りに見ると、これはNvidia A100 PCIeカードの公称624TOPSの183倍遅いことになります（ただし、KAISTチップは消費電力が625倍少ないとされています）。しかし、各プラットフォームの公称TOPSを見るよりも、何らかのベンチマークによるパフォーマンス比較の方が望ましいでしょう。
C-Transformerチップのアーキテクチャは興味深く、3つの主要な機能ブロックによって特徴付けられます。まず、動的に変化する分布エネルギーを効率的に処理するためのハイブリッド乗算累積ユニット（HMAU）を備えた均質DNN-Transformer / Spiking-Transformer Core（HDSC）があります。次に、スパイク領域処理のレイテンシと計算量を削減するための出力スパイク投機ユニット（OSSU）があります。最後に、研究者らは、外部メモリアクセス（EMA）のエネルギー消費を削減するために、拡張符号圧縮（ESC）を備えた暗黙的重み生成ユニット（IWGU）を実装しました。
C-Transformerチップは、LLMの大きなパラメータを圧縮するために、既製のニューロモルフィック処理を「特別なソース」として追加するだけではないことが説明されています。KAISTのプレスリリースによると、ニューロモルフィック・コンピューティング技術は、これまでLLMに使用できるほど精度が高くありませんでした。しかし、研究チームは「この技術の精度を[ディープニューラルネットワーク] DNNに匹敵するレベルまで向上させることに成功した」と述べています。
この最初のC-Transformerチップの性能については、業界標準のAIアクセラレータとの直接的な比較がないため不確実性はあるものの、モバイルコンピューティングにとって魅力的な選択肢となるという主張に異論を唱えることは難しい。また、研究者たちがサムスン製のテストチップと広範なGPT-2テストによってここまでの成果を上げていることは、心強い。
Tom's Hardware の最高のニュースと詳細なレビューをあなたの受信箱に直接お届けします。
マーク・タイソンはトムズ・ハードウェアのニュース編集者です。ビジネスや半導体設計から、理性の限界に迫る製品まで、PCテクノロジーのあらゆる分野を網羅的にカバーすることに情熱を注いでいます。
