富士通のスーパーコンピュータ「富岳」は、トップ500スーパーコンピュータリストの中では世界最速マシンではなくなりましたが、依然として非常に優れたシステムであり、A64FXプロセッサの汎用性により、AIをはじめとする様々なワークロードに使用できます。今週、富士通は、高度な日本語処理機能を備えた大規模言語モデル「富岳-LLM」をリリースしました。これは、研究用途と商用用途の両方を想定して設計されています。
富士通の富岳-LLMは、FP64、FP32、FP16、INT8モードをサポートし、AIおよび従来のスーパーコンピュータアプリケーション向けに様々なアプリケーションに対応するA64FXプロセッサを搭載した富岳スーパーコンピュータの13,824ノード上で、3,800億トークンを用いて学習されました。富岳-LLMの学習には、スーパーコンピュータのアーキテクチャとTofuインターコネクトDに最適化された分散並列学習技術が当然ながら活用されています。
富岳LLMイニシアチブは、東京工業大学、東北大学、富士通株式会社、理化学研究所、名古屋大学、サイバーエージェント、コトバテクノロジーズといった日本を代表する研究機関の連携によって推進されてきました。連携の理由の一つは、AIモデルの学習と推論に一般的に使用されるGPUの不足でした。もう一つの理由は、このモデルが、AIとHPCの両方のワークロードに最適化された富士通の次世代150コアMonakaデータセンターCPUで利用できることにあります。
Tom's Hardware の最高のニュースと詳細なレビューをあなたの受信箱に直接お届けします。
アントン・シロフはTom's Hardwareの寄稿ライターです。過去数十年にわたり、CPUやGPUからスーパーコンピュータ、最新のプロセス技術や最新の製造ツールからハイテク業界のトレンドまで、あらゆる分野をカバーしてきました。
