富士通、GPUネットワーク向け高並列ディープラーニングソフトウェアを開発

富士通は、高度に並列化されたGPUベースのシステム上でディープラーニングの効率を大幅に向上できる新しいディープラーニング技術を開発したと発表した。

複数のGPUでのディープラーニングの問題点

ここ数年、機械に特定のタスクを実行させるためのより優れた方法として、ディープラーニングへの関心が爆発的に高まっています。そのため、多数の類似データを同時に処理するのに適したGPUも、ディープラーニング開発の中心的な技術となっています。

しかし、GPUを使っても、大量のデータからディープラーニングの新しいアルゴリズムを作成するには、依然として時間がかかりすぎます。問題の一つは、ディープラーニングやその他のGPU関連処理が複数のGPU間ではそれほどスケーリングしないことです。

通常、単一のGPUで実行されるディープラーニングを高速化する従来の方法は、複数のコンピュータを並列に接続し、それら間でデータを共有することです。しかし、マシンの数が増えるにつれて、マシン間でのデータ共有が次第に困難になり、全体的なパフォーマンスは収穫逓減の傾向を示し始めます。

富士通の複数マシン間での効率的なデータ共有

富士通研究所は、コンピューター間でデータをより効率的に共有できる新しいソフトウェア技術を開発し、人気のオープンソースのディープラーニングフレームワークであるCaffeに適用したと発表した。

富士通の新技術は、データ送信の優先順位を自動制御します。この技術により、次の学習処理に必要なデータをすべてのマシンに事前に送信できます。これにより、代替ソリューションで発生していた遅延が軽減され、より短時間で処理を実行できます。

富士通は、最適な操作方法を自動的に適用して全体の操作時間を最小限に抑えることで、ソフトウェアがさまざまなデータサイズを処理する方法も改善しました。

富士通が新技術をテスト

同社はその後、画像分類ニューラルネットワークであるAlexNetでこの技術をテストしました。富士通の技術は、16個のGPUを使用した場合、単一GPUの14.7倍、64個のGPUを使用した場合、27倍の性能向上を達成しました。

現在、完全に並列化されたソフトウェアは存在しません。そのため、64GPUを使用した場合でも、64倍ではなく「わずか」27倍の向上しか得られていません。しかし、富士通のソフトウェアのパフォーマンスは、従来のソフトウェアと比較して、16GPUで46%、64GPUで71%の学習速度向上を示しました。

より効率的なソフトウェアは、学術機関、政府機関、その他の企業がさまざまな研究目的や製品開発のためにディープラーニングアルゴリズムをトレーニングするのにかかる時間を大幅に短縮するのに役立ちます。

富士通は、この技術を富士通のAI技術「Human Centric AI Zinrai」の一部として2016年末までに実用化することを目指している。