Stable Diffusionは、テキストプロンプトから画像を生成するディープラーニングアプリケーションです。2022年にリリースされたこのアプリケーションは、Raspberry Piよりもかなり高い計算能力を必要とします。この素晴らしい成果は、メーカー兼開発者のVita Plantamura氏によって達成されました。彼女は、わずか260MBのRAMを搭載したRaspberry Pi Zero 2 Wで、10億パラメータのStable Diffusionモデルを実行することに成功しました。
これは素晴らしい成果です。Raspberry Pi Zero 2 Wは、コンピューティング性能よりもコンパクトなデザインで知られているからです。しかし、物理的な小ささだけでなく、ハードウェアの制約によってパフォーマンスが制限されています。今回のPi Zero 2 WのRAMはわずか512MBです。Stable Diffusionは、最適なパフォーマンスを得るために少なくとも8GBのRAMを推奨しています。
プランタムラ氏は、OnnxStreamと呼ぶものを開発することでこれを実現しました。これは、メモリ消費量を削減し、Raspberry Pi Zero 2 Wで画像を生成できるように設計された特別な推論ライブラリです。実用的でしょうか？画像生成に非常に時間がかかるため、必ずしも実用的とは言えません。W8A8精度のVAEデコーダーを使用して作成された画像の生成には3時間かかることもあります。しかし、実際に動作し、その点においては非常に印象的です。プランタムラ氏によると、OnnxStreamはOnnxRuntimeに比べてメモリ消費量が55分の1ですが、速度は最大でも2倍です。
OnnxStreamには、このツールを使って何かを作りたいと考えている方にとって便利な機能が数多くあります。例えば、アテンションスライシング、動的および静的量子化、FP16のサポート、さらにはWeightsProviderから分離された推論エンジンなどです。機能の完全なリストは、公式プロジェクトページでご覧いただけます。
このソフトウェアは完全にオープンソースであり、誰でも自由に探索したり改変したりできます。Raspberry Pi Zero 2で動作可能ですが、メモリ消費を抑えるという利点を活かして、より高性能な他のシステムにも実装できます。プロジェクトのGitHubページには、Windows、Mac、Linuxマシンへのセットアップ方法が詳しく記載されています。
このRaspberry Pi プロジェクトについてさらに詳しく知りたい場合、またはどのように組み立てられるかをもっとよく知りたい場合は、 OnnxStream GitHubで詳細を確認し、今後のアップデートについては必ず Vito Plantamura をフォローしてください。
Tom's Hardware の最高のニュースと詳細なレビューをあなたの受信箱に直接お届けします。
アッシュ・ヒルは、Tom's Hardwareの寄稿ライターです。趣味の電子工作、3Dプリント、PCの分野で豊富な経験を有しています。彼女は今月のRaspberry PiプロジェクトやRaspberry Piに関する日々のレポートの大部分を担当し、あらゆるテクノロジー製品のお得なクーポンやセール情報も探しています。
