今年の夏、Raspberry Pi Zero 2 WでStable Diffusion 1.5を動作させることに成功した天才、Vito Platamura氏についてお伝えしたのを覚えている方もいるかもしれません。本日、このプロジェクトの最新情報をお伝えできることを嬉しく思います。Plantamura氏はプロジェクトを拡張し、Stable Diffusion XL 1.0をサポートしました。そして、298MBのRAMを搭載したRaspberry Pi Zero 2 Wで動作させることに成功しました。
Stable Diffusionをご存じない方のためにご説明すると、これはユーザーが入力した単語プロンプトに基づいてAIが画像を生成するように設計されたアプリケーションです。Plantamura氏は以前、オリジナルのStable Diffusion 1.5を、RAM 260MB未満のRaspberry Pi Zero 2 Wで動作させることに成功しています。彼が開発したこのすべてを可能にするアプリケーションは、OnnxStreamと名付けられています。
プランタムラ氏によると、Stable Diffusion XL 1.0は10億近くのパラメータを持つトランスフォーマーモデルを搭載しているため、実行が困難だったとのことです。Raspberry Pi Zero 2 Wは512MBのRAMを搭載していますが、Stable Diffusionの実行には少なくとも8GBのメモリが推奨されています。言うまでもなく、プランタムラ氏には大変な作業が待ち受けていました。
画像
1
の
2
画像はチャンク単位で処理され、最終的には各セクションの間に目に見える境界線のあるタイル状の効果を生み出します。これは、ぼかし効果を有効にすることで軽減されます。上の画像で、その様子をビフォーアフターで確認できます。前述の通り、このプロジェクトはアプリケーションの使用に時間がかかるため、決して実用的ではありません。しかしながら、これは優れた概念実証であり、このプロジェクトに込められた努力を皆様にお伝えできることを大変嬉しく思います。
このRaspberry Piプロジェクトを詳しく知りたい方は、 GitHubのソース資料をご覧ください。Plantamuraをフォローして、他のプロジェクトや今後のアップデート情報もぜひご覧ください。
Tom's Hardware の最高のニュースと詳細なレビューをあなたの受信箱に直接お届けします。
