Googleの研究者たちは、ディープラーニングを用いて「プロレベルの写真」を作成するプロジェクトに取り組んでいます。このプロジェクトは、近い将来、すべての写真がプロが撮影したように見えるようになることを示唆しており、今後数年間でスマートフォンで撮影された写真がこの技術の恩恵を最も受けることになるでしょう。
ディープラーニング写真
Googleの研究者たちは、プロの写真家のワークフローを模倣し、自動編集された写真で同様の結果を実現するディープラーニングシステムを開発しました。このシステムは、Googleストリートビューから最高のパノラマ写真を分析し、最適な構図を探します。その後、様々な後処理技術を適用して、「美しく魅力的な画像」を作成します。
Googleによると、教師あり学習を用いて、美的感覚に優れた画像の様々な特徴に手動でラベルを付ける作業は、非常に困難な作業になるという。そこで同社は、プロ品質の写真コレクションを用いて、美的感覚を複数の側面に自動的に分解した。
研究者たちは、従来の画像フィルターを用いて、彩度、HDRディテール、構図に関するネガティブな学習用サンプルを生成しました。プロが撮影した写真にランダムに画像フィルターと明るさレベルを適用し、見た目を劣化させました。そして、最終的に得られる「良い」画像は、これらのネガティブ画像に基づいて学習されました。このような学習手法は「生成的敵対的ネットワーク」と呼ばれています。
美学のチューリングテスト
研究者たちは、写真の美しさを評価するための「客観的な」判断基準を開発することができませんでした。「美しさは見る人の目の中にある」と言われるように。私たちの知る限り、GoogleのAIにもまだ感情や感覚がなく、自らの「目」で「美しさ」を見極める能力が欠けているのです。
そこで同社は、次善策として、人間とディープラーニングシステムによって編集された写真を比較し、どちらが優れているかを判断できる写真家の審査員団を編成しました。審査員団は、それぞれの写真に以下の4段階のいずれかの基準を付ける指示を受けました。
構図や照明などを考慮せずに、ピントを合わせて撮影した写真。写真の経験がない一般人による、良い写真。際立った芸術性はない。セミプロ。芸術的な側面がはっきりと表れた素晴らしい写真。この写真家はプロへの道を歩んでいる。プロ。
Tom's Hardware の最高のニュースと詳細なレビューをあなたの受信箱に直接お届けします。
グーグルは、ディープラーニングシステムによって自動編集された写真の40％が「セミプロ」または「プロ」の評価を受けたと発表した。
ストリートビューからスマートフォンへ？
このプロジェクトに取り組んでいる研究者らは、今のところはストリートビューのパノラマ写真だけを使ってプロジェクトをテストしているが、将来的にはこの技術を応用して現実世界でよりよい写真を撮影できるようになるかもしれないと述べている。
最近はほとんどの人がスマートフォンで写真を撮っていますが、GoogleはすでにAndroid端末のシェア拡大により、この競争に参戦しています。ここ数年でスマートフォンの写真品質は目覚ましい向上を見せていますが、それでも多くの人は、数千ドル以上するプロ仕様のデジタル一眼レフカメラ（そしてそれに匹敵する才能を持つ写真家たち）が撮影する写真に匹敵するほどのクオリティの写真を撮れるようになるには、まだ程遠いと主張するでしょう。
物理的な特性だけを考慮すれば、スマートフォンのカメラがデジタル一眼レフに追いつくのは不可能でしょう。おそらく永遠に。その理由は、まず第一に、スマートフォンのレンズが近い将来、デジタル一眼レフのレンズの品質に匹敵する可能性は低いからです。第二に、デジタル一眼レフはより多くの光を捉えるために、はるかに大きなセンサーを使用しており、スマートフォンに搭載すれば、まるでコンパクトカメラのように見えてしまうでしょう。
モバイル向けディープラーニングアクセラレータ
Google が現在開発しているようなディープラーニング写真システムは、写真を極限まで最適化し、平凡な写真でもプロ品質の写真に変えることができます。
こうした複雑な編集を実現するには、スマートフォンには限られた電力予算内であらゆる処理を実行できる専用チップが必要になります。Qualcomm、Samsung、MediaTekといった企業が既にモバイル向け機械学習アクセラレータの設計に関心を示していますが、第一世代のチップは、こうしたタスクに完全に最適化されていないか、あるいは十分ではない可能性があります。
自動プロ編集機能を備えたソフトウェアが、そのソフトウェアに最適化されたチップの登場に先立って必要になるかもしれません。同様に、NVIDIAのGPUは、機械学習研究者が既にいくつかのフレームワークを決定した後、ここ数年で進化を続け、新しいアーキテクチャ設計が登場するたびに、より高度なディープラーニング性能を実現してきました。モバイルディープラーニングチップも、最高のコンピュテーショナルフォトグラフィー結果を生み出すために、今後数年間で同様の道を辿る必要があるでしょう。
