MITの研究者が数秒の録画映像から現実の物体をアニメーション化する

デジタルアニメーションと現実世界の映画の境界線は、ここ数十年でますます曖昧になってきています。レンダリングとレコーディング技術の進歩に伴い、画面に映し出される映像も向上しましたが、デジタルキャラクターが現実の環境とインタラクトする際には、依然として違和感が残ります。ハリウッドのスタジオは、デジタルキャラクターがインタラクトするためのデジタル環境アセットを追加することでこの問題を回避しています（下のビデオの例をご覧ください）。このプロセスはコストと時間がかかるため、多くのアプリケーションでは選択肢になりません。

インタラクティブ・ダイナミック・ビデオは、MIT土木環境工学科のエイブ・デイビス、ジャスト・G・チェン、フレド・デュランドが開発したビデオ分析技術の成果です。このプロセスでは、物体の振動特性を分析し、その情報を用いて物体のインタラクティブなシミュレーションを作成します。

物体が様々な力にどのように反応するかを正確にシミュレートするために、デイビス氏らは、振動する物体の運動周波数と形状によって定義される様々な「振動モード」を分離します。シミュレーションモデルは、このデータに基づいて、物体が触れたり引っ張ったりしたときにどのように反応するかを正確に計算します。

リアルなシミュレーションを作成するのに、大量の映像は必要ありません。チームはわずか5秒のビデオ映像で、ワイヤーフレーム図形のシミュレーションを作成することができました。ワイヤーフレーム図形をアニメーション化するのはそれほど難しくありませんが、このプロセスは低木のような、はるかに複雑な構造物にも適用できます。チームは風に吹かれる低木の1分未満のビデオを録画し、その情報を使って低木の物理的な挙動をシミュレーションすることができました。

デイビス氏は、この技術には多くの潜在的な用途があると述べた。インタラクティブ・ダイナミック・ビデオは橋梁などのインフラの構造健全性モニタリングに活用できる可能性があると示唆したが、主に低コストの特殊効果に利用されると予想している。この技術は、実写映画にリアルなアニメーションを加えるのにも活用できる。

インタラクティブ・ダイナミック・ビデオは、MITのエイブ・デイビス博士の博士論文の一部です。現在、この技術に基づいた商用製品を開発する予定はありませんが、MITは特許の使用を許諾します。詳細はプロジェクトのウェブサイトをご覧ください。