NvidiaのAI生成おもちゃ「ジェンセン」がジングルベルを歌う

NVIDIAは、CEOのジェンスン・フアンのキュートなボブルヘッドアバターが「ジングルベル」を歌う、クリスマス気分を盛り上げるビデオを公開しました。伝統的なクリスマスソングを50年代のクルーナー風にジャズ調にアレンジし、レザージャケットを羽織った「トイ・ジェンセン」のクールなフィンガースナップも加わっています。この楽しいビデオは、クールなテクノロジーを紹介し、クリスマスの雰囲気を少しだけ盛り上げてくれます。

このビデオは、NVIDIAファンにハッピーホリデーを告げるだけでなく、NVIDIA Omniverse Avatar Cloud Engine（ACE）プラットフォームの性能を実証するものでもあります。このパフォーマンスのレンダリングには「わずか数時間」しかかからず、リアルな表情や体の動きに加え、ジェンセンの歌声をプロの歌手の歌声にマッピングする音声変換技術も披露されています。これはジェンセンの歌声を実際に録音したものではありません。

動画の要素を分解すると、NVIDIAの開発チームは最近開発したモデルを用いて、ジェンセン・フアンの声質をプロのボーカリストによる「ジングルベル」の歌唱サンプルにマッピングしました。プロのボーカリストの歌唱音符をトイ・ジェンセンのデジタル音声に適用することで、アバターが正しい音符とリズムで歌えるようにしました。注目すべきは、このパフォーマンスの音楽アレンジがAI生成ではなく、マイケル・ブーブレやデヴィッド・フォスターと仕事をした作曲家兼プロデューサーのヨッヘム・ファン・デル・サーグによって手掛けられたことです。

次に、Omniverse Audio2FaceとAudio2Gestureテクノロジーを活用し、Toy Jensenアバターのアニメーション化された音楽演奏に合わせて、リアルな表情とジェスチャーを生成しました。X-Factorタレントショーのようなパフォーマンスをより充実したものにするには、NVIDIAはAudio2Walk-down-stepsという新しいテクノロジーを開発する必要があるでしょう。

上の動画を少し詳しく見てみると、ジェンセン・フアンは11月に台北を訪れ、ある歌い手デュオにビデオボムを仕掛け、話題をさらいました。台湾のeスポーツカーニバルイベントで、レディー・ガガの「Always Remember Us This Way」を歌っている最中に、ラー・イーレ・リーとシンティン・リーの間に割って入りました。このパフォーマンスは話題になりましたが、フアンはジングルベルを生身の人間で録音するのは恥ずかしいので、エンジニアにトイ・ジェンセンのパフォーマンスを準備させたと主張しています（上の動画はトイ・ジェンセンの映像です）。

Nvidiaによると、Omniverse ACEプラットフォームは早期アクセスパートナー向けにまもなく利用可能になるという。ただし、リリース版にToy Jensenが付属するかどうかについては言及されていない。