これは狂ってる!ComfyUIでLTX 2を使えば元のカメラムーブメントを維持でき、歌う部分で完全なリップシンクが出ました(笑)。すべてローカルで動作しています。 オリジナルの動画は2021年、Metahumansが初めてリリースされたときにUnreal Engine 4で作業していた時に作りました。このミュージックビデオは、当時私がLivelinkとControl Rigを使った最初の実験の成果のようなものです。 新しいAI改良版は完璧ではなく、キャラクターの一貫性のためにまだローラを訓練していません。元の動画ファイルも持っていなかったので、入力としてYouTube版をダウンロードしました(笑)。しかし、カメラの結果+表情は本当に期待できます!ただ、より複雑で速いショットにどう対応できるのか気になります。