FC2ブログ

スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

Hitogataでのフェイストラッキングの応用について

実作業よりも、編集作業の方に時間をかなり取られた件。
動画作ってる最中に、2つもバージョンが上がっちゃったよ……。

 

 実際、やってる事は8年前にKinectを使ってのモーションキャプチャ後の加工方法と同じで、今のMMD/MMM用に焼き直したものです。
 今のMMMは便利なプラグインや機能が豊富なので、8年前よりもかなり楽に加工できます。
 さて、以下に動画に盛り込めなかった補足的な内容を記します。

■目線
 Hitogataでは右目・左目も一応キャプチャしていますが、私の環境では精度が悪いせいかほとんど動いてない状態でした。なので最終的には目のキーフレームは全削除しています。
 頭ボーンのキーフレームを両目ボーンにコピーして逆相化しています。こうする事で、カメラ目線というか正面の方に向くような目線になります。
 目をIK化するのも手ですが、標準形ボーンでやる時にはこの方法が楽ではあります。

■リップモーションについて
 ブレスポイントの口の動き、『あ』から『う』もしくは『い』への移行モーションや微妙な合成具合、これらを手付けしようとするとかなり手間が掛かってしまいます。
 これが一発撮りと簡単な補正だけでいけてしまうのは、かなり大きな事です。モデルに合わせた加工は必要ではありますし、手付けには手付けの味の良さがあります。
 キャプチャと手付けの組み合わせでより良く見えるのであれば、この手法はかなりアリなのではないかと思っています。

■キーフレームの削減
 動画中では説明しませんでしたが、不要フレーム削除機能も併用しています。特にモーフ系は不要フレーム削除でかなり削れるので、VMD軽量化に役立ちます。
 眉の『上』『下』の動くポイントが分かりやすくなるので、使用する事をお薦めします。
 ただし、ボーン系については、リダクション作業後にやるようにしましょう。
 リダクション系ツールでは、モーションキャプチャデータを扱う事を前提としているので、連続したキーフレームになっている必要があります。
(VMD Reduction Toolは、隙間のあるキーフレームも、読み取り時に警告が出て自動的に補間はしてくれます)
 なので作業段階としては、

1:Hitogata出力のVMDを読み込み
2:曲とのタイミング合わせをした後、モーフとモーションで分けてVMDを保存。モーフも、眉と口は分けておくと後で楽になる
3:口(リップ)は1/2簡易リダクション、眉は1/4リダクションで更に別名保存
4:リダクションツールでボーン系を整理
5:それぞれ処理が終わったVMDを順次読み込んでセットしたものをVMD別名保存
6:不要フレーム削除機能で、動きのないキーフレムを削除

 というような段取りになります。
 ごっそりキーフレームが削れるので、後加工もしやすくなります。

■セーラー服さんの動き
 こちらは補正作業無しのベタ打ち状態です(平均化はしてます)
 編集作業中にalpha5がリリースされ、音声入力に対応し、かつバグも治っていたので使ってみました。VOICEROIDに喋らせた音声ファイルを読み込ませたものです。
 入力とゲイン範囲スライダの調整次第で、それなりな動きのリップが作れます。
 VOICEROIDの音声ファイルを一本化し、それを聞きながらHitogamiで上半身をモーションキャプチャしたものです。

■リダクションツールについて
 かなり古いバージョンでの説明となりますので参考になるか分かりませんが、過去に実験動画をあげてますので張っておきます。
 
 恐らくKinect for Windowsであれば、もう少し手間が掛からないとは思いますが、リダクション作業はどちらにせよ必要にはなります。


 以上です。
 Hitogataの最新版や追加機能については、別エントリにて記します。

関連記事
スポンサーサイト

tag : Vtuber MikuMikuMoving Hitogata

プロフィール

かんな

Author:かんな
ニコニコ動画などでMMD動画をうpしてるしがないユーザーの一人。
ブロマガ版みくだん

カレンダー
10 | 2018/11 | 12
- - - - 1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 -
Twitter
MMD関連物
カテゴリー
最近の記事
ブログ内検索
リンク
RSSフィード
上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。