スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

6DNS

…という訳で、イミフなタイトルではありますが、ほぼ3年ぶりとなる単品作品です。
ランキングやイベント動画以外は久しぶりですねぇ。



また、固定カメラ版を「みくだんコミュ」動画として上げてますので、ご興味があったらそちらも覗いてみてください。
更に今回の解説というかメイキング的記事を書きましたので、ご覧いただければと思います。

序章:コンセプトと結果と、少し雑談

1章:Kinectモーションキャプチャ

2章:手付モーションと修正

3章:目線と表情

4章:レンパート

終章:カメラや仕上げなど

そして、おまけとして今回作成したモーションも置いておきます。
(とはいえ、使うというよりは、ほんと参考用にしかならないでしょうがw)
6DNS Motion.zip Download
http://cid-29ffd5cbb9d4216c.office.live.com/self.aspx/Mikudan%20MMD%20Files/6DNS%5E_Motion.zip
スポンサーサイト

6DNS 解説 - 終章:カメラや仕上げなど

■カメラワーク
 カメラワークにて補間曲線を使うかどうかはその時々で変わります。
 ドリーやクレーンショットでは直線状の方がそれっぽく見える場合がありますし、ハンディカメラのようなゆらぎのあるカメラであれば補間曲線を使った方がそれっぽくなるなど…。
 カメラのキーフレームはモーションのそれに比べてかなり少なくて済みますので、面倒がらずに補間曲線設定をしたり再生チェックを何度も繰り返した方がいいでしょう。
 また、X/Y/Zや回転それぞれに違った補間曲線を付ければ、トリッキーな動きをさせる事もできます。

カメラ補間曲線:X軸カメラ補間曲線:Y軸
カメラ補間曲線:Z軸カメラ補間曲線:回転
(1キーフレームでの各軸などに対する補間曲線設定)

 また、今回はベータ版ではありますがMMEによるMotionBlur(そぼろさん作)を実験的に使わせて頂き、モーションへのブラーもさることながら、カメラワークによるブラー効果を有効的に使えるかどうかというのもありました。
 その為、クイックズームやスウィッシュパン(カメラを急にパンさせる)なども取り入れてみました。
 一瞬の事なので分かり辛いかもしれませんが…。
カメラワーク2
 このモーションブラーエフェクトは、MVToolでやるよりも高速で、かつMMDのレンダリング時に掛けられるというメリット、そしてシーンチェンジも(ある程度ですが)感知してくれるので非常に楽になりました。
 アルファ出力にも対応しているので、合成する場合にも使えそうです。
 まだ改善点があるらしく正式リリースはされていませんが、今から楽しみなエフェクトの一つです。

■ポストプロセス(色調加工・調整など)
 特にエフェクトらしいエフェクトは付けてないですが、色調加工を行いました。
 MMD+MMEで既にデフュージョンまで掛けている状態ではありますが、もう少しHDR(High Dynamic Range Image)的な感じにチャレンジしてみようとやってみましたが…まぁ上手く行きませんでした。
 結果としては、今まで通りの色調補正にプラスアルファをしたくらいです。
 逆に彩度を半分くらいに落としてミュージッククリップ的な質感にしてしまおうかとも思ったのですが、そういった印象を付けるような作品でもないので、今回は保留。

 その代わり(これはMMEでも出来るでしょうが)、ガンマを極端に小さくしたものを加算合成して、ハイキー部分を更に持ち上げる「ブルーム」効果を足しています。

色調補正(補正前)MMD出力

色調補正(ガンマ処理)ガンマ処理「0.10」

色調補正(加算合成後)MMD出力+ガンマ処理(加算合成)

 これは分かりやすくそのまま加算合成していますが、レイヤー自体の透過率を30%~40%くらいにして白跳びを若干抑えてます。
 また更に、最終的な調整レイヤーでカーブによるRGB調整とレベル調整(白を235でクリップ)、若干彩度を持ち上げたりと微調整を行っています。
 とはいえ、最終的にMP4にする時に潰れてしまうのではありますが…この辺りはエンコした後と比べて、また調整してエンコ、という作業を繰り返しつつ色調補正しています。

■ノイズ除去
 モーションもカメラワークも激しいですし、何よりデフュージョンやらオブジェクトルミナス、被写界深度エフェクトやらモーションブラーやらふんだんに使っているので、普通にエンコードしただけでは動画がかなり荒れます。
 ポストプロセス後はAVIUtlのプラグイン「NL-Means」フィルタなどを使ってノイズ除去し、出来るだけ無駄なデータを省きつつビットレートを稼げるようにします。
ML-Meansフィルタはかなり強力なもので、空間・時間それぞれに対して綺麗にノイズ除去を行ってくれます。
 その代り、エンコードよりも重い処理となりますので、フィルタを通すだけでかなりCPUパワーと時間を使う事になります。
ノイズ除去(除去後)【ノイズ除去前】
ノイズ除去(除去前)【フィルタ適用後】
 細かいノイズを除去すれば若干ではあるものの中間ファイル容量も軽減できますし、エンコード時に余計な負荷やビットレートが必要になったりしません。
 結果として同じビットレート割り振りをしても、画質の向上が図れます。
 特に光物系のエフェクトやブラー系のエフェクトを掛けた時には、このフィルタを掛ける事により画質劣化を抑える事ができます。


■まとめ
 こんかいのメイキングをこのような形式にしたのは、動画にするとやたら長くなるのと、流石にそこまで労力が避けられないといった事情があるので文章と図、そして各動画に分けてみました。
 ほぼ3年ぶり作った単体作品ではありますが、この間に培ってきた基礎と、ここ最近の技術を組み合わせたようなものになりました。
 モーションについては余り進歩が無いものの、Kinectのお蔭で変化は若干付けられたのではないか…と思っています。
 それでも相変わらず、理に合わないヘンテコ踊りさせて喜んではいますがw

 これらの記事も思い返しながら都度書いていったもので余りまとまっておらず、How to的な要素も薄いため、他の方の役に立つ情報かどうか微妙な所ではありますが…。

 それはともかく、今回の作品創りで学べた所などは今後に生かしつつやっていこうかと思ってます。

 複数にわたるエントリーを読んでいただきありがとうございます。
 また次回作などで…。

(終)

6DNS 解説 - 4章:レンパート

 仕上げが近づくにつれ、まったく考えてなかった背景などを考慮する必要が出てきました。
 最初はいつもの四角い部屋でいいかなと思ったのですが、リミックス曲ですしフリースタイル的なモーションでもあるので、少しだけクラブ的な表現をしてみたくなりました。
 そこで以前から使おうと思ってたカブッPの床が動くステージを選びました。
 セットアップに苦労したものの、何とか読み込める状態に。こういった大掛かりなステージセットは最初のセットアップで苦労しますが、一度組んでしまえば後は楽なので頑張ってみましょう。その苦労の甲斐はあります。
ステージセット
 床面はそのまま使うと横表示のスクリーン.bmpになってるので90度曲げて正面を向くようにしているので、昇降アクチュエーターが大変な事になってますw
 今回は昇降させないのでこれで。
 サイドのスクリーンも初期状態から場所を動かしつつ、やや縮小し、正面カメラの状態で半分ずつくらい映るような位置にしています。

 そしてそのスクリーンに映すものも別途作らないとならない事に。
 VJ用素材とリンの完成モーションのシルエットで編集したものをベースにしつつ、これも前から使ってみたかったマイゴットPのDJセットを使用。
 レン君にスクラッチプレイしてもらう事にしました。

 このスクラッチプレイ、最初はKinectでチャレンジしてみましたが、やはり細かい動きはキャプチャできず、また位置合わせなども大変な為に断念。
 適当な横揺れの状態をキャプチャし、それをリンと同じくグルーブボーンへ移植しつつ、他は手付。
 腕は腕IK化してコントロールしやすくし、4小節分だけモーションを作成。後はプロジェクトを使いまわししつつ、カメラワークだけを変えたものを、6種類程用意し、リンのシルエット映像と併せて編集したものをスクリーンに映し出しています。

 腕IKですが、IK化しただけでは関節がおかしな方向になったりするので、「腕切り腕IK」モデルを別途用意し、手首から先は別モデルでのモーションとなってます。
 元モデルと腕切IKモデルのバランスは、センターや肩ボーンの回転などで何となく合わせておけば、動きも激しいので誤魔化せてしまいます。
腕切り腕IK1腕切り腕IK2

 あとはMMEで味付けしてるだけです。



【次章へ】

6DNS 解説 - 3章:目線と表情

■目線
目線設定1
 「モーション制作教室」でも少し触れましたが、目線の設定は様々ではあります。このスクリーンショットのようにカメラ目線をさせる事もあれば、次に動かす動作を意識して手先や足先を見たり、場合によっては無意識的に全然違う所を見たりと…
 どの場合にどこを見せるかは演出次第ではありますが、基本的には体の動きから予想して、こういう動きだったら大体この辺りを意識するんじゃないか、という所を見るようにさせます。

 そういった意味で、首ないし頭ボーンの情報を両目ボーンにコピーして逆相(マイナス掛け算)計算させて正面を見るようにするといった方法、または視線IKを仕込む、といった方法もあるのですが、今回は不採用。
 両目ボーンをマニュアルで、タイミング合わせつつ入力しました。

 両目ボーンの入力と同時に眉の「下」、目の「まばたき」の表情だけは手入力で同時に入れておきます。こうする事で、視線を急激に変えたい場合に一度まばたきさせる、しゃがんでる時、顎を上に向けている時は目を瞑らせる、といった時に楽になるからです。
 そんな目の開閉具合に合わせて、眉の「下」で上下させる事で、ある程度の表情が出来上がります。

 その後、それら入力した表情データをVMD出力し、表情作成ツールである「Face and Lips」にて読み込みます。
FaceAndLips
 予め入れてある瞬きや眉の上下のタイミング、そして音声をガイドにしてリップや他の表情系を入力していきます。
 最新版では複数トラックの使い分けが自由になったり、複数頂点の設定や重ね合せを始めとした操作性が抜群に向上しており、数時間もかからずに表情設定が出来ました。
 またタイミングの微調整にも優れてます。コピー&ペーストも出来ますので、繰り返しのリップなどを組み立てるのがかなり楽になります。
 これらの機能を使い、ざくっとコピーして微調整でランダム性を付けていきました。

 編集し終えたらVMD出力して、MMDのプロジェクトへ戻します。元のデータを残したまま読み込んでしまうと、キーフレーム情報が重なってしまうので、一度全部の表情キーフレームを削除してから、VMD読み込みをします。
 あとは再生チェックをしながら、修正が必要な場合は修正を施すだけです。



【次章へ】

6DNS 解説 - 2章:手付モーションと修正

■手付によるモーション制作とキャプチャデータの修正
 キャプチャとデータ整理後は、手付によるモーション作成となりますが、ここは普段通りに作業するだけです。
 足IKでステップを適当に作り、センターボーンで姿勢と重心のコントロール、下半身ボーンで足の姿勢制御、上半身・上半身2ボーンで全体姿勢、首と頭で最終的な重心バランスを取るといった感じです。
 腕周りのモーション付けから解放されているので、この段階で作業量が半分に減っている事になります。
 ただ、腕周りは出来るだけリダクションせずに、生データを活かした形にしたいと考えてました。それでもノイズやロスト部分は手修正が必要となります。

AXISLOT
 手修正するにあたり、「アクシスロット」アクセサリを作成し、どの部分がどの方向に曲がってるか、どのボーンがロスト状態・ノイズ状態になってるかを動きで把握する為に付けてみました。

 それぞれいっこずつグルーブ・腕・肘・手首にアタッチしてますが、そのまま関連付けしただけでは、ボーンの回転基軸になるのでアクセサリ編集窓にて位置をずらし、動きを見やすくしています。
 丁度腕の真ん中や肘の真ん中あたりに来るように設定しています。

 非常に役立った!という程ではありませんが、ノイズ修正する時などは有効ではありました。
 このアクセはメタセコイアで細い円柱を3つ組み合わせた単純なものなので、簡単に作成できます。
 イマサラではありますが、プラス方向とマイナス方向で色分けしていれば、180度近く回転した時には分かりやすかったかもしれません。


 センターボーンとグルーブボーンは、どちらが上位・下位でも恐らく大きな変化はないと思われますが、気分的にもKinectデータの方をグルーブへ移動させた方がいいかなというだけです。
 上位となっているセンターで大味を付けて、グルーブで調味料を足すという感じでしょうか。

 この動画内ではセンターボーンに大きなアクシスロッドを、グルーブに小さめのアクシスロッドをアタッチして撮ったものです。
 センターが基準となり、ブレや細かい動きの部分を(センターの影響を受けた後に)担当しているグルーブボーンの動きが分かるようになっています。

 それらの動きと足IKとの兼ね合いのバランスは、下半身ボーンと、所々で足ボーンのY軸回転(所々Z軸を使っちゃってたりもします)などを使い、足の形を整えてます。

 腕周りの修正ですが、こちらは基本的に「体にめり込んだりキャプチャロストしている部分は削除」を基本とし、必要であれば中間フレームを手入力で行い補間するという形を取ってます。
手修正
 下手に一つ一つのキーフレームを修正すると破綻しやすくなる上に面倒でもあるので、思い切ってざっくりとやったほうがスムーズな動きになります。
 また基本的には腕・ひじを中心とした削除・追加を行い、出来るだけ肩などの削除は行わないようにしています。
 少なくとも肩だけでも微動していればキャプチャデータっぽくなり、他の部分が従来通り自動補間任せにしていても、自然な動きっぽく見せられます。
 どうしても肩の段階から体にめり込んだりしていると思われる場合は、削ったり修正したりしている部分はいくつかあります。
 この辺りの判断は、再生チェックしたりアクシスロッドの様子を見たりで決めました。

手入力部分
 手入力部分はざっくりとブロック毎に作っていき、そのブロックがある程度出来上がった段階で、各ボーンのトリムシフトを行います。
 今回はざっくりとですが、頭→首→上半身→センター・足→上半身2という感じで上から動きが伝わるような形を組んでみました。
 本来であればこのトリムは、頭が後から付いてくるような動きもありますので、その都度早めたり遅めにしたり、補間曲線もこまめに設定したほうがいいのですが、それは次回への課題として残してしまってます。
 この辺りのトリム・補間設定を細かくやれば、手入力とKinectキャプチャの差などはどんどん埋まっていくでしょう。
 
【次章へ】

6DNS 解説 - 1章:Kinectモーションキャプチャ

■モーションキャプチャ作業
 MMD Ver7.30そして、バージョンアップしているMoggDxOpenNIを使用してキャプチャ。
 手首や腰、首といった標準だけではキャプチャ出来ない範囲も取得でき、かつ取得するかどうかも決められ、更に最新版ではキャプチャと同時に平均化や角度割合を決められたりと多機能になっています。
 樋口さんもお勧めの改造ドライバなので、Kinectユーザーは導入をお勧めします。
 残念ながら6DNSのキャプチャ時には少し前のバージョンで行っており、最新版はキャプチャ後になったのでその威力を発揮している場面はありませんが…。

MoggDxOpenNI Config
【MoggDxOpenNI Configのウィンドウ。細かなキャプチャが出来るような設定が組める】

 部屋の片づけやConfig設定が終われば、後は通常通りキャプチャするだけです。
 今回は最初から足のステップについては諦めているというか使う予定がなかったので、実際にステップは踏まず。
 ですが、センターボーンのゆらぎを後でグルーブボーンにして使う事を考えていた為、その場でリズムを刻むような動きはしつつ、腕周りの動きを重視した振りをしました。



 Take1~3は上半身のみを目的に、Take4はオマケで下半身中心の動きを撮ってみました。
 現バージョンでのKinect+OpenNIでは、体の後ろに隠れた腕の認識はもちろん、体の前に腕を持っていった場合の認識も弱く、また、早い動きはロストしやすく、ゆったりした動きはノイズを良く拾ってしまうのが垣間見えるかと思います。
 収録環境の影響も大きいでしょうが、足に関しても認識が若干弱く、ノイズが入りこんだりロストしたりとしますので実用的な範囲であるかといわれると、微妙な所でもあります。
 Kinectを使用した場合の大きな恩恵としての「重心取得」自体には問題ないものの、やはり足との連動性も重視したいため、また後作業でのノイズ除去や修正の手間などを考えると、利用したほうがいいのかどうかはなかなか悩みどころです。
 今回はそういった理由で重心取得は諦め、腕周りのキャプチャを中心とした訳です。
 Take4は結局未使用。

 使用するのは、肩・腕・ひじ・手首の4ボーンx2の8ボーン。さらにセンターボーンの揺らぎ部分を位置角度補正を使用しつつ、グルーブボーンへ移植。
モーション移植図

 移植後、グルーブボーンは選択状態のまま「フレーム位置角度補正」機能で補正します。
角度補正
 そのまま使うとコントロールが難しいのと、ブレが大きすぎて手付するセンターボーンとの兼ね合いが厄介になるので、最初の段階で動きを和らげておきます。

 回転情報は元々ほとんどないのですが、念のためにゼロ掛けして情報を削除。
 X軸は横動きが激しすぎると重心管理が難しくなるので、柔らか目に。
 Y軸はグルーブ感を出すのに必要なので、1.4~2.2倍程。
 Z軸も重心管理しやすくするために、最小限へ。

 また、これらの処理を行う前に、再生してみてノイズなどが激しい場合は、リダクションツールなどを使い、ノイズ除去や平均化を行います。
 今回は主にVMD Reduction Toolを使用しました。

リダクション作業

 必要部分のブロックだけをVMD出力しReductionToolにて読み込み後、主にフィルタと平均化を行いVMD出力。MMD側で加工後のVMDを読み込むといった段取りです。
 フィルタ種類はその都度で変えてましたが、今回は主にWaveletのLv4~5辺り、平均化のサンプルは2辺りで調整しています。
 これでピクつくようなノイズを若干抑えられますが、フィルタや平均化を広く取ってしまうと、せっかくのゆらぎなども削られてしまいますので、緩めに掛けます。
 場合によってはこの作業をせずに、生データに近い形のまま使ってる部分もあります。

 フレーム位置角度補正は、リダクション作業前にやるよりも、リダクション後にやったほうが綺麗になります。

 ここまでで、ひとまずキャプチャ作業と移植作業が終わりとなります。
 後は通常通り、足のステップやセンター、上半身系を手付していく事になります。

【次章へ】

6DNS 解説 - 序章:コンセプトと結果と、少し雑談

 さて、3年近くしっかりとした作品と言えるようなものを出していたか?と問われると微妙な所ではありますが、今回もそんな微妙なもののひとつに数えられるかもしれませんw
 とにかくKinectを使って、何かしら出来ないものかとは考えていました。

 MMDのKinect対応版が発表された2010年末、既に私の方では解説本の執筆作業に当たっていたという事情もあり、本腰入れてKinectを触ってみようという機会と時間は少なかったのです。
 それでも執筆にも必要な情報ですし、自分なりに研究した内容などを動画にて小出しはしていました。
 でも実際、Kinect(+OpenNI)は実用的か否かという所までは判別できなかったので、実践してみる事に。
 本の締切が2月末でしたので、その後しばらく燃え尽き症候群と年度末ラッシュが終えて、一息つける3月下旬辺りからちまちまと始めて、動画の発表に至る訳です。
 約一カ月と少し、となりますが、合計作業時間でいえば、その1/4、一週間くらいかもしれません。
 色々やりながらも試行錯誤がありましたが、それでも短期間で1曲分(まぁ曲は短いですがw)を仕上げるポテンシャルはあるのだな、と再確認しました。

■制作コンセプト
 まずは前述の通り、Kinectを使った実践的な作品が作れるかどうか、です。
 そして、手付けのモーションと組み合わせる事で違和感が出るかどうか、という実験でもあります。
 Kinectから出てくるデータは全打ち状態でノイズも入っています。それにスカスカな手付によるキーフレームに親和がとれるかという所ですね。
 幸いにも、MoggDxOpenNIをはじめとするモーション関係ツールや各リダクションツールのリリースもあり、モデル制作方面だけでなくモーション関係にも便利なツールが増えてきた時期でもありました。
 これら最新の技術やツールを使いつつ、従来から積み重ねてきた技術などを組み合わせて作ったらどうなるか、というテーマでもありました。

 またコンセプトやテーマからは少しズレますが、細かな目標点みたいなのはありました。

・Kinect取得データと手付を混ぜ合わせる。腕周りとセンターをKinect利用、足IKや下半身・上半身・指先などは手付で行う。

・Kinect取得データのツールやマニュアル操作によるノイズ対策(除去や修正)

・バランス(上半身)とアンバランス(足・下半身)の調和

・その他、モーション合成など

 これらの実験というか研究・実践などを兼ねてやってみたものです。

■その結果
 大満足……とは正直言えませんが、納得できる範囲には収めたつもりです。もう少し手を加えたりノイズ加工・処理をしたり、改善できる部分は多々ありますが、それらは次回作品に生かすつもりで、今回はほどほどに。
 手付モーションですら拘り始めたらキリがないので、いつまで経ってもリリースできませんしねw
 妥協という訳ではありませんが、そこそこ満足できる状態で今回は終了です。

 Kinectで有利になる点の一つとして「自然な重心と体重移動」がありますが、これは前回もやってますし、まだまだOpenNIでは精度の所為なのか他の要因なのかノイズも多いですし、何より部屋が狭い為、実際に大きく動けないという多大なる制約がある為、今回は切り捨て。
 その代り、腕周りの自然な動きをどれだけ利用しつつ、手付モーションと連動できるかという所。この部分はあらかた成功したのではないかと思ってます。
 またモーション合成の観点から、腕だけ動かして、後からステップワークを作るというのもアリだなと。

 キャプチャー時に発生するキャプチャロスト部分の修正、ノイズの平均化などは、各種リダクションツールなどを使用する事で、作業効率は断然変わりましたし、マニュアルで微修正が出来る事も把握できました。
 これはまた後述しますが、一つ一つのキーフレームをちまちま修正する必要はありません。
 また修正できる方法がある為、大幅にキーフレームを削減する必要もなさそうもありません。削りすぎると自然さやあいまいさが無くなってしまいますから。

 そんな訳で、当初の目的はほぼ達成できたものと考えています。
 その代り、新たな課題やら問題点、改善点も色々出てきましたが、これもまた収穫と言えるでしょう。

 それでは以降(次記事)に、ステップ毎に説明していきます。

【次章へ】

RANKIN'MMD 2011年3月号



今月も通常通り3月号をお届けします。
プロフィール

かんな

Author:かんな
ニコニコ動画などでMMD動画をうpしてるしがないユーザーの一人。
ブロマガ版みくだん
連絡先:mikudan3939葱gmail.com
(葱を半角@に変換してください)

カレンダー
03 | 2011/04 | 05
- - - - - 1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
Twitter
MMD関連物
カテゴリー
最近の記事
ブログ内検索
リンク
RSSフィード
上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。