VTuber技術備忘録1

 今年に入ってからVTuber沼にハマって、いったいいくつの沼に足を踏み入れているのかわからなくなってきたかんなです。

 さて、需要はほとんど無いと思いつつも自分の備忘録を兼ねて、自身がやっているVTuber系での技術面においての話をつらつらと連ねてみようと思い立ちました。
 本来のブログっぽい事を久々にやってみます。

※この一連のエントリでは、他VTuberの方を記す場合、敬称を省かせて頂きます。ご了承を。


Hitogataと二人三脚

 VTuberを運用するに当たり、省力化・少コストを図るのであれば断然Unityベースで環境構築した方が良いのは言うまでもありません。
 私の企画でUnityを採用しなかったのはHitogataありきだからです。なので、Moggさんの存在とHitogataは土台そのもです。
 そうなると自分の数少ないスキルと合わせると、自然とHitogata + MikuMikuMovingの組み合わせになる訳です。

 モーションキャプチャデバイスは、Perception Neuron V2を採用。
 HTC ViveベースのOrionも視野には入っていたのですが、ランコストとの兼ね合いで断念。また、指のキャプチャを重要視していた為、Neuron一択となりました。
 幸いにも、Moggさん自身がNeuronに興味を示してくれたので、MikuMikuMoving及びHitogataに導入してもらう事もできたのです。
 この辺りは、個人ユーザーを対象とした導入ではないと思いますが、将来的に役立つのではないかと考えています。
 Perception NeuronはPRO版となると60万、v2でも20万と個人ではやや高額と感じられる値段ではありますが、中古バイク一台分、もしくは第七(八)世代CPU搭載PC一台分と考えれば、決して個人で導入できないものではないでしょう。
 もっとも、個人で買って頻繁に使用するものかどうか、というコスパ的な問題が大きくありますが……。

 フェイストラッキングも、既にFaceRigやiPhone Xを使ったシステムなどが発表・発売されている時ではありましたが、Moggさんは独自でライブラリ等を探し当てて導入。
 既に長年培ってきた、MMD/MMM周りの開発技術を活用し、わずか1~2週間でアルファ版が完成。
 非公開版ではPMXもそのまま読み込めるようにしてあり、私の方でも様々なモデルを読み込んで遊んではフィードバックを繰り返しました。
 また、モデルデータを運用するに辺り、過去の様々な問題を鑑みて基本的には独自フォーマット(とはいえ、中身はまぁ……いろいろありますが難読化した)hgmフォーマットを構築して、一般リリース開始の流れです。

 途中、最初に採用していたフェイストラッキングライブラリが商用利用するのに問題アリな規約があるのが分かり、急遽、商用利用可能なライブラリに差し替えなければならないという事案もありましたが、無事クリア。
 Hitogataを採用した先駆者である『日雇礼子』も安心して使える環境を整える事ができました。
 これらをMoggさんは自力で熟していたので、驚く他ありません。
 さらには商用利用可なオリジナルモデルを付属させ、キャラメイク機能を早々に実装し、モデル用パーツを週間刊行ペースでリリースしていくとか……傍から見てて心配になるレベルです。

 かなりハイペースな開発ではありますが、初期のMMDの時を思い出させてくれるような楽しさがあります。


■Neuronは万能ではない

 フルボディトラッキングは、まだまだ発展途上にあると感じます。それでもここまで安価にそして運用しやすいシステムになったのは驚くべき所ではありますが、ここに至るまでに2~30年掛かってはいます。
 比較対象としやすいのは今の所、OptiTrackとOrionでしょうが、OptiTrackは規模が大きすぎるので省きます。また、Orionまで同時導入は予算的にも厳しいので試せませんでした。
 なので、以下は経験上Neuronを使っての所感となります。

 品薄状態がかなり長く続き、入手するまでかなり時間を要しました。で、届いた荷物が思っていたのよりも小さく、宅急便で荷物受け取った時には詐欺られたのかとさえ思ってしまいました。
 入手時には既にHitogataもMMMもNeuronが組み込まれており、早速テストする事ができましたが……使えば使う程、いろいろな問題が出始めます。

 当然、最初に出てくるのはモデルのセットアップ問題。特にMMD系ベースのモデルはAスタンスであり、Neuron等はTスタンスベース。
 これはモデルの再セットアップをすれば解決しますが、何とHitogataの内部でスタンス変更を盛り込み、T→A変換が自動で行われているという実装がなされています。
 それらは結局、後からの実装になったVRM対応でも活用できるようになりました。

 次に目に見えてわかるのは、これもモデルセットアップ時の問題ではありますが、親指問題。
 初期の頃の『キズナアイ』や『電脳少女シロ』、『輝夜月』などを見るとわかると思いますが、Neuronのリファレンスモデルと実際に使用するモデルの親指の角度設定が異なる事です。
 この辺りはモデルセットアップでフォローする事はある程度可能ですが、自動化は無理です。
 何せ、装着者でも変わりますし、付け外しする度にも変わりますし、キャリブレーション時の状況(装着状況だけでなく周囲の磁気状況)にもかなり左右されてしまいます。
 この辺り、上記3名では長くやっている中で地道に補正を掛けていっているのが動画でもわかりますし、スタッフの血肉を注いだ努力がかなり伺えます。
 実際にどう補正をかけているのかは分かりませんが、後手である私の方では問題が先に見えていたので、解決にもそう時間はかかりませんでした。
 要はその都度、補正用ボーンレイヤーでカウンターを掛ければ良いだけです。
 例の異世界少女の場合、モデル側でもカウンターをかけて、更に仕上げまでの間にモーション補正を掛けてあります。
 これは多段ボーンとMMMのモーションレイヤー機能を活用しています。

 また、いろいろ言われているように、Neuronではダンスキャプチャは不向きです。
 一定以上の早い動きではドロップが発生しますし、足の接地ズレ、体の中心となる基準ボーン(MMDで言う所の全親、もしくはセンターボーン)のジャンプ現象は防げません。
 これらも、モーション修正編集でフォローする事は可能ですが、労力的コストは掛かってしまいます。
 また、Neuronの駆動ソフトであるAxis Proですが、ここから吐き出されるデータの一部に挙動不明な部分、つまりはバグ的なものもあり(仕様なのかバグなのかわからない)、足の接地フラグなどがまともに動きません。
 これが正常に取得できるのであれば、MMD/MMMベースに直しても足ズレがほとんど起きない状態にまで持っていけるのですが、残念ながら現状では叶わずです。

 ただ、やはり他では難しい指の動きのキャプチャは、かなり強力です。
 センサーの装着状態とキャリブレーションをしっかりやれば、かなり繊細な指の動きまで再現してくれますし、それがモデルに反映されるとやはり感動します。
 手付モーションでは気が狂いそうになる程の動きが一瞬にして取得できるのと、やはり女性(男性)特有の指の動きで、人の表現における『表情』がかなり変わります。
 Neuronシステムを採用している他VTuberの動画・生放送等を見てても、やはり個性が出るところだなと感じます。
 何気に、”中の人”の素の部分が見えるところではないでしょうか。

 余談ですが、Neuronを導入するに当たり、既に運用実績のあるcortさん、そして個人で買われた6666AAPにそれぞれ所感を尋ねた事がありました。
 詳細は省きますが丁寧にいろいろと教えていただきました。
 この場を借りて感謝致します。
 また、6666AAPとは、チャットにて指の動きについてそれぞれ熱く語った夜もありました。
 AAP、マジ半端ねぇって。


■優秀なBullet Physics Engine

 MMDとMMM、そしてBlenderにも搭載されている物理エンジンですね。ゲームでの採用実績もかなりある物理演算エンジンです。
 MMDでの採用時もいろいろありましたが、よくもまぁあの当時でBulletを採用したものだと、樋口氏の(野性的な)先見の明には驚くしかありません。
 MMMでは若干ではありますが、MMDよりも比較的新し目なバージョンのエンジンが搭載されていますし、何よりMMMでは物理演算結果のベイク(焼き込み)機能があるので重宝しています。
 これと最近搭載された『モーション平滑化』機能、もしくはVMD Reduction Toolを併用する事で、かなり滑らかな物理挙動を表現する事ができます。
 プルプルや衝突暴れなどを完全に防ぐ事はできませんが、そこはモーション補正でカバーできますし、大掛かりな物理挙動補正を必要としません。

 UnityのRigidbodyなんかもかなり強力な物理演算ではあるものの、やはり理想的な動きに近づけるためには多くの知識と経験が必要になります。
 スカートや髪などが多い女性モデルとなるとセットアップも大変ですし、調整にはかなりの時間を必要とします。
 MMD系のPMD/PMXでも比較的簡単に組み込み自体はできますが、これまたやはり理想的な動きに持っていくには、ノウハウと時間が必要となります。
 が、簡易3DCGツールとは思えない程、管理や設定が楽ではありますし補正もしやすいです。
 もちろん、長年使っていて慣れてるから、ではありますが……。
(恐らく、これから始めるとするならば、将来性や堅実性があるUnityベースの方が良いかもしれません)

 それでもなお、感覚的な話ではありますが、なんだかんだMMD系のシンプルさとBulletエンジンの優秀さは、使えば使うほど酢昆布のように味わいが出てくるので好みではあります。


■Moggさんについて

 今となっては存じない人も増えてきたので、知ってる範囲内ですが簡単に紹介を。
 本人はアイコンに雰囲気が似ていますw
 実際に会う事があれば、おそらくこの意味がわかるでしょう。

 MoggさんはMMD関係に絡む前から3DCG系に興味を持っており、Bullet Physics Engineに対して日本向けドキュメントの整備なども行っていた時期があります。
 もう古くなっているのでここではリンクを貼りませんが、恐らくググれば今でも出てきます。
 一部のプログラマには知られている存在でした。

 MMD系に絡むようになったのは、2010年12月19日にMMD Ver7.24にてKinect対応版がリリースされた直後です。
 樋口氏自身は、2010年の秋口よりKinectについて興味を示していましたが、実装するかどうか見送るような態度を醸し出しつつも、しれっと12月半ば(MMD杯前)にリリースするという、相変わらず鬼の所業をしておりました。
 その頃からMoggさん自身が興味を示していたのかは分かりませんが、MMDのバグフィックスや機能改善が行われると同時期に、OpenNIライブラリのMMD向け改良版ドライバなどをリリース(MoggDxOpenNI.dll)したのが、本格的な絡み始めです。
 その後、(結果として一時的な)MMDの開発終了宣言が樋口氏からなされ、MoggさんがMikuMikuMovingの開発に着手したという流れです。
 MikuMikuMoving発表後も結局、MikuMikuDanceはその後も地道に開発が続けられ、MikuMikuMovingは後継ソフトではなく姉妹ソフトとして存在し、今に至ります。
 また、MikuMikuMovingだけでなく、モーフ系一括編集ツール『Face and Lips』や『VMD Redction Tool』を始め、便利なMMD系ツール開発をしています。
 また近年ではアニメ『けものフレンズ』の二次創作ユーザーモデルも驚くべきスピードで大量リリースした実績もあります。
 プログラマ兼モデラーというスーパーマンです。
 ですが会う時はいつも仕事終わりの後とかなので、やはりスーツ姿の印象が強く、アイコン通りの人です。
 それは兎も角……なので、Moggさんも初期組とまではいかずとも、古参ユーザーの一人ではあります。


■最後に
 先にも記しましたが、MMDのKinect対応は個人的にも衝撃的でしたし、速攻で品薄なKinectをポチった思い出があります。
 当時のKinectはそんなに精度も良くなく、今のようにツール側での対応も便利なものではありませんでした。
 いろいろ工夫を重ねて何とかうまくできんものかとやってみましたが、やはり手付モーションの美しさには叶わず……といった流れから、はや7~8年。ようやくここまでできるようになったという喜びと、その当時から地道に、そして情報少ない中自分なりにやってきたノウハウが活かせる場面が出てきたという訳です。
 無論、ここに至るまでに犠牲にしてきた(もしかしたら得られたかもしれない)リア充生活と金銭と時間は結構なものになっています。
 また、MMDというコミュニティーが無ければなし得なかったものであり、数多くのMMDユーザーの方々のおかげでもあります。

 感謝を。

スポンサーサイト

tag : Vtuber Hitogata MikuMikuMoving

コメント

非公開コメント

プロフィール

かんな

Author:かんな
ニコニコ動画などでMMD動画をうpしてるしがないユーザーの一人。
ブロマガ版みくだん

カレンダー
06 | 2018/07 | 08
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 31 - - - -
Twitter
MMD関連物
カテゴリー
最近の記事
ブログ内検索
リンク
RSSフィード