なっつーです。
今個人開発で進めている「YOU ARE VTUBER !!」 について、まとめておきます。
コンセプト
「YOU ARE VTUBER !! 」はPC向けのVR機材を持っていれば、誰でも3DモデルのVTuber体験ができて楽しめる。
ターゲット
Vtuberに興味はあるが、
・シナリオを考える
・3Dモデルを自作する
・モーションキャプチャの仕組みを作る
・動画編集をする
など、何かしらのハードルを感じて踏み出せない人、挫折してしまった人。
または、興味本位で試しにやってみたいという人。
最小構成でのアプリ内容（現状）
・HTC VIVE 、Oculus Rift、WinMRのいずれかを使用。（SteamVR対応）
・アプリを起動すると、プレイヤーは用意された物語を選ぶ（現状は1種類）
・物語によって、キャラクター・背景・セリフ・ギミックが決定される。
・プレイヤーが頭やハンドコントローラーを動かすと、キャラクターが同じ動きをする。
・プレイヤーは物語をスタートすると、目の前にセリフが字幕で表示され、プレイヤーはセリフを読み上げながら自由に動いて物語を演じる。
・途中で物語特有のギミック（キャラクターが分身するなど）も存在する。
・物語を演じ終えると、演じた内容で字幕付きの動画が生成される。
実際の動作は下記動画の通りです。
目標地点のアプリ内容（リリース時の希望）
・物語のバリエーションを増やす（とりあえず5種類程度）
キャラクタは1種類。背景、ギミック、セリフを用意する。
・キャラクターの動きを滑らかにする。表情を変化できるようにする。
頭及び両手の3点トラッキングのみでキャラクターの動きを制御するためにVRIKのパラメータ調整
・軽い編集作業ができるようにする。
カメラの位置を変える、字幕の位置・大きさ・形を変える、ボイスを差し替える・撮り直す
・360動画出力できるようにする。
Youtubeの360動画アップロードできるようにする。
・演じた内容のデータを出力できるようにし、他のデバイスに移せるようにする。
ボイスデータ、モーションデータ、どの物語を使用したかなどのメタデータなどをまとめて出力。
決められたフォルダの位置にデータを置くとインポートできるような仕組み。
・VR内で演じた内容を再生できるようにする。
PCVRだけでなく、DayDreamやGearVRなどでも見れるようにする。（再生専用のアプリを作成する)
・上記を実装するにあたって、サーバーやクラウドストレージは用意しない。
サーバーやクラウドストレージは運用コストを考えると、個人開発では極力手を出したくない。
更に頑張れば対応したいアプリ内容（アップデート想定）
・VRM形式のモデルをインポートできるようにし、キャラクターの差し替えをできるようにする。
一度演じたデータを使って、モデル差し替えでそのまま同じ動きができるのが理想。
・背景のモデルをインポートできるようにし、背景の差し替えをできるようにする。
ポリゴン数の制限やライティングやポストプロセスとの絡みが難しそう。
・ギミック及びセリフを作成できるツールを用意し、ギミック及びセリフの差し替えをできるようにする。
ギミックの種類を限定し、専用ツールの作成がひつよう。
補足
・字幕の編集とかできたらいいというお声をよく頂くのですが、コンセプトとして、できるだけ楽にVtuber体験をできるようにしたいという想いがあるので、編集系の機能は後回しです。
・基本的にオフラインで完結するコンテンツにしたいので、リアルタイム配信は想定してません。アップロード機能をつけるつもりもなく、動画やVR再生用のデータのやりとりについては、各ユーザー様でアップロード対応と考えています。
興味あったりする人は気軽にご相談ください。
また、こういう機能は必須じゃないのかというご意見があれば、頂けるととても喜びます。
普段すぐにTwitterに書いてしまうのですが、一度まとめて置きたかったのでブログに書き残してみました。
コメントを残す