VR内でのアイテム選択について　-ハンドトラッキングを用いた視野角外の利用-

こんにちは、なっつーです。

今回はVR内のUI(ユーザーインターフェース)について考えてみます。
一言にUIと言っても様々なものがあるわけですが、
今回は特にVR内のハンドトラッキングコントローラー(Oculus TouchやHTC Viveコン)を
使用する場合のUIの一例をご紹介します。

一言で言うと、
「(慣れれば、)前を向いたまま、アイテムを見ずに、素早く自分が選びたいアイテムを選ぶことができるシステム」

です。

この前JapanVRFestにて展示した、
「掴んでシュパーン」(仮)を例にして説明します。

イメージ画像はこんな感じです。

ハンドトラッキングコントローラーを用いることにより、
VRカメラビューの視野角外に存在するオブジェクトに干渉することが可能となるため、

視野角の外のスペースを利用してアイテムを設置します。

今回は自身の体の腰くらいの高さで、肘を曲げたままでも掴めるくらいの距離の
左前方、中央前方、右前方の3箇所に設置しています。

自身が左右を向くと、HMDのYaw回転に連動し、アイテムも動くようになっているため、どの方向を向いているときも左前方、中央前方、右前方の3箇所に出現します。

掴んでシュパーンでは、左前方及び右前方にそれぞれ手裏剣、中央前方に回復薬を設置することで、
通常時は両手の自然に掴める場所に手裏剣が、意識して中央前方に手を持ってくると回復薬を掴むことができます。

見えないところで掴むため、掴めた場合に
コントローラーの振動＋効果音を発生させることで、掴んだことを認識させます。
また、触れた段階で振動制御を行い、何のアイテムに触れているか(掴める状態になっているか)を判別させたいのですが、未実装です。

慣れるまでは、どこに何のアイテムが出てるか分からないため、
下を向いてアイテムを見ながら掴むことができるようにもします。
が、しかし、そのままではHMDのYaw回転に連動してアイテムが動くため、
左前方と右前方のアイテムがまともに見えない状態となります。
そこで、下を見た場合(HMDのPitch回転で判定)はアイテムのYaw回転連動を止めます。

慣れるまでは、下を見てアイテムを掴んで投げて、慣れてきたらアイテムの位置がおおよそ分かるので、前を向いたままアイテムを選んで投げることが可能となります。
また、人により取りやすい位置が異なるため、体験者自身で調整できるようにしておきます。

実際の動きの動画がこちらです。
(掴んでシュパーンチュートリアルより抜粋)