アマレコVR パススルー実験版 進捗
アマレコVRのパススルー実験版は3段階での開発を予定しています。
◇アルファ1
公開済み(2021-09-03)
・パススルー機能
・メイン画面へのアルファマップ
◇アルファ2
あと1週間程度で公開予定
・メイン画面のアルファマップ強化 (二枚構成、ブラックマスクなど)
・サブ画面の強化 (アルファマップ、VRコーントローラーで直接空間へ設置など)
・ノンスケールからリアルスケールへ変更 (座標や距離表示、オブジェクトの大きさ、視差などパススルー映像に近いリアルなものになります)
◇アルファ3
11月上旬予定
・クロマキー合成へ対応
そのほか
現在のOculus Passthrough APIはOpenXR版のOVRPluginを使う必要があります。
そして OpenXR版 OVRPluginはハンドトラッキングをはじめいくつか未対応な状態です。
https://developer.oculus.com/documentation/unity/unity-openxr/?locale=ja_JP
ハンドトラッキングが使えれば パススルー映像 VR映像 さらにその上に自分の手（場合によっては腕まで）を表示することができ、もう一段上の体験ができると思われますので 優先的に対応したいところですが、Oculus側の進捗を待つことになると思われます。アルファ3に間に合うといいなと思っています。
◇アルファ1
公開済み(2021-09-03)
・パススルー機能
・メイン画面へのアルファマップ
◇アルファ2
あと1週間程度で公開予定
・メイン画面のアルファマップ強化 (二枚構成、ブラックマスクなど)
・サブ画面の強化 (アルファマップ、VRコーントローラーで直接空間へ設置など)
・ノンスケールからリアルスケールへ変更 (座標や距離表示、オブジェクトの大きさ、視差などパススルー映像に近いリアルなものになります)
◇アルファ3
11月上旬予定
・クロマキー合成へ対応
そのほか
現在のOculus Passthrough APIはOpenXR版のOVRPluginを使う必要があります。
そして OpenXR版 OVRPluginはハンドトラッキングをはじめいくつか未対応な状態です。
https://developer.oculus.com/documentation/unity/unity-openxr/?locale=ja_JP
ハンドトラッキングが使えれば パススルー映像 VR映像 さらにその上に自分の手（場合によっては腕まで）を表示することができ、もう一段上の体験ができると思われますので 優先的に対応したいところですが、Oculus側の進捗を待つことになると思われます。アルファ3に間に合うといいなと思っています。
アマレコVR Ver2.1.0 パススルー実験版 （アルファ版）
現在、開発者向けに公開されている Oculus Passthrough APIを利用したアマレコVRの実験版です。
パススルー機能による周囲の映像とVR動画の映像を合成した ミックスドリアリティ体験ができます。
１．インストール
アマレコVRオンラインヘルプのAPKファイル インストールの項を見てください。
２．準備
２．１．開発者向け機能を有効にする
現在 Oculus Passthrough APIは開発者向けですので、アプリケーションを実行する前にOculus QuestとPCをUSBケーブルで接続してからADBコマンドで開発者向け機能を有効にする必要があります。
※ Questを再起動すると 無効に戻ってしまうので、その都度ADBコマンドで有効にする必要があります。
２．２．アルファ版とベータ版の使い分け
アマレコVR Ver2.1.0 アルファ版は Ver2.0.0 ベータ版とは別のアプリとしてインストールされます。
そのためVer2.0.0の環境を崩すことなく実験することができます。
一方、アマレコVRサーバーの更新はありません Ver2.00を共通で利用します。
２．３．アルファマップ用のPNG画像をアマレコVRサーバーへコピーする
解凍してできる[alphamap]フォルダを丸ごと AmaRecVRServer.exe と同じフォルダへコピーしてください。
３．使い方
パススルーに関する機能は[メイン画面設定]に集約されています。
・メインスクリーンを半透明にする
メイン画面へ透明度とアルファマップを適用します。
チェックボックスがOFFの場合 メインスクリーンは常に不透明となります。
・アルファマップ
VR動画は視界の多くを覆うため パススルーの映像が見えなくなってしまいます。
そこでアルファマップにより VR動画を表示する部分と パススルー映像を表示する部分を指定します。
アルファマップの白い部分へVR動画、黒い部分へパススルー映像を表示するようになっています。
アルファマップは5パターンあり 大きさと 位置調整ができます。
また、アルファマップ用のPNGファイルは差し替えることができます。
[アルファマップ1]
中央部分にVR動画 周囲をパススルー映像にします。
[拡大]でVR動画を表示する領域を調整してください。
[アルファマップ2]
中央部分をパススルー映像 周囲をVR動画にします。
[拡大]でパススルー映像を表示する領域を調整してください。
[アルファマップ3]
中央部分にVR動画を表示し 上のほうを半透明 下のほうを不透明にします。
[拡大]でVR動画を表示する領域を調整してください。
また、[拡大 縦]をマイナスにすることで 上の方を不透明 下の方を半透明にできます。
[アルファマップ4]
上の方の一部を半透明にします。
[アルファマップ5]
天井や床をパススルー映像にします。
・向きロック
ヘッドマウントディスプレイの向きに合わせて アルファマップを常に正面へ表示します。
４．ボタン設定
パススルーに関する機能が追加されています。
また、従来からありますが、メイン画面設定を直接表示する[メイン画面設定を表示]をお勧めします。
[半透明にする On/Off]は本体のボリュームボタンへ割り当てることをお勧めします。
マウスのホイールへ割り当てることができる機能
５．その他
・ハンドトラッキングに関する機能は使えません。
・パススルー機能は Oculus software v31以降でないと使えません。
・Oculus Quest 1でも利用可能です。
・アマレコVR実行中にパススルー映像をON / OFFにすることはできません。
・設定画面のマウスボタン設定でホイール機能が選べない不具合を修正しました。
・アマレコVRアプリによりサムネイル画像を作成すると白っぽい画像になってしまいます。
サムネイル画像の自動生成はサーバー側で行ってください。
・アルファマップにも視差があります。
範囲を小さくしすぎると VR動画の視差と合わず、見づらくなりますので注意してください。
・位置合わせ
VR動画とパススルー画像の位置をぴったり合わせようとするときに「ちょっと遠い」、「ちょっと近い」場合は[位置Z]と[Stereo調整]で行います。Stereo調整で合わせることができるならStereo調整を優先してください。
６．ダウンロード
・ アマレコVR Ver2.1.0
・ アマレコVRサーバー Ver2.00
アマレコVRサーバーは更新なし
オンラインヘルプ Ver2.0.0
新しいバージョン アマレコVR Ver2.1.7が公開されています。
パススルー機能による周囲の映像とVR動画の映像を合成した ミックスドリアリティ体験ができます。
１．インストール
アマレコVRオンラインヘルプのAPKファイル インストールの項を見てください。
２．準備
２．１．開発者向け機能を有効にする
現在 Oculus Passthrough APIは開発者向けですので、アプリケーションを実行する前にOculus QuestとPCをUSBケーブルで接続してからADBコマンドで開発者向け機能を有効にする必要があります。
adb.exe shell setprop debug.oculus.experimentalEnabled 1
※ Questを再起動すると 無効に戻ってしまうので、その都度ADBコマンドで有効にする必要があります。
２．２．アルファ版とベータ版の使い分け
アマレコVR Ver2.1.0 アルファ版は Ver2.0.0 ベータ版とは別のアプリとしてインストールされます。
そのためVer2.0.0の環境を崩すことなく実験することができます。
一方、アマレコVRサーバーの更新はありません Ver2.00を共通で利用します。
２．３．アルファマップ用のPNG画像をアマレコVRサーバーへコピーする
解凍してできる[alphamap]フォルダを丸ごと AmaRecVRServer.exe と同じフォルダへコピーしてください。
３．使い方
パススルーに関する機能は[メイン画面設定]に集約されています。
・メインスクリーンを半透明にする
メイン画面へ透明度とアルファマップを適用します。
チェックボックスがOFFの場合 メインスクリーンは常に不透明となります。
・アルファマップ
VR動画は視界の多くを覆うため パススルーの映像が見えなくなってしまいます。
そこでアルファマップにより VR動画を表示する部分と パススルー映像を表示する部分を指定します。
アルファマップの白い部分へVR動画、黒い部分へパススルー映像を表示するようになっています。
アルファマップは5パターンあり 大きさと 位置調整ができます。
また、アルファマップ用のPNGファイルは差し替えることができます。
[アルファマップ1]
中央部分にVR動画 周囲をパススルー映像にします。
[拡大]でVR動画を表示する領域を調整してください。
[アルファマップ2]
中央部分をパススルー映像 周囲をVR動画にします。
[拡大]でパススルー映像を表示する領域を調整してください。
[アルファマップ3]
中央部分にVR動画を表示し 上のほうを半透明 下のほうを不透明にします。
[拡大]でVR動画を表示する領域を調整してください。
また、[拡大 縦]をマイナスにすることで 上の方を不透明 下の方を半透明にできます。
[アルファマップ4]
上の方の一部を半透明にします。
[アルファマップ5]
天井や床をパススルー映像にします。
・向きロック
ヘッドマウントディスプレイの向きに合わせて アルファマップを常に正面へ表示します。
４．ボタン設定
パススルーに関する機能が追加されています。
また、従来からありますが、メイン画面設定を直接表示する[メイン画面設定を表示]をお勧めします。
[半透明にする On/Off]は本体のボリュームボタンへ割り当てることをお勧めします。
マウスのホイールへ割り当てることができる機能
５．その他
・ハンドトラッキングに関する機能は使えません。
・パススルー機能は Oculus software v31以降でないと使えません。
・Oculus Quest 1でも利用可能です。
・アマレコVR実行中にパススルー映像をON / OFFにすることはできません。
・設定画面のマウスボタン設定でホイール機能が選べない不具合を修正しました。
・アマレコVRアプリによりサムネイル画像を作成すると白っぽい画像になってしまいます。
サムネイル画像の自動生成はサーバー側で行ってください。
・アルファマップにも視差があります。
範囲を小さくしすぎると VR動画の視差と合わず、見づらくなりますので注意してください。
・位置合わせ
VR動画とパススルー画像の位置をぴったり合わせようとするときに「ちょっと遠い」、「ちょっと近い」場合は[位置Z]と[Stereo調整]で行います。Stereo調整で合わせることができるならStereo調整を優先してください。
６．ダウンロード
・ アマレコVR Ver2.1.0
・ アマレコVRサーバー Ver2.00
アマレコVRサーバーは更新なし
オンラインヘルプ Ver2.0.0
新しいバージョン アマレコVR Ver2.1.7が公開されています。
