Oculus Questのパススルー機能APIを試してみた
数日前にOculusのパススルー機能APIが開発者向けに公開されたので、SDKに含まれるサンプルプログラムとメディアプレイヤー機能を組み合わせてみました。
twitter動画
oculus公式
passthrough API
Mixed Reality with Passthrough
サンプルプログラムの説明はフレームシンセシスさんの
「Unity + Oculus Quest 2 開発メモ」へ解り易くまとめられています。
雑感
プライバシーに配慮されているためか カメラの画像がアプリへ渡されてアプリ内の球面スクリーンへ張り付けるのではなく、
Questのシステムの方でアプリの画面とパススルーの画面を合成して表示する仕組みのようです。
そのため 悪意のあるアプリがカメラの画像を勝手に外部サーバーへアップロードすると言ったことはできないようです。
新しいSDK oculus integration v31でAVProによる動画再生ができませんでした。
調査して使えるようにする必要があります。
Oculusストアで公開される一般的なアプリへのパススルー機能の対応は今年後半とアナウンスされているため、まだまだ先になると思われます。
一方、Oculusストアを通さない野良アプリであれば すでに公開および利用可能となっています。
ただし、この場合でも勝手にパススルー機能が使われないよう、 ADBコマンドを使って自己責任でパススルー機能を有効にしてから アプリを起動する必要があります。
twitter動画
oculus公式
passthrough API
Mixed Reality with Passthrough
サンプルプログラムの説明はフレームシンセシスさんの
「Unity + Oculus Quest 2 開発メモ」へ解り易くまとめられています。
雑感
プライバシーに配慮されているためか カメラの画像がアプリへ渡されてアプリ内の球面スクリーンへ張り付けるのではなく、
Questのシステムの方でアプリの画面とパススルーの画面を合成して表示する仕組みのようです。
そのため 悪意のあるアプリがカメラの画像を勝手に外部サーバーへアップロードすると言ったことはできないようです。
新しいSDK oculus integration v31でAVProによる動画再生ができませんでした。
調査して使えるようにする必要があります。
Oculusストアで公開される一般的なアプリへのパススルー機能の対応は今年後半とアナウンスされているため、まだまだ先になると思われます。
一方、Oculusストアを通さない野良アプリであれば すでに公開および利用可能となっています。
ただし、この場合でも勝手にパススルー機能が使われないよう、 ADBコマンドを使って自己責任でパススルー機能を有効にしてから アプリを起動する必要があります。
Pico版アマレコVRの動画再生に関するfpsを検証
PicoスレにアマレコVRのPico版は「欠落フレームの改善が施された後でも実質45から50fps程しか表示できていない」旨の書き込みがありましたので、私の方で検証してみました。
１．検証条件
VR機器：Pico G2 4K PUI Ver 3.11.4
アプリ：アマレコVR Ver1.42 for Pico
検証に使う動画：scroll720_60p.mp4 （1280x720 59.94fps）
撮影：デジカメ カシオ EX-ZR300 （秒間480コマで撮影）
２．検証方法
Pico G2 4KでアマレコVRを起動して検証用に公開しているサンプル動画を再生する。
右上のフレームカウントが大きく映るよう 左右と下をクロップ。
VRのレンズ越しにハイスピードカメラで撮影した動画ファイルを解析し、フレームカウントの値の抜けや、重複を検証する。
60fpsで再生できていないのであれば、ハイスピードカメラで撮影した映像にフレームカウントの抜けがあり数値が飛び飛びになるはず。
３．検証結果
録画した検証結果動画（約3秒間）
冒頭の0.5秒分（約240コマ）を書き出すと次の通りになります。
35フレーム（36コマ目）は前のレームカウント2556が映っています。アスタリスクをつけた項は重複フレームです。
480fpsで撮影しているので 242フレーム（243コマ目）までで約0.5秒の撮影時間に相当し30カウント進んでいます。
その間、フレームカウントの抜けは無く、良好なタイミングで重複フレームが挿入されていることが判ります。
（今回の検証でPico G2 4Kは72Hzで動作している。）
240フレーム以降もざっと確認してみましたが 今回の検証の中で欠落フレームを検出することはありませんでした。
４．ひとこと
Ver1.40の開発の段階で同様の検証を行い、確認しながら制作していますし、ほかにもAVProのステータス等による確認など、多角的な確認を行っていますので私の方ではPico版アマレコVR Ver1.40以降はしっかり60fpsで再生できていると認識しています。
もし、45から50fps程度しか再生できないというのが本当であるなら、詳しく教えてほしいと思います。
・PUIの違い
・その人が検証した動画ファイルではfpsが低下する
・gQuest版とカン違い （gQuest版は60から50fpsの間を周期的に行ったり来たりするので 60fpsの再生はできない、AmaRecVR2で改善）
・その他
あと音質に関しては不明。Pico版のアマレコVRの音質はPico製品の標準的な音質なのではないでしょうか。
新しいSDKでビルドすれば 色収差の時のように、音質も改善されるとかなのかな？
１．検証条件
VR機器：Pico G2 4K PUI Ver 3.11.4
アプリ：アマレコVR Ver1.42 for Pico
検証に使う動画：scroll720_60p.mp4 （1280x720 59.94fps）
撮影：デジカメ カシオ EX-ZR300 （秒間480コマで撮影）
２．検証方法
Pico G2 4KでアマレコVRを起動して検証用に公開しているサンプル動画を再生する。
右上のフレームカウントが大きく映るよう 左右と下をクロップ。
VRのレンズ越しにハイスピードカメラで撮影した動画ファイルを解析し、フレームカウントの値の抜けや、重複を検証する。
60fpsで再生できていないのであれば、ハイスピードカメラで撮影した映像にフレームカウントの抜けがあり数値が飛び飛びになるはず。
３．検証結果
録画した検証結果動画（約3秒間）
冒頭の0.5秒分（約240コマ）を書き出すと次の通りになります。
最初のコマは真っ黒で、2フレーム（3コマ目）にフレームカウント2552が映っています。
検証結果動画のフレーム番号, 映っているフレームカウント
0, 真っ黒な画像
2, 2552
9, 2553
15, 2554
22, 2555
28, 2556
35, 2556*
42, 2557
49, 2558
55, 2559
62, 2560
69, 2561
75, 2561*
82, 2562
89, 2563
95, 2564
102, 2565
109, 2566
115, 2566*
122, 2567
129, 2568
135, 2569
142, 2570
149, 2571
155, 2571*
162, 2572
169, 2573
175, 2574
182, 2575
189, 2576
195, 2577
202, 2577*
209, 2578
215, 2579
222, 2580
229, 2581
236, 2582
242, 2582*
35フレーム（36コマ目）は前のレームカウント2556が映っています。アスタリスクをつけた項は重複フレームです。
480fpsで撮影しているので 242フレーム（243コマ目）までで約0.5秒の撮影時間に相当し30カウント進んでいます。
その間、フレームカウントの抜けは無く、良好なタイミングで重複フレームが挿入されていることが判ります。
（今回の検証でPico G2 4Kは72Hzで動作している。）
240フレーム以降もざっと確認してみましたが 今回の検証の中で欠落フレームを検出することはありませんでした。
４．ひとこと
Ver1.40の開発の段階で同様の検証を行い、確認しながら制作していますし、ほかにもAVProのステータス等による確認など、多角的な確認を行っていますので私の方ではPico版アマレコVR Ver1.40以降はしっかり60fpsで再生できていると認識しています。
もし、45から50fps程度しか再生できないというのが本当であるなら、詳しく教えてほしいと思います。
・PUIの違い
・その人が検証した動画ファイルではfpsが低下する
・gQuest版とカン違い （gQuest版は60から50fpsの間を周期的に行ったり来たりするので 60fpsの再生はできない、AmaRecVR2で改善）
・その他
あと音質に関しては不明。Pico版のアマレコVRの音質はPico製品の標準的な音質なのではないでしょうか。
新しいSDKでビルドすれば 色収差の時のように、音質も改善されるとかなのかな？
