fc2ブログ
 

Oculus Questのパススルー機能APIを試してみた

数日前にOculusのパススルー機能APIが開発者向けに公開されたので、SDKに含まれるサンプルプログラムとメディアプレイヤー機能を組み合わせてみました。

twitter動画
passthrough.png


oculus公式
passthrough API
Mixed Reality with Passthrough

サンプルプログラムの説明はフレームシンセシスさんの
「Unity + Oculus Quest 2 開発メモ」へ解り易くまとめられています。



雑感
プライバシーに配慮されているためか カメラの画像がアプリへ渡されてアプリ内の球面スクリーンへ張り付けるのではなく、
Questのシステムの方でアプリの画面とパススルーの画面を合成して表示する仕組みのようです。
そのため 悪意のあるアプリがカメラの画像を勝手に外部サーバーへアップロードすると言ったことはできないようです。

新しいSDK oculus integration v31でAVProによる動画再生ができませんでした。
調査して使えるようにする必要があります。

Oculusストアで公開される一般的なアプリへのパススルー機能の対応は今年後半とアナウンスされているため、まだまだ先になると思われます。
一方、Oculusストアを通さない野良アプリであれば すでに公開および利用可能となっています。
ただし、この場合でも勝手にパススルー機能が使われないよう、 ADBコマンドを使って自己責任でパススルー機能を有効にしてから アプリを起動する必要があります。


Pico版アマレコVRの動画再生に関するfpsを検証

PicoスレにアマレコVRのPico版は「欠落フレームの改善が施された後でも実質45から50fps程しか表示できていない」旨の書き込みがありましたので、私の方で検証してみました。

1.検証条件
VR機器:Pico G2 4K PUI Ver 3.11.4
アプリ:アマレコVR Ver1.42 for Pico
検証に使う動画:scroll720_60p.mp4 (1280x720 59.94fps)
撮影:デジカメ カシオ EX-ZR300 (秒間480コマで撮影)

2.検証方法
Pico G2 4KでアマレコVRを起動して検証用に公開しているサンプル動画を再生する。
右上のフレームカウントが大きく映るよう 左右と下をクロップ。
VRのレンズ越しにハイスピードカメラで撮影した動画ファイルを解析し、フレームカウントの値の抜けや、重複を検証する。
60fpsで再生できていないのであれば、ハイスピードカメラで撮影した映像にフレームカウントの抜けがあり数値が飛び飛びになるはず。

3.検証結果
録画した検証結果動画(約3秒間)
CIMG3975pico_amvr142_scroll720_60p7.png


冒頭の0.5秒分(約240コマ)を書き出すと次の通りになります。


検証結果動画のフレーム番号, 映っているフレームカウント
0, 真っ黒な画像
2, 2552
9, 2553
15, 2554
22, 2555
28, 2556
35, 2556*
42, 2557
49, 2558
55, 2559
62, 2560
69, 2561
75, 2561*
82, 2562
89, 2563
95, 2564
102, 2565
109, 2566
115, 2566*
122, 2567
129, 2568
135, 2569
142, 2570
149, 2571
155, 2571*
162, 2572
169, 2573
175, 2574
182, 2575
189, 2576
195, 2577
202, 2577*
209, 2578
215, 2579
222, 2580
229, 2581
236, 2582
242, 2582*

最初のコマは真っ黒で、2フレーム(3コマ目)にフレームカウント2552が映っています。
35フレーム(36コマ目)は前のレームカウント2556が映っています。アスタリスクをつけた項は重複フレームです。
480fpsで撮影しているので 242フレーム(243コマ目)までで約0.5秒の撮影時間に相当し30カウント進んでいます。
その間、フレームカウントの抜けは無く、良好なタイミングで重複フレームが挿入されていることが判ります。
(今回の検証でPico G2 4Kは72Hzで動作している。)
240フレーム以降もざっと確認してみましたが 今回の検証の中で欠落フレームを検出することはありませんでした。


4.ひとこと
Ver1.40の開発の段階で同様の検証を行い、確認しながら制作していますし、ほかにもAVProのステータス等による確認など、多角的な確認を行っていますので私の方ではPico版アマレコVR Ver1.40以降はしっかり60fpsで再生できていると認識しています。
もし、45から50fps程度しか再生できないというのが本当であるなら、詳しく教えてほしいと思います。

・PUIの違い
・その人が検証した動画ファイルではfpsが低下する
・gQuest版とカン違い (gQuest版は60から50fpsの間を周期的に行ったり来たりするので 60fpsの再生はできない、AmaRecVR2で改善)
・その他

あと音質に関しては不明。Pico版のアマレコVRの音質はPico製品の標準的な音質なのではないでしょうか。
新しいSDKでビルドすれば 色収差の時のように、音質も改善されるとかなのかな?


 
 
あまラボへようこそ
このブログでは自作ソフトの最新情報やtips、PC動画に関する話題を掲載していきます。各記事へは下にあるカテゴリからアクセスして下さい。

ファイルのダウンロードはホームページの方でお願い致します。

質問・要望・不具合報告はこちら
アマレコTV
アマミキ!
アマレココ
アマレコ・ライト
ファンタジーリモート
AMVコーデック



ホームページ
カテゴリ
最新コメント
カレンダー
07 | 2021/08 | 09
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 31 - - - -
最新記事
最新トラックバック
ブログ内タグ

アマレコTV ビデオキャプチャ アマレコVR AMVコーデック Oculus アマレココ Quest アマミキ! コーデック gQuest SC500 動画配信 Pico GO ファンタジーリモート 4K アマレコライト Unity プラグイン G2 AMV4 oculus SC512 ライブ機能 パススルー機能 Passthrough デスクトップキャプチャ AVX2 リモートソフト FAQ アセット機能 質問コーナー DirectShow HDキャプチャ ニコニコ動画 Asset 120Hz 背景透過 レゴ 遅延 可変再生速度 組み換え 解説動画 LEGO MetaQuest Meta VR GV-USB2 2 XL2420T Pico4 Quest3 液晶モニター 倍速液晶 AMV2MT デインターレース ベンチマーク アマステ Pro 背景透過V3 PS4 VRonVR MonsterX3A Intensity VideoKeeper2 designs インストール Alternate AVX XCAPTURE-1 31024 GV-USB SD-USB2CAP4 ffmpeg 32ZP2 31006 RDT233WX-Z 画像処理 60fps Robust Matting RGBキャプチャ Rift Video Shadow Play WindowsMR RYZEN UtVideo T2 HDMI NVEnc HDCP QSV LameACM OBS 音遅延 MP3 Haswell 電源オプション 音ズレ 録画 オーバーレイ XCapture-1 MonsterXU3.0R フィギュア ハイパースレッディングテクノロジー HT 31021 MPC 液晶テレビ DirectShowFilter プレビュー 擬似NTSCキャプチャ SD-USB2CUP4 Livetube AtomでHDキャプチャ キャプチャーツール シンクライアント イベント IntensityPro DC-HD1 額縁遅延 REGZA ZP3 倍速補完処理 32ZP32 Kabelake リプレイ機能 モノステ 倍速駆動 ゲームスムーズモード LAVFilters SkyBox Hand Tracking 2.0 ファイルマネージャプラス pytorch APIパススルー機能 API python ハンドジェスチャー パカラーススルー機能 アルファ付き動画 アルファ付きVR動画 RVM クロマキー ダウンロード AssetBundle 物理処理 download passthrough 検証 Preferred Filter Tweaker SteamVR GPU使用率 可逆圧縮 SKnet GV-USB3 キャプチャカード VR動画 フレーム間圧縮 新プレイヤー機能 AMPlayer 60Hz 新アマレコVR 90Hz VRコントローラー MR Windows SSE 

ブログ内検索
月別アーカイブ
アマレココに関するリンク
お世話になっているソフトのリンク
RSSリンクの表示
管理画面
  • 管理画面