fc2ブログ
 

Meta Quest Hand Tracking 2.0 ハントラ精度向上

先日Oculus Integration v39がリリースされました。
v39を導入するとOVRCameraRigのハンドトラッキングに関するオプションが増えHand Tracking 2.0が利用できるようになります。

OVRCameraRigのHand Tracking Versionで V2を選択する
camerarig20.png


Hand Tracking 2.0では両手が重なってもトラッキングできるなど トラッキング精度が向上しています。
なお Meta Quest1では利用できないようで、両手が重なると従来通りトラッキングできなくなります。
hand20.png


Meta Questで60fpsの動画を再生した場合について

今回はMeta Quest (Oculus Go、Oculus Quest)で60fpsの動画を再生した場合の話です。

もともと大抵のGoやQuest用メディアプレイヤー系アプリでは秒間50枚程度の映像しか表示することができません。
私が知る限り、初期から完全な形で動画の再生ができていた(リフレッシュレートを60Hzにして、60fpsの動画を再生して1秒間に60枚映像を表示することができる)のはOculus Go版のOculus galleryだけです。


VR動画プレイヤーにおける 60fpsの動画再生について
Oculus Quest 1発売当時 (2019年6月あたり)
アプリ機種備考
 Oculus galleryGo 60Hz 60fps可
 Oculus galleryQuest 72Hz 60fps (恐らく60Hz非対応)
 SkyBoxQuest 50fps程度になってしまう
 2020年10月あたりに60Hz 60fpsへ対応
 AmaRecVRQuest 50fps程度になってしまう
 2021年6月に60Hz 60fpsへ対応


Oculus Quest1発売当時 (2019年6月あたり)のQuest版Oculus galleryはおそらくリフレッシュレートが60Hzにできていないため、完全に滑らかな60fpsの再生とはなっていませんでした。
その後、おそらくQuest2が発売された2020年10月あたりにSkyBoxが60Hz、60fpsの再生に対応し、更に遅れた2021年6月にアマレコVR2が60Hz、60fpsに対応しました。


■ 50fps程度になってしまう原因
Oculus GoやQuestはスマホ用のOSであるAndroidがベースとなって開発されています。
また、動画を再生する際もAndroidの動画再生機能(現在はExoPlayerが主流)を使うのが一般的と思われます。

十分な性能のスマホを所有していないので未確認ではありますが、スマホであれば ExoPlayerとSurfaceViewを使って動画を再生することにより 簡単に良い結果が得られるものと思われます。

スマホではSurfaceViewにより上手くディスプレイ装置の動作に合わせたタイミング調整が行われると思われる



しかし、GoやQuestでは画面を表示する仕組みがAndroid用のスマホと異なり SurfaceViewが使えません。
そのため自動的に上手くやってもらえず、大抵の場合 動画再生機能の動作タイミングとディスプレイ装置のタイミングが合わず 表示されないフレームが発生してしまいます。

QuestではSurfaceViewが使えず 1リフレッシュ期間に2フレーム表示しようとしてしまうことがある



Oculus GoやQuestにおいて60Hz 60fpsで完全な再生をするには SurfaceViewに代わって アプリ側にタイミング調整の仕組みが必要となりますが、有名なassetのAVPro Ver1.11.5やOculus Integrationに含まれるプレイヤーアプリのサンプルではディスプレイ装置に合わせたタイミング調整が実装されていないため50fps程度の表示となってしまいます。

Android用のアプリ開発においてAVProはとても有力なassetと思われますので、Oculus GoやQuest用アプリでも多く使われていると思われます。

60fpsサンプル動画
30fpsサンプル動画
これを60Hz で再生すれば見た目で簡単に評価できると思います。



■ 60Hz 60fps以外にも
・60Hzで30fpsの動画を再生した際に きっちり2フレームずつ表示できるか
・72Hzで60fpsの動画を再生した際に 5フレーム表示した後 1フレーム休む と言った均等なフレーム割り当てができるか
・90Hzで60fpsの動画を150%で再生 早回しでもきれいに再生できるか
・60Hzで90fpsの動画を67%で再生 スロー再生でもきれいに再生できるか
・必ずタイミングはずれてくるので 10~20秒くらいに一度 意図的にフレームを飛ばしたり 重複させる処理が適切に行えているか

と言った評価ポイントがあります。


■ アマレコVRの最大fps
90Hz 90fpsまでは可能ですが、動画再生機能の上限が今のところ100fps弱なので120Hz 120fpsの再生はできません。
120Hz 60fpsでの再生は可能ですが 動いているものがぶれて見える(60Hzで 30fpsの動画を再生した場合と同じ印象)ため 60Hz 60fpsで再生した方が 見やすいです。


Meta Quest ファイルマネージャ系アプリを使ったアマレコVRのインストール

Meta Quest(Oculus Quest)の公式ストアの審査を受けていない野良アプリのアマレコVRをMeta QuestへインストールするにはPCとMeta QuestをUSBケーブルで繋いでPC上からADBコマンドでインストールする必要があります。

そこで、Meta QuestへAndroid用のファイルマネージャー系アプリを導入するとWi-Fiネットワーク経由でPC上のapkファイルをインストールすることができて とても便利です。
filemanager100.png


最初にファイルマネージャ系アプリをインストールするのにUSBケーブルやADBコマンドが必要ですが、一度ファイルマネージャ系アプリをインストールしてしまえば、USBケーブルやADBコマンド不要でMeta Quest内の操作によりアマレコVRをインストールしたりアップデートできるようになります。


1.ファイルマネージャ系アプリのapkファイルを入手する
(1) Androidスマホで公式サイトからファイルマネージャ系のアプリをインストールする
(2) スマホとPCをUSBケーブルで繋ぐ
(3) PCからADBコマンドを使ってファイルマネージャのapkファイルを抽出する

詳しいやり方は 「android apk adb 抽出」で検索してください。主な流れは次の様になります。

フィルマネージャアプリのパッケージ名を調べる

インストールされているアプリのパッケージ名一覧
adb.exe shell pm list package

ファイルマネージャプラスの場合
com.alphainventor.filemanager
がパッケージ名



抽出したいアプリのパスを調べる

adb.exe shell pm list packages -f | findstr <アプリのパッケージ名>

ファイルマネージャプラスの場合
adb.exe shell pm list packages -f | findstr com.alphainventor.filemanager
結果
package:/data/app/com.alphainventor.filemanager****/base.apk=com.alphainventor.filemanager
この場合のパスは /data/app/com.alphainventor.filemanager****/base.apk



apkを抽出する

adb.exe pull <パス>

ファイルマネージャプラスの場合
adb.exe pull /data/app/com.alphainventor.filemanager****/base.apk



抽出するとPC上にファイルマネージャのapkファイル(base.apk)が作成されます。

※ スマホのUSBデバッグを有効にし 適宜アクセス権を与える必要があります。



2.ファイルマネージャをMeta Questへインストールする
(1) PCとMeta QuestをUSBケーブルで繋ぐ
(2) PCからADBコマンドを使って1で抽出したファイルマネージャのapkをインストールする

adb.exe install -r base.apk



インストールしたファイルマネージャは提供元不明から起動できます。
filemanager101fumei.png

※ Meta Questを開発者モードにし 適宜アクセス権を与える必要があります。


3.ファイルマネージャプラス
filemanager102fmp.png

ファイルマネージャプラスでは[リモート]からSMBを使ってWindowsの共有フォルダへアクセスできます。
filemanager103smb.png

最初はインストールする権限がなく失敗しますが、設定を選択してインストール権限を有効にすると・・・
filemanager120error.png

apkファイルを選択してインストールやアップデートができるようになります。
filemanager121install.png


 
 
あまラボへようこそ
このブログでは自作ソフトの最新情報やtips、PC動画に関する話題を掲載していきます。各記事へは下にあるカテゴリからアクセスして下さい。

ファイルのダウンロードはホームページの方でお願い致します。

質問・要望・不具合報告はこちら
アマレコTV
アマミキ!
アマレココ
アマレコ・ライト
ファンタジーリモート
AMVコーデック



ホームページ
カテゴリ
最新コメント
カレンダー
04 | 2022/05 | 06
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 31 - - - -
最新記事
最新トラックバック
ブログ内タグ

アマレコTV ビデオキャプチャ AMVコーデック アマレコVR Oculus アマレココ Quest アマミキ! コーデック gQuest SC500 動画配信 Pico GO ファンタジーリモート 4K アマレコライト プラグイン G2 AMV4 oculus ライブ機能 SC512 Unity AVX2 デスクトップキャプチャ Passthrough リモートソフト FAQ 質問コーナー DirectShow ニコニコ動画 120Hz HDキャプチャ 遅延 可変再生速度 レゴ 解説動画 組み換え VR LEGO XL2420T GV-USB2 2 倍速液晶 AMV2MT 液晶モニター アマステ ベンチマーク デインターレース Intensity VRonVR PS4 パススルー機能 Meta Pro MonsterX3A designs VideoKeeper2 XCAPTURE-1 Alternate AVX インストール GV-USB SD-USB2CAP4 RDT233WX-Z 32ZP2 31006 ffmpeg Rift WindowsMR 60fps 背景透過 31024 T2 画像処理 RGBキャプチャ UtVideo Shadow Play RYZEN Haswell 電源オプション MP3 HDCP MonsterXU3.0R HDMI ゲームスムーズモード 音遅延 LameACM HT 倍速補完処理 31021 フィギュア ハイパースレッディングテクノロジー MPC NVEnc OBS QSV モノステ DirectShowFilter プレビュー 擬似NTSCキャプチャ Livetube AtomでHDキャプチャ キャプチャーツール シンクライアント イベント SD-USB2CUP4 IntensityPro 32ZP32 額縁遅延 REGZA 液晶テレビ 倍速駆動 DC-HD1 リプレイ機能 音ズレ ZP3 GV-USB3 passthrough APIパススルー機能 API 検証 60Hz 新アマレコVR 新プレイヤー機能 AMPlayer Robust Video Hand Tracking 2.0 SkyBox ファイルマネージャプラス Matting python pytorch 90Hz Windows キャプチャカード 可逆圧縮 GPU使用率 SKnet SSE オーバーレイ XCapture-1 Kabelake LAVFilters Preferred フレーム間圧縮 VRコントローラー MR VR動画 SteamVR Filter Tweaker 録画 

ブログ内検索
月別アーカイブ
アマレココに関するリンク
お世話になっているソフトのリンク
RSSリンクの表示
管理画面
  • 管理画面