あまラボ Meta

アマレコVR Ver2.2.0 ベータ版公開

今回はMeta Quest版の公開となります。
内容はオンラインヘルプを用意しましたのでそちらを見てください。
先日公開したPico4版もほぼ同じ内容となっています（未実装部を除く）のでPico4版を使う場合もオンラインヘルプを参照してください。

アマレコVR Ver2.2.0 オンラインヘルプ

初めて利用される方は Ver2.0.0のオンラインヘルプも合わせて見てください。

１．更新内容
【主な更新内容】
・カメラパススルー機能 (Ver2.1.7)
・チャプタ機能
・画像表示機能
・ハンドジェスチャー機能
・マーカー機能強化
・シーク操作の強化
・曲面スクリーン
・アマレコVR Server Ver2.21

２．既存環境からの移行
アマレコVR Server Ver2.00からVer2.13のマーカーファイルやサムネイル画像を引き継ぐ場合は
既存環境からの移行 を参照してください。

３．アマレコVR Ver2.1.8 Pico4版を使っている場合

３．１．Ver2.1.8から更新された内容
【Ver2.1.8から更新された内容】
・画像ファイルを次々表示していると違う画像が表示されることがあるのを修正
・画質調整画面の「クリア」と「タグ挿入」を修正

３．２．アマレコVR Server Ver2.21
先日公開したPico4版を利用されている方はサーバー側もわずかに更新されています。

【Ver2.20から更新された項目】
・フォルダにグループ番号が表示されてしまうのを修正
・チャプタフォルダに関連するファイルのファイル捜索を修正
・カタログ機能のレイアウトを調整

３．３．サーバーのアップデート
既にアマレコVR Server Ver2.20を使っている場合はAmaRecVRServer.exeとLayout220フォルダを上書きしてください。
Ver2.20とVer2.21の通信プロトコルは同じ（220）ですのでアマレコVRアプリのPico4版とQuest版両方で使えます。

４．ダウンロード
・ アマレコVR Ver2.2.0 ベータ版
・ アマレコVRサーバー Ver2.21

テーマ : ソフトウェア　　　　ジャンル : コンピュータ

tag : アマレコVR パススルー機能 Meta Quest

アマレコVR Ver2.2.0概要

画像ファイル、音声ファイルへ対応

アマレコVR Ver2.2.0では動画以外に画像ファイルと音声ファイルに対応します。
画像の場合は本のように2画面で表示できます。また、プレイヤーも3つまで使えるため
動画、画像、BGMの再生を同時に利用できます。

ハンドジェスチャー機能

画像の場合は（Questのハンドトラッキング機能を使って）人差し指のジェスチャーだけでページをめくることができます。
VRコントローラーやマウスから手を放していても画像をどんどん変えることができるため便利です。

曲面スクリーン

スクリーンを湾曲させることができるようになります。曲率を設定できるため、360度曲げて自分の周りをぐるっと動画で囲むこともできます。

マーカー機能の強化

マーカー機能へ新たに単独マーカー8個が追加されます（シークバーの下のカラーキューブ）。範囲指定には使えませんが、ただの目印やシーク操作の際にスナップさせることができます。
また、マーカー関連の操作履歴機能も強化されアンドゥ、リドゥ自在となります。

シーク操作の強化

まだ動作が安定しないため暫定版となりますが、動画のシーク操作に関する設定が追加されます。
シークバーをドラッグしている間も随時再生位置を変更したり、サムネイルを表示することができます。

シークバーのサムネイル表示

最後に一番大事なチャプター機能

チャプター機能は非常に多機能なため説明するのは大変ですが代表的な働きとしてフォルダを一つのファイルのように扱うことができます。
2時間の動画作品だけど、30分ずつ4つのファイルに分かれていたり、100ページ、200ページあるマンガの画像ファイルなどを
作品毎に一つのフォルダへ入れて管理することができファイル画面がすっきりします。

青いフォルダアイコンが付いている「(4)bbb」は実際はフォルダですが、他のファイルと同じように名前順や日付順でリストに表示されクリックするだけで再生することができます。
この場合、フォルダの中に4つのmp4ファイルがありそれぞれ順番に再生されます。

アマレコVR Ver 2.2.0は 10月中の公開を目指しています。

テーマ : ソフトウェア　　　　ジャンル : コンピュータ

tag : アマレコVR Meta Quest oculus ハンドジェスチャー

Meta Quest Hand Tracking 2.0 ハントラ精度向上

先日Oculus Integration v39がリリースされました。
v39を導入するとOVRCameraRigのハンドトラッキングに関するオプションが増えHand Tracking 2.0が利用できるようになります。

OVRCameraRigのHand Tracking Versionで V2を選択する

Hand Tracking 2.0では両手が重なってもトラッキングできるなどトラッキング精度が向上しています。
なお Meta Quest1では利用できないようで、両手が重なると従来通りトラッキングできなくなります。

テーマ : ソフトウェア　　　　ジャンル : コンピュータ

tag : アマレコVR Meta Quest Hand Tracking 2.0

Meta Questで60fpsの動画を再生した場合について

今回はMeta Quest (Oculus Go、Oculus Quest)で60fpsの動画を再生した場合の話です。

もともと大抵のGoやQuest用メディアプレイヤー系アプリでは秒間50枚程度の映像しか表示することができません。
私が知る限り、初期から完全な形で動画の再生ができていた(リフレッシュレートを60Hzにして、60fpsの動画を再生して1秒間に60枚映像を表示することができる)のはOculus Go版のOculus galleryだけです。

VR動画プレイヤーにおける 60fpsの動画再生について
Oculus Quest 1発売当時 (2019年6月あたり)
アプリ	機種	備考
Oculus gallery	Go	60Hz 60fps可
Oculus gallery	Quest	72Hz 60fps (恐らく60Hz非対応)
SkyBox	Quest	50fps程度になってしまう 2020年10月あたりに60Hz 60fpsへ対応
AmaRecVR	Quest	50fps程度になってしまう 2021年6月に60Hz 60fpsへ対応

Oculus Quest1発売当時 (2019年6月あたり)のQuest版Oculus galleryはおそらくリフレッシュレートが60Hzにできていないため、完全に滑らかな60fpsの再生とはなっていませんでした。
その後、おそらくQuest2が発売された2020年10月あたりにSkyBoxが60Hz、60fpsの再生に対応し、更に遅れた2021年6月にアマレコVR2が60Hz、60fpsに対応しました。

■ 50fps程度になってしまう原因
Oculus GoやQuestはスマホ用のOSであるAndroidがベースとなって開発されています。
また、動画を再生する際もAndroidの動画再生機能(現在はExoPlayerが主流)を使うのが一般的と思われます。

十分な性能のスマホを所有していないので未確認ではありますが、スマホであれば ExoPlayerとSurfaceViewを使って動画を再生することにより簡単に良い結果が得られるものと思われます。

スマホではSurfaceViewにより上手くディスプレイ装置の動作に合わせたタイミング調整が行われると思われる

しかし、GoやQuestでは画面を表示する仕組みがAndroid用のスマホと異なり SurfaceViewが使えません。
そのため自動的に上手くやってもらえず、大抵の場合動画再生機能の動作タイミングとディスプレイ装置のタイミングが合わず表示されないフレームが発生してしまいます。

QuestではSurfaceViewが使えず 1リフレッシュ期間に2フレーム表示しようとしてしまうことがある

Oculus GoやQuestにおいて60Hz 60fpsで完全な再生をするには SurfaceViewに代わってアプリ側にタイミング調整の仕組みが必要となりますが、有名なassetのAVPro Ver1.11.5やOculus Integrationに含まれるプレイヤーアプリのサンプルではディスプレイ装置に合わせたタイミング調整が実装されていないため50fps程度の表示となってしまいます。

Android用のアプリ開発においてAVProはとても有力なassetと思われますので、Oculus GoやQuest用アプリでも多く使われていると思われます。

60fpsサンプル動画
30fpsサンプル動画
これを60Hz で再生すれば見た目で簡単に評価できると思います。

■ 60Hz 60fps以外にも
・60Hzで30fpsの動画を再生した際にきっちり2フレームずつ表示できるか
・72Hzで60fpsの動画を再生した際に 5フレーム表示した後 1フレーム休むと言った均等なフレーム割り当てができるか
・90Hzで60fpsの動画を150％で再生早回しでもきれいに再生できるか
・60Hzで90fpsの動画を67％で再生スロー再生でもきれいに再生できるか
・必ずタイミングはずれてくるので 10～20秒くらいに一度意図的にフレームを飛ばしたり重複させる処理が適切に行えているか

と言った評価ポイントがあります。

■ アマレコVRの最大fps
90Hz 90fpsまでは可能ですが、動画再生機能の上限が今のところ100fps弱なので120Hz 120fpsの再生はできません。
120Hz 60fpsでの再生は可能ですが動いているものがぶれて見える（60Hzで 30fpsの動画を再生した場合と同じ印象）ため 60Hz 60fpsで再生した方が見やすいです。

テーマ : ソフトウェア　　　　ジャンル : コンピュータ

tag : アマレコVR Oculus Quest GO Meta SkyBox

Meta Quest ファイルマネージャ系アプリを使ったアマレコVRのインストール

Meta Quest(Oculus Quest)の公式ストアの審査を受けていない野良アプリのアマレコVRをMeta QuestへインストールするにはPCとMeta QuestをUSBケーブルで繋いでPC上からADBコマンドでインストールする必要があります。

そこで、Meta QuestへAndroid用のファイルマネージャー系アプリを導入するとWi-Fiネットワーク経由でPC上のapkファイルをインストールすることができてとても便利です。

最初にファイルマネージャ系アプリをインストールするのにUSBケーブルやADBコマンドが必要ですが、一度ファイルマネージャ系アプリをインストールしてしまえば、USBケーブルやADBコマンド不要でMeta Quest内の操作によりアマレコVRをインストールしたりアップデートできるようになります。

１．ファイルマネージャ系アプリのapkファイルを入手する
(1) Androidスマホで公式サイトからファイルマネージャ系のアプリをインストールする
(2) スマホとPCをUSBケーブルで繋ぐ
(3) PCからADBコマンドを使ってファイルマネージャのapkファイルを抽出する

詳しいやり方は「android apk adb 抽出」で検索してください。主な流れは次の様になります。

フィルマネージャアプリのパッケージ名を調べる

インストールされているアプリのパッケージ名一覧
adb.exe shell pm list package

ファイルマネージャプラスの場合
com.alphainventor.filemanager
がパッケージ名

抽出したいアプリのパスを調べる

adb.exe shell pm list packages -f | findstr <アプリのパッケージ名>

ファイルマネージャプラスの場合
adb.exe shell pm list packages -f | findstr com.alphainventor.filemanager
結果
package:/data/app/com.alphainventor.filemanager****/base.apk=com.alphainventor.filemanager
この場合のパスは /data/app/com.alphainventor.filemanager****/base.apk

apkを抽出する

adb.exe pull <パス>

ファイルマネージャプラスの場合
adb.exe pull /data/app/com.alphainventor.filemanager****/base.apk

抽出するとPC上にファイルマネージャのapkファイル(base.apk)が作成されます。

※ スマホのUSBデバッグを有効にし適宜アクセス権を与える必要があります。

２．ファイルマネージャをMeta Questへインストールする
(1) PCとMeta QuestをUSBケーブルで繋ぐ
(2) PCからADBコマンドを使って1で抽出したファイルマネージャのapkをインストールする