アマレコVR2 All New Quest ベータ版 公開
開発環境を刷新し最新のOculus SDKおよび新プレイヤー機能などOculus Quest専用のアマレコVR2としてアマレコVRがリニューアルしました。
※ 既存のアマレコVR gQuestとは別アプリとしてインストールされます。
デバイス設定などは初期値にリセットされます。
１．更新内容
１．１．主な更新内容
・新プレイヤー機能AmaRec Player実装
・サムネイルを使ったカスタマイズ可能なカタログ機能
・ハンドトラッキング機能
・Oculus Quest 2の120Hzへ対応
・Oculus GO、Pico 非対応
１．２．そのほかの更新内容
・PCフォルダリスト(PCFolderList.vrl)に無視コマンド追加
・ファイル画面のファイル名蘭だけでなく フォルダ蘭も検索に使うテキストの選択が可能になりました
・スクリーンサイズや再生速度等のプリセット設定をアプリ上で行うように変更
・プレイヤー設定に「トリガー1回で再生する」を追加、従来通り トリガー2回で再生する場合はチェックボックスをOffにしてください
・UI表示時に 向き調整が割り当てられているボタン（初期値でグリップボタン)の長押しでUI表示位置を上下に調整するUIチルト機能を追加
・デバイス設定のUIチルト設定を廃止
・ディスプレイ周波数の初期値を60Hzに変更
・ボタン設定へ 「[Drag]向き調整(回転):正面リセット」と「[Drag]正面リセット:チルト」を追加
・リスト内の再生ファイルを示す プレイマーカーおよびプレイアイコンを追加
・メインプレイヤーボタン、サブプレイヤーボタンを押した際の動作を変更
・VRフォーマットを個別に管理する設定ファイル(VRFormatフォルダ内の拡張子vrfのファイル)を廃止
１．３．アマレコVRサーバー更新内容
・通信プロトコル更新(200)
・サムネイル機能実装
・メイン画面のサーバーアドレスへ 使えるIPアドレスを全て表示するように変更
１．４．既知の問題
・AmaRec Playerで再生開始時に 前に再生していた画像が一瞬表示されてしまう
・ファイル画面右下に表示している温度が常に0度
・サムネイルプレイヤー再生中に 画面が乱れる場合がある
・サムネイルプレイヤーの再生が出来なくなる場合がある（アプリを再起動しないと回復しない）
２．新機能の紹介
欠落フレームがほとんど生じない 滑らかな再生を可能にする AmaRec Player機能
サムネイルを使ったカスタマイズ可能なカタログ機能
ビットレートやコーデック名など情報中心のレイアウト
サムネイル画像のみのレイアウトや 左側のコマンドリスト（フォルダリスト）のカスタマイズも可能
メモ帳でレイアウトに関する様々なカスタマイズが可能
VR動画内で自分の手を表示する ハンドトラッキング機能
Oculus Quest2の120Hzへ対応 AmaRec Playerと合わせて120Hzのトラッキング状態で、60fpsの動画をキッチリ再生可能
３．簡易説明
ここでは最低限必要な説明のみ、詳細は後日説明します。
３．１．FFMPEGの導入
サムネイル画像を作るのにWindows版のFFMPEGを使うことができます。
FFMPEGが無くてもサムネイル画像を作ることはできますが、その場合、サムネイル画像を自動生成できるのはファイル画面を表示している間だけとなり、少しずつしか作成できません。
サーバー側へFFMPEGを導入すると、動画視聴中やアマレコVRを使っていない間でも大量にサムネイル画像を自動生成することができます。
【FFMPEG導入方法】
・アマレコVRサーバーのフォルダへ「ffmpeg」フォルダを作成
・Windows 64bit版のFFMPEGをダウンロード
https://github.com/GyanD/codexffmpeg/releases/tag/2020-12-20-git-ab6a56773f
ffmpeg-2020-12-20-git-ab6a56773f-full_build.zip
・解凍してできたbinフォルダ内のffmpeg.exeとffprobe.exeを
先に作ったアマレコVRサーバーのffmpegフォルダへコピー
・アマレコVRサーバーの設定にある「FFMPEGを使う」をON
・使っていない間にサムネイル画像を大量に作成するには、サーバー側の設定画面にある「サムネイル作成」ボタン
アマレコVRサーバーのフォルダへ「ffmpeg」フォルダを作って ffmpeg.exeとffprobe.exeをコピーする
３．２．ハンドトラッキング機能の使い方
VR空間内に自分の手を表示します。
親指と人差し指をくっつけて操作することもできますが非常に誤操作（誤判定）が多いため操作は無効の状態で使うことをお勧めします。現状は、VR空間へ自分の手を表示することが主目的となっています。
【使い方】
・Oculus Questの設定画面でジェスチャーコントロールを有効にする
・手とコントローラーの自動切り換えを有効にする
・アマレコVR2 を起動する
・VRコントローラーまたはPCマウス操作でコンソール画面の「ハントラ 表示」をOnにする
・VRコントローラーを置いて HMDの正面で手を動かせば手の画像が表示されます
・VRコントローラーの操作に戻す場合は VRコントローラーを持って何かしらのボタンを押してください
アマレコVR2の設定の「ボタン 音量」設定でHMDのボリュームボタンへ「ハンドトラッキング 表示」を割り当てると
動画視聴中に本体のボリュームボタンで素早く切り替えることができます。
３．３．アマレコVRサーバーの設定を引き継ぐ場合
・AmaRecVRServer.exeを上書きコピー
・Layoutフォルダをコピー
・PCFolderList.vrl 内の無視コマンド部を必要に応じてコピー
または 変更を加えていないなら PCFolderList.vrl 自体を上書きコピー
・VRFormatフォルダ内の拡張子vrfのファイルは不要になるのでVRFormatフォルダごと 削除
４．ダウンロード
・ アマレコVR2 Ver2.0.0
・ アマレコVRサーバー Ver2.00
AmaRec Player 検証用サンプル動画
・ 60fpsサンプル動画
・ 30fpsサンプル動画
※ 既存のアマレコVR gQuestとは別アプリとしてインストールされます。
デバイス設定などは初期値にリセットされます。
１．更新内容
１．１．主な更新内容
・新プレイヤー機能AmaRec Player実装
・サムネイルを使ったカスタマイズ可能なカタログ機能
・ハンドトラッキング機能
・Oculus Quest 2の120Hzへ対応
・Oculus GO、Pico 非対応
１．２．そのほかの更新内容
・PCフォルダリスト(PCFolderList.vrl)に無視コマンド追加
・ファイル画面のファイル名蘭だけでなく フォルダ蘭も検索に使うテキストの選択が可能になりました
・スクリーンサイズや再生速度等のプリセット設定をアプリ上で行うように変更
・プレイヤー設定に「トリガー1回で再生する」を追加、従来通り トリガー2回で再生する場合はチェックボックスをOffにしてください
・UI表示時に 向き調整が割り当てられているボタン（初期値でグリップボタン)の長押しでUI表示位置を上下に調整するUIチルト機能を追加
・デバイス設定のUIチルト設定を廃止
・ディスプレイ周波数の初期値を60Hzに変更
・ボタン設定へ 「[Drag]向き調整(回転):正面リセット」と「[Drag]正面リセット:チルト」を追加
・リスト内の再生ファイルを示す プレイマーカーおよびプレイアイコンを追加
・メインプレイヤーボタン、サブプレイヤーボタンを押した際の動作を変更
・VRフォーマットを個別に管理する設定ファイル(VRFormatフォルダ内の拡張子vrfのファイル)を廃止
１．３．アマレコVRサーバー更新内容
・通信プロトコル更新(200)
・サムネイル機能実装
・メイン画面のサーバーアドレスへ 使えるIPアドレスを全て表示するように変更
１．４．既知の問題
・AmaRec Playerで再生開始時に 前に再生していた画像が一瞬表示されてしまう
・ファイル画面右下に表示している温度が常に0度
・サムネイルプレイヤー再生中に 画面が乱れる場合がある
・サムネイルプレイヤーの再生が出来なくなる場合がある（アプリを再起動しないと回復しない）
２．新機能の紹介
欠落フレームがほとんど生じない 滑らかな再生を可能にする AmaRec Player機能
サムネイルを使ったカスタマイズ可能なカタログ機能
ビットレートやコーデック名など情報中心のレイアウト
サムネイル画像のみのレイアウトや 左側のコマンドリスト（フォルダリスト）のカスタマイズも可能
メモ帳でレイアウトに関する様々なカスタマイズが可能
VR動画内で自分の手を表示する ハンドトラッキング機能
Oculus Quest2の120Hzへ対応 AmaRec Playerと合わせて120Hzのトラッキング状態で、60fpsの動画をキッチリ再生可能
３．簡易説明
ここでは最低限必要な説明のみ、詳細は後日説明します。
３．１．FFMPEGの導入
サムネイル画像を作るのにWindows版のFFMPEGを使うことができます。
FFMPEGが無くてもサムネイル画像を作ることはできますが、その場合、サムネイル画像を自動生成できるのはファイル画面を表示している間だけとなり、少しずつしか作成できません。
サーバー側へFFMPEGを導入すると、動画視聴中やアマレコVRを使っていない間でも大量にサムネイル画像を自動生成することができます。
【FFMPEG導入方法】
・アマレコVRサーバーのフォルダへ「ffmpeg」フォルダを作成
・Windows 64bit版のFFMPEGをダウンロード
https://github.com/GyanD/codexffmpeg/releases/tag/2020-12-20-git-ab6a56773f
ffmpeg-2020-12-20-git-ab6a56773f-full_build.zip
・解凍してできたbinフォルダ内のffmpeg.exeとffprobe.exeを
先に作ったアマレコVRサーバーのffmpegフォルダへコピー
・アマレコVRサーバーの設定にある「FFMPEGを使う」をON
・使っていない間にサムネイル画像を大量に作成するには、サーバー側の設定画面にある「サムネイル作成」ボタン
アマレコVRサーバーのフォルダへ「ffmpeg」フォルダを作って ffmpeg.exeとffprobe.exeをコピーする
３．２．ハンドトラッキング機能の使い方
VR空間内に自分の手を表示します。
親指と人差し指をくっつけて操作することもできますが非常に誤操作（誤判定）が多いため操作は無効の状態で使うことをお勧めします。現状は、VR空間へ自分の手を表示することが主目的となっています。
【使い方】
・Oculus Questの設定画面でジェスチャーコントロールを有効にする
・手とコントローラーの自動切り換えを有効にする
・アマレコVR2 を起動する
・VRコントローラーまたはPCマウス操作でコンソール画面の「ハントラ 表示」をOnにする
・VRコントローラーを置いて HMDの正面で手を動かせば手の画像が表示されます
・VRコントローラーの操作に戻す場合は VRコントローラーを持って何かしらのボタンを押してください
アマレコVR2の設定の「ボタン 音量」設定でHMDのボリュームボタンへ「ハンドトラッキング 表示」を割り当てると
動画視聴中に本体のボリュームボタンで素早く切り替えることができます。
３．３．アマレコVRサーバーの設定を引き継ぐ場合
・AmaRecVRServer.exeを上書きコピー
・Layoutフォルダをコピー
・PCFolderList.vrl 内の無視コマンド部を必要に応じてコピー
または 変更を加えていないなら PCFolderList.vrl 自体を上書きコピー
・VRFormatフォルダ内の拡張子vrfのファイルは不要になるのでVRFormatフォルダごと 削除
４．ダウンロード
・ アマレコVR2 Ver2.0.0
・ アマレコVRサーバー Ver2.00
AmaRec Player 検証用サンプル動画
・ 60fpsサンプル動画
・ 30fpsサンプル動画
Oculus software v28 120Hz暫定対応と60fps動画再生テスト
私のOculus Quest2もアップデートがされ120Hzでの動作テストができました。
まだ正式対応ではないので、現状アマレコVRで120Hzを利用するにはadbコマンドで強制的に120HzにしてからアマレコVRを起動する必要があります。
強制的に120Hzにすると、アマレコVRのリフレッシュレートの設定にかかわらず常に120Hzでの動作となります。
ただし、リフレッシュレートの設定値を使ってタイミング処理を行いますので実際のリフレッシュレートと同じ120と設定してください。
（現在公開しているバージョンでは120Hzへ設定することはできません）
2021.4.28追記
120HzになるとAVPro(exoplayer)でもOculus製品において欠落フレームの少ない秒間60枚の映像を表示できるようです。
ただし、均等に2フレームずつ同じ画像を表示するわけではないので くるくるベンチの映像は若干ガクガクします。
Oculus QuestでAVPro（exoplayer）を使って60fpsの動画を再生すると、デコード後の出力タイミングがディスプレイ装置の表示タイミングと合わず欠落フレームが生じます（1秒間に60枚の画像を表示できない）。リフレッシュレートを上げることで徐々に欠落フレームは減少しますが、90Hzでもまだ欠落フレームは生じていました。
今回120Hzまでリフレッシュレートを上げることで、欠落フレーム自体はほぼ無いと言える状態となったようです。ただし、2フレームずつの均等な表示とまではいきません。
そこで、次のアマレコVRでは新プレイヤー機能としてAMPlayer（exoplayer）を実装します。
AMPlayerであれば均等に2フレームずつ表示されるので120Hz動作においてもスムーズなスクロールとなります。メインプレイヤーをAMPlayer、サブプレイヤーをAVProにして両方でくるくるベンチを再生しスクリーンを並べれば、同じ1秒間に60枚の画像を表示していてもスクロールの滑らかさに顕著な違いが見て取れます。
120Hzのデメリット
120Hzで同じ画像を2フレームずつ表示することで60fpsの動画を完璧に視聴できると思っていましたが、実際に映像を見てみると、（くるくるベンチのような映像では）輪郭が2重に見えるため（60Hzで30fpsの動画を再生するのと同じ現象）、60fpsの動画を視聴する場合の理想は依然として60Hzとなりそうです。
現状メディアプレイヤー系のアプリで120Hzにするメリットがあるとしたら AVProを使っていて できるだけ欠落フレームを減らしたい場合か、24fpsや120fpsの動画を視聴する場合でしょうか。
60fpsサンプル動画ファイル
くるくるベンチ
adb shell setprop debug.oculus.refreshRate 120
強制的に120Hzにすると、アマレコVRのリフレッシュレートの設定にかかわらず常に120Hzでの動作となります。
ただし、リフレッシュレートの設定値を使ってタイミング処理を行いますので実際のリフレッシュレートと同じ120と設定してください。
（現在公開しているバージョンでは120Hzへ設定することはできません）
2021.4.28追記
Qculus Questの「設定」の「テスト機能」に対応アプリで120Hzを使えるようするオプションがありました。
adbコマンドは使わずに この設定をONにするだけで 次のアマレコVRでは120Hzでの動作が可能です。
120HzになるとAVPro(exoplayer)でもOculus製品において欠落フレームの少ない秒間60枚の映像を表示できるようです。
ただし、均等に2フレームずつ同じ画像を表示するわけではないので くるくるベンチの映像は若干ガクガクします。
Oculus QuestでAVPro（exoplayer）を使って60fpsの動画を再生すると、デコード後の出力タイミングがディスプレイ装置の表示タイミングと合わず欠落フレームが生じます（1秒間に60枚の画像を表示できない）。リフレッシュレートを上げることで徐々に欠落フレームは減少しますが、90Hzでもまだ欠落フレームは生じていました。
今回120Hzまでリフレッシュレートを上げることで、欠落フレーム自体はほぼ無いと言える状態となったようです。ただし、2フレームずつの均等な表示とまではいきません。
そこで、次のアマレコVRでは新プレイヤー機能としてAMPlayer（exoplayer）を実装します。
AMPlayerであれば均等に2フレームずつ表示されるので120Hz動作においてもスムーズなスクロールとなります。メインプレイヤーをAMPlayer、サブプレイヤーをAVProにして両方でくるくるベンチを再生しスクリーンを並べれば、同じ1秒間に60枚の画像を表示していてもスクロールの滑らかさに顕著な違いが見て取れます。
120Hzのデメリット
120Hzで同じ画像を2フレームずつ表示することで60fpsの動画を完璧に視聴できると思っていましたが、実際に映像を見てみると、（くるくるベンチのような映像では）輪郭が2重に見えるため（60Hzで30fpsの動画を再生するのと同じ現象）、60fpsの動画を視聴する場合の理想は依然として60Hzとなりそうです。
現状メディアプレイヤー系のアプリで120Hzにするメリットがあるとしたら AVProを使っていて できるだけ欠落フレームを減らしたい場合か、24fpsや120fpsの動画を視聴する場合でしょうか。
60fpsサンプル動画ファイル
くるくるベンチ
