アマレコVR Ver2.1.5 アルファ5 背景透過試作版 第二弾 公開
自動背景透過処理の試作版の第二弾です。
画像処理を改善しレスポンスの向上と背景と判断する部分が増えました。
黒いT字の被写体に対し 赤い輪郭のマスクパターンを作成したいけど、緑の領域が加わっていたのが改善されます。
１．導入
アマレコVR Ver2.1.3 アルファ3を使っていることが前提です。
まだの人はアルファ3の記事も合わせて観てください。
今回はアルファ5としてインストールされます。
アルファ3、アルファ4とは別アプリとしてインストールされます。
２．使い方
メイン画面設定の[画像処理]メニューから[自動背景透過]を選択してください。
あとはメインプレイヤーで再生されている映像を自動で処理します。
※ アマレコVRアプリのプレイヤー設定でAmaRec Playerを選択してください。（初期値はAmaRec Playerなので通常はそのままでOKです）
AVProでは利用できません。
※ アルファ4を利用していた場合でも 画像処理の設定が初期値の[処理なし]に戻っています。再度、[自動背景透過]を選択してください。
■画像処理メニュー
[ぼかし（時間）]
過去のフレームと加算し映像をぼかす度合いを設定します。
数値が大きいほど映像のノイズや不安定な照明、差分フレームとキーフレームの画質差などを軽減し背景の判定がやりやすくなります。
逆に、被写体の動きの検出がし難くなるため 動きの少ない被写体も背景と誤判定され消えやすくなってしまいます。
また、数値が大きいと 新しいフレームの影響が少なくなるため タイムラグが生じます。
[背景閾値]
低いほど被写体に有利な判定になります。代わりに背景の判定が上手くできず消えにくくなります。
高いほど背景に有利な代わりに 被写体が誤判定され消えやすくなります。
[輪郭ぼかし]と[輪郭サイズ]
判定結果（マスクパターン）の輪郭を調整します。お好みで調整してください。
[背景バッファクリア]
現在の解析結果を破棄し、ゼロから構築しなおします。設定の変更が反映されない場合にクリアしてください。
３．画像処理概要
アルファ4の記事を観てください
４．ダウンロード
・ アマレコVR Ver2.1.5 試作版
・ アマレコVRサーバー Ver2.13
※ アマレコVRサーバーは更新なし
新しいバージョン アマレコVR Ver2.1.7が公開されています。
画像処理を改善しレスポンスの向上と背景と判断する部分が増えました。
黒いT字の被写体に対し 赤い輪郭のマスクパターンを作成したいけど、緑の領域が加わっていたのが改善されます。
１．導入
アマレコVR Ver2.1.3 アルファ3を使っていることが前提です。
まだの人はアルファ3の記事も合わせて観てください。
今回はアルファ5としてインストールされます。
アルファ3、アルファ4とは別アプリとしてインストールされます。
２．使い方
メイン画面設定の[画像処理]メニューから[自動背景透過]を選択してください。
あとはメインプレイヤーで再生されている映像を自動で処理します。
※ アマレコVRアプリのプレイヤー設定でAmaRec Playerを選択してください。（初期値はAmaRec Playerなので通常はそのままでOKです）
AVProでは利用できません。
※ アルファ4を利用していた場合でも 画像処理の設定が初期値の[処理なし]に戻っています。再度、[自動背景透過]を選択してください。
■画像処理メニュー
[ぼかし（時間）]
過去のフレームと加算し映像をぼかす度合いを設定します。
数値が大きいほど映像のノイズや不安定な照明、差分フレームとキーフレームの画質差などを軽減し背景の判定がやりやすくなります。
逆に、被写体の動きの検出がし難くなるため 動きの少ない被写体も背景と誤判定され消えやすくなってしまいます。
また、数値が大きいと 新しいフレームの影響が少なくなるため タイムラグが生じます。
[背景閾値]
低いほど被写体に有利な判定になります。代わりに背景の判定が上手くできず消えにくくなります。
高いほど背景に有利な代わりに 被写体が誤判定され消えやすくなります。
[輪郭ぼかし]と[輪郭サイズ]
判定結果（マスクパターン）の輪郭を調整します。お好みで調整してください。
[背景バッファクリア]
現在の解析結果を破棄し、ゼロから構築しなおします。設定の変更が反映されない場合にクリアしてください。
３．画像処理概要
アルファ4の記事を観てください
４．ダウンロード
・ アマレコVR Ver2.1.5 試作版
・ アマレコVRサーバー Ver2.13
※ アマレコVRサーバーは更新なし
新しいバージョン アマレコVR Ver2.1.7が公開されています。
アマレコVR Ver2.1.4 画像解析処理による背景透過 試作版 公開
Compute Shaderを使ってメインプレイヤーの映像をリアルタイムで解析して動きの少ない背景部を透明にします。
パススルー映像や3rdプレイヤーの映像と合成できます。
まだまだ画像処理部については試行錯誤の段階ですが、Oculus Questの実機で動作するようになったので公開します。
１．導入
アマレコVR Ver2.1.3 アルファ3を使っていることが前提です。
まだの人はアルファ3の記事も合わせて観てください。
アルファ3とは別アプリとしてインストールされます。
２．使い方
メイン画面設定へ[画像処理]メニューが追加されています。
[画像処理]メニューから自動背景透過を選択してください。
あとはメインプレイヤーで再生されている映像を自動的に処理します。
※ アマレコVRアプリのプレイヤー設定でAmaRec Playerを選択してください。（初期値はAmaRec Playerなので通常はそのままでOKです）
AVProでは利用できません。
３．画像処理概要
動きの少ない部分(ひとつ前のフレームからの変化が少ない画素)を検出し背景画像を作成します。
一度のサンプリングでは背景画像の信頼性が低いので
数秒間解析を続けて信頼性の高くなった背景画像のエリアと現在のフレームを比較して
透明にします。信頼性の低いエリアは常に不透明です。
解析は常に行われ 家具の位置が動いたり、シーンチェンジすると背景画像もアップデートされます。
基本的に被写体が映った映像から背景画像を作成しますので
被写体と被写体の周辺エリアについては背景画像の信頼性が高まるまで時間がかかります。
そのため、被写体の周辺の背景が表示されてしまったり、被写体が退いた後もしばらく背景が表示されることがあります。
屋内の固定カメラで撮影されたVR映像であることが前提となります。
・背景が一切動かない (とにかくこれが大事、手振れなどもないこと)
・照明が安定している (ロウソクや太陽光などはNG)
・画質が安定していること (ノイズが多い、差分フレームとキーフレームの画質差が激しいなどはNG)
・被写体は基本的に1つ (複数の場合は 被写体と被写体の間が不透明になる 課題)
・被写体が丸っこいこと (でっぱりがあると その周辺は不透明になってしまいます 課題)
・被写体が適度に動くこと (数秒間 止まられると 背景と判断されて透明になってしまう 課題)
良い結果が期待できるケース
・背景がCGの映像 (動きが全くなければ 上手くいきます)
・背景が真っ黒な映像 (多少背景が映ってしまっても 影っぽく自然に見える)
４．ダウンロード
・ アマレコVR Ver2.1.4 試作版
・ アマレコVRサーバー Ver2.13
※ アマレコVRサーバーは更新なし
新しいバージョン アマレコVR Ver2.1.7が公開されています。
パススルー映像や3rdプレイヤーの映像と合成できます。
まだまだ画像処理部については試行錯誤の段階ですが、Oculus Questの実機で動作するようになったので公開します。
１．導入
アマレコVR Ver2.1.3 アルファ3を使っていることが前提です。
まだの人はアルファ3の記事も合わせて観てください。
アルファ3とは別アプリとしてインストールされます。
２．使い方
メイン画面設定へ[画像処理]メニューが追加されています。
[画像処理]メニューから自動背景透過を選択してください。
あとはメインプレイヤーで再生されている映像を自動的に処理します。
※ アマレコVRアプリのプレイヤー設定でAmaRec Playerを選択してください。（初期値はAmaRec Playerなので通常はそのままでOKです）
AVProでは利用できません。
３．画像処理概要
動きの少ない部分(ひとつ前のフレームからの変化が少ない画素)を検出し背景画像を作成します。
一度のサンプリングでは背景画像の信頼性が低いので
数秒間解析を続けて信頼性の高くなった背景画像のエリアと現在のフレームを比較して
透明にします。信頼性の低いエリアは常に不透明です。
解析は常に行われ 家具の位置が動いたり、シーンチェンジすると背景画像もアップデートされます。
基本的に被写体が映った映像から背景画像を作成しますので
被写体と被写体の周辺エリアについては背景画像の信頼性が高まるまで時間がかかります。
そのため、被写体の周辺の背景が表示されてしまったり、被写体が退いた後もしばらく背景が表示されることがあります。
屋内の固定カメラで撮影されたVR映像であることが前提となります。
・背景が一切動かない (とにかくこれが大事、手振れなどもないこと)
・照明が安定している (ロウソクや太陽光などはNG)
・画質が安定していること (ノイズが多い、差分フレームとキーフレームの画質差が激しいなどはNG)
・被写体は基本的に1つ (複数の場合は 被写体と被写体の間が不透明になる 課題)
・被写体が丸っこいこと (でっぱりがあると その周辺は不透明になってしまいます 課題)
・被写体が適度に動くこと (数秒間 止まられると 背景と判断されて透明になってしまう 課題)
良い結果が期待できるケース
・背景がCGの映像 (動きが全くなければ 上手くいきます)
・背景が真っ黒な映像 (多少背景が映ってしまっても 影っぽく自然に見える)
４．ダウンロード
・ アマレコVR Ver2.1.4 試作版
・ アマレコVRサーバー Ver2.13
※ アマレコVRサーバーは更新なし
新しいバージョン アマレコVR Ver2.1.7が公開されています。
アマレコVR Ver2.1.3 アルファ3 VRonVR 公開
パススルー機能が正式版になりました。また、アルファマップを使って2つのVR動画を視聴するVRonVR機能と円周魚眼スクリーンのパラメータ追加、その他 細々とした調整となっています。
クロマキー合成については 指定した色を透明化する形で実装する予定でしたが クロマキー合成用のVR映像が一般的でないため見送ることにしました。
１．内容
【更新内容 アマレコVRアプリ】
・通信プロトコルを213へ変更
・Oculus Passthrough APIが正式版になりました
・VRonVR用の3rdプレイヤーを追加
・円周魚眼スクリーン用のパラメータを追加
・サブプレイヤー、3rdプレイヤーへも白黒オプションを追加
・上下反転オプションを追加
・ポジショントラッキングのON、OFFオプションを追加(初期状態OFF)
・PCマウスのボタン設定を拡張
・アルファマップの移動縦を変更（平面移動から回転へ変更）
・アルファマップを全球の前半分へ張り付けるように変更
・UI画面表示時に 向きリセットしないように変更
・アプリ側で作ったサムネイル画像が白くならないようにしました
・メイン画面設定の再生時ロードを廃止
・一時停止したまま 次の動画を再生したときのアイコン表示を修正
・マウス操作の際 ファイル画面のファイルリストで複数項目が選択できないことがあるのを修正
・サブ画面の表示/非表示が使えなかったのを修正
【更新内容 アマレコVRサーバー】
・ネットワークに関する設定を追加（最大ストリーム数、動画読込キャッシュ）
・動画読込キャッシュワーク変更
・検索処理で アルファベットの大文字と小文字を区別しないように変更
・検索処理で 半角スペースとアンダースコア、ハイフンを区別しないように変更
・通信プロトコル更新(213) 通信プロトコル200と上位互換
・アルファマップ追加
【既知の不具合】
・アプリ起動時などファイルリスト読込中に リスト内検索等をすると 操作不能に陥る
（リストの読み込みが終わるのを待ってから操作してください チャンネル部に読込件数が表示されている間は待つ）
・サーバー側でサムネイルの自動作成をすると アプリが止まってしまうことがある
（サムネイルの作成が終わってから使うようにする）
【Ver2.1.1 アルファ2と同じ内容】
・サブカメラ機能の映像ソースを選択する[CL]、[CR]は機能しません
・ハンドトラッキングに関する機能は使えません
・パススルー機能は Oculus software v31以降でないと使えません (Ver2.13から Oculus software v34以降が必要)
・Oculus Quest 1でも利用可能です
・アマレコVRアプリによりサムネイル画像を作成すると白っぽい画像になってしまいます (Ver2.13で対応しました)
２．使い方
・ Ver2.1.0 アルファ1、 Ver2.1.1 アルファ2の記事と合わせて見てください。
・アマレコVR自体の使い方は オンラインヘルプを見てください。
・ベータ版、アルファ1、アルファ2とは異なるアプリとしてインストールされます。
・Ver2.1.2 アルファ3 試作版がインストールされている場合は 同じアプリとして上書きされます。
・アマレコVRサーバーも更新されています。
※ADBコマンドで開発者向けの機能を有効にする必要があります。Ver2.1.0 アルファ1の準備の項を参照してください。
Oculus software v34とアマレコVR Ver2.1.3からパススルー機能が正式版となりました。
ADBコマンドなしでパススルー機能を利用できます。
※アルファマップに関するファイルは今回からサーバー側に同梱しています。アプリには同梱されていません。アルファマップの内容は Ver2.11アルファ2に同梱していたものと同じです。
２．１．VRonVR
新しくVR動画（通常の2D動画も可）を再生するための3rdプレイヤーを追加しました。
メイン画面の右側のメニューで[3rd]を選択すると 3rdプレイヤーで動画を再生します。
■映像の合成
メインプレイヤーと3rdプレイヤーの映像を メイン画面設定にあるアルファマップAで合成します。
アルファマップAの白い部分がメインプレイヤー、黒い部分が3rdプレイヤーの映像になります。
その結果とパススルー映像がアルファマップBで合成されます。
■3rdプレイヤーの操作
コンソール画面で3rdプレイヤーに関する操作ができます。
・プレイヤーの選択
・3rdプレイヤーの音量
・サブカメラの映像ソース選択 [CM]メインプレイヤーの映像、[C3]3rdプレイヤーの映像
・3rdプレイヤー用のスクリーンの向き調整
・3rdプレイヤー用のスクリーンのZ位置調整
・3rdプレイヤー用のスクリーンのステレオ調整
・[向き連動]をONにするとメイン画面の向き調整（メイン画面のチルトなど）と一緒に動くようになります。
・3rdプレイヤーの再生速度
・3rdプレイヤーのリピートモード
■ボタン機能
3rdプレイヤーに関するボタン機能が追加されています。
ホイール機能
■要求スペックと推奨環境
Oculus Quest 1でも動作はしますが、スペック的にQuest2でないと厳しいです。
Quest1は4K 60fpsの動画 1つで ほぼ限界に達します。
Quest2の場合は4KオーバーのVR動画も利用できますが、VRonVRで複数プレイヤーを使うとリソース不足でアプリケーションが強制終了される場合があります。
Quest2であっても複数プレイヤーを使う場合は 4K 60fpsのVR動画までの利用を推奨します。
また、アプリ側でサムネイルを自動生成したり、ファイル画面のサムネイル簡易再生等も加わるとリソース不足になる場合が出てきます。
自動生成はサーバー側で行うようにしてください。簡易再生にも制限を加えてください。
【Quest2で複数プレイヤーを使う場合の推奨環境】
・メインプレイヤー： 4K 60fps以内
・サブプレイヤー： FullHD 60fps以内
・3rdプレイヤー： 4K 60fps以内
・サムネイル簡易再生： 縦2160を超える動画を再生しない または [サムネイルプレイヤーを使う]をOFFにする (アプリの設定画面の サムネイル設定)
・サムネイル自動生成： サーバーの設定画面で [FFMPEGを使う]をON
■4ストリームに対応しました
Ver2.1.2 試作版では3ストリームまででしたが、Ver2.1.3から4ストリームに対応しました。
メインプレイヤー、サブプレイヤー、3rdプレイヤー、サムネイルプレイヤーを同時に利用できます。
■その他
3rdプレイヤーはVRフォーマット等を手動で設定できません。ファイル名へタグを入れたり、画像サイズから自動判別できるように準備を徹底してください。
サブプレイヤーと3rdプレイヤーは現状AVProで再生するため欠落フレームが生じます。60fpsの動画でも50fps程度の再生となります。
２．２．円周魚眼パラメータ
アマレコVRは2019年ころの日本で出回っていた円周魚眼VR動画に（見た目で）合わせていましたが、
最近異なる円周魚眼動画があるようなのでパラメータで調整できるようにしました。
100は今まで通り
最近のものはスケールを75あたりにすると 歪みが少なく視聴できると思います。
また、200度の魚眼レンズで作成されたVR動画ではスケール-140、PosZ-40あたりでしょうか。
■円周魚眼パラメータ
・スケール
プラス側で調整するとXYZのスケールを調整します。
50ならXYZそれぞれ半分の大きさのスクリーン形状に映像を投影して視聴します。
マイナス側にすると Zスケールのみを調整します（スクリーン形状の厚みだけを調整します）。
-140なら 厚みが40％増します。
・PosZ
カメラとスクリーンの距離を調整します。
0が標準
50なら50cmカメラへ近づける
-50なら50cmカメラから遠くへ配置します。
・プリセット
円周魚眼パラメータメニューからプリセットを変更できます。
■タグ
スクリーン形状を指定する際の-screen[FishEye]へ円周魚眼パラメータを追加できます。
パラメータをいくつにしたらいいか分かってきたらファイル名へタグを入れて 使いこなしてください。
省略した場合はアプリ上で最後に手動設定した値となります。
画像サイズや比率から自動判定する場合も同様に円周魚眼パラメータを利用できます。
３．その他
■ポジショントラッキングのON、OFFオプションを追加
基本的にVRとしてのポジショントラッキングは常に有効です。
メイン画面のポジショントラッキングをOFFにすると
ポジショントラッキングを行いつつ 映像を投影するスクリーンの位置とHMDの位置を一定に保つように動作します。
いままでは常にONの状態でしたが、今回からOFFにできるようになりました。
また、初期状態をOFFとしました。
VR映像を視聴する場合は HMDの位置がスクリーンの中心からずれることで映像が歪みますので 基本的にはポジショントラッキングをOFFにすることをお勧めします。
パススルー映像にスクリーンの位置を合わせたい場合は ポジショントラッキングをONにしてください。
■白黒オプション、上下反転オプション
プレイヤー毎に白黒（モノクローム化）や表示を上下反転できるようになりました。
■再生時ロードを廃止
メイン画面設定にあった 動画をメインプレイヤーで再生した際に メイン画面の位置をロードするかどうかのオプションを廃止しました。
代わりに、動画ファイルに位置指定タグがある場合はその位置へ（一時的に変更されます）、
タグが無い場合は最後に手動設定した位置へ（一時的に変更されていた場合は戻ります）となります。
同様に以下の項目において タグがある場合は一時的に変更され、タグが無い場合は最後に手動設定した状態に戻ります。
・スクリーン位置設定
・ステレオ設定
・YUVレンジ設定
・クロップ設定
・円周魚眼パラメータ
■PCマウスのボタン機能が拡張されています。
サイドボタンを押しながら 他のオプションボタンを押した場合へ機能を割り当てることができます。
４．サーバー
ネットワークに関する設定が追加されていますが、基本的にはそのまま使ってください。
・最大ストリーム数は4で使ってください。
・動画読込キャッシュ バッファサイズ
一度にストレージから読み込むバイト数。
小さく設定するとHDD等の場合にストレージの読み込み性能を発揮できません。
大きくすると 小回りが利かなくなり レスポンスが悪くなります。
通常1MBのまま利用してください。
・動画読込キャッシュ バッファ数
ストリーム毎に[バッファサイズ] x [バッファ数] 分のメモリを確保します。
バッファに空きがある場合は 先読みします。
先読みができていると 指定秒送りの際にストレージへのアクセスを省略できるため 僅かにレスポンスが向上するかもしれません。
2以上に設定してください。
・動画読込キャッシュ プロテクト
使い終わったバッファを先読みで上書きされないように保護するバッファ数。
バッファに残っていると 指定秒戻しの際にストレージへのアクセスを省略できるため 僅かにレスポンスが向上するかもしれません。
0以上に設定してください。
通常、プレイヤー側でストリーミング再生の為のバッファリングを行っていますので、その範囲内でシークする場合は（サーバー側のキャッシュと関係なく）素早く処理されます。
プレイヤー側のバッファリングから外れた場合に サーバー側のキャッシュが機能します。
■導入
Ver2.1.1 アルファ2以降を使っている場合はAmaRecVRServer.exeだけ上書きしてください。
アルファ版を使っていない場合はAmaRecVRServer.exeeとalphamapフォルダをコピーしてください。
初めて使う場合はAmaRecVRServer213フォルダ内のファイル全てをコピーしてください。
■その他
Ver200と上位互換です。アマレコVRアプリ Ver2.0.0からVer2.1.3まで利用できます。
ネットワーク（動画読み込みキャッシュ）に関する設定の変更はサーバープログラムの再起動が必要です。
いままでアプリ側に含めていたアルファマップに関するファイルをサーバー側に同梱しています。内容はアプリ Ver2.1.1アルファ2に同梱したものと同じです。
検索処理で アルファベットの大文字と小文字を区別しないようになりました。
検索処理で 半角スペースとアンダースコア、ハイフンを区別しないようになりました。
５．ダウンロード
・ アマレコVR Ver2.1.3 アルファ3
・ アマレコVRサーバー Ver2.13
オンラインヘルプ Ver2.0.0
新しいバージョン アマレコVR Ver2.1.7が公開されています。
クロマキー合成については 指定した色を透明化する形で実装する予定でしたが クロマキー合成用のVR映像が一般的でないため見送ることにしました。
１．内容
【更新内容 アマレコVRアプリ】
・通信プロトコルを213へ変更
・Oculus Passthrough APIが正式版になりました
・VRonVR用の3rdプレイヤーを追加
・円周魚眼スクリーン用のパラメータを追加
・サブプレイヤー、3rdプレイヤーへも白黒オプションを追加
・上下反転オプションを追加
・ポジショントラッキングのON、OFFオプションを追加(初期状態OFF)
・PCマウスのボタン設定を拡張
・アルファマップの移動縦を変更（平面移動から回転へ変更）
・アルファマップを全球の前半分へ張り付けるように変更
・UI画面表示時に 向きリセットしないように変更
・アプリ側で作ったサムネイル画像が白くならないようにしました
・メイン画面設定の再生時ロードを廃止
・一時停止したまま 次の動画を再生したときのアイコン表示を修正
・マウス操作の際 ファイル画面のファイルリストで複数項目が選択できないことがあるのを修正
・サブ画面の表示/非表示が使えなかったのを修正
【更新内容 アマレコVRサーバー】
・ネットワークに関する設定を追加（最大ストリーム数、動画読込キャッシュ）
・動画読込キャッシュワーク変更
・検索処理で アルファベットの大文字と小文字を区別しないように変更
・検索処理で 半角スペースとアンダースコア、ハイフンを区別しないように変更
・通信プロトコル更新(213) 通信プロトコル200と上位互換
・アルファマップ追加
【既知の不具合】
・アプリ起動時などファイルリスト読込中に リスト内検索等をすると 操作不能に陥る
（リストの読み込みが終わるのを待ってから操作してください チャンネル部に読込件数が表示されている間は待つ）
・サーバー側でサムネイルの自動作成をすると アプリが止まってしまうことがある
（サムネイルの作成が終わってから使うようにする）
【Ver2.1.1 アルファ2と同じ内容】
・サブカメラ機能の映像ソースを選択する[CL]、[CR]は機能しません
・ハンドトラッキングに関する機能は使えません
・
・Oculus Quest 1でも利用可能です
・
２．使い方
・ Ver2.1.0 アルファ1、 Ver2.1.1 アルファ2の記事と合わせて見てください。
・アマレコVR自体の使い方は オンラインヘルプを見てください。
・ベータ版、アルファ1、アルファ2とは異なるアプリとしてインストールされます。
・Ver2.1.2 アルファ3 試作版がインストールされている場合は 同じアプリとして上書きされます。
・アマレコVRサーバーも更新されています。
※
Oculus software v34とアマレコVR Ver2.1.3からパススルー機能が正式版となりました。
ADBコマンドなしでパススルー機能を利用できます。
※アルファマップに関するファイルは今回からサーバー側に同梱しています。アプリには同梱されていません。アルファマップの内容は Ver2.11アルファ2に同梱していたものと同じです。
２．１．VRonVR
新しくVR動画（通常の2D動画も可）を再生するための3rdプレイヤーを追加しました。
メイン画面の右側のメニューで[3rd]を選択すると 3rdプレイヤーで動画を再生します。
【プレイヤー仕様】
メインプレイヤー：
VR動画、2D動画、3D動画
基本的には正面へ表示
滑らかな再生ができるAmaRec Player利用可
サブプレイヤー：
2D動画、3D動画
自由に配置(大きさ調整)可能
AVProのみ(欠落フレーム有り)
3rdプレイヤー：
VR動画、2D動画、3D動画
メインプレイヤーの映像と合成するのに使う
AVProのみ(欠落フレーム有り)
■映像の合成
メインプレイヤーと3rdプレイヤーの映像を メイン画面設定にあるアルファマップAで合成します。
アルファマップAの白い部分がメインプレイヤー、黒い部分が3rdプレイヤーの映像になります。
その結果とパススルー映像がアルファマップBで合成されます。
■3rdプレイヤーの操作
コンソール画面で3rdプレイヤーに関する操作ができます。
・プレイヤーの選択
・3rdプレイヤーの音量
・サブカメラの映像ソース選択 [CM]メインプレイヤーの映像、[C3]3rdプレイヤーの映像
・3rdプレイヤー用のスクリーンの向き調整
・3rdプレイヤー用のスクリーンのZ位置調整
・3rdプレイヤー用のスクリーンのステレオ調整
・[向き連動]をONにするとメイン画面の向き調整（メイン画面のチルトなど）と一緒に動くようになります。
・3rdプレイヤーの再生速度
・3rdプレイヤーのリピートモード
■ボタン機能
3rdプレイヤーに関するボタン機能が追加されています。
ホイール機能
■要求スペックと推奨環境
Oculus Quest 1でも動作はしますが、スペック的にQuest2でないと厳しいです。
Quest1は4K 60fpsの動画 1つで ほぼ限界に達します。
Quest2の場合は4KオーバーのVR動画も利用できますが、VRonVRで複数プレイヤーを使うとリソース不足でアプリケーションが強制終了される場合があります。
Quest2であっても複数プレイヤーを使う場合は 4K 60fpsのVR動画までの利用を推奨します。
また、アプリ側でサムネイルを自動生成したり、ファイル画面のサムネイル簡易再生等も加わるとリソース不足になる場合が出てきます。
自動生成はサーバー側で行うようにしてください。簡易再生にも制限を加えてください。
【Quest2で複数プレイヤーを使う場合の推奨環境】
・メインプレイヤー： 4K 60fps以内
・サブプレイヤー： FullHD 60fps以内
・3rdプレイヤー： 4K 60fps以内
・サムネイル簡易再生： 縦2160を超える動画を再生しない または [サムネイルプレイヤーを使う]をOFFにする (アプリの設定画面の サムネイル設定)
・サムネイル自動生成： サーバーの設定画面で [FFMPEGを使う]をON
■4ストリームに対応しました
Ver2.1.2 試作版では3ストリームまででしたが、Ver2.1.3から4ストリームに対応しました。
メインプレイヤー、サブプレイヤー、3rdプレイヤー、サムネイルプレイヤーを同時に利用できます。
【ストリーム仕様】
ストリーム1：メインプレイヤー
ストリーム2：サブプレイヤー
ストリーム3：3rdプレイヤー
ストリーム4：サムネイルプレイヤー
■その他
3rdプレイヤーはVRフォーマット等を手動で設定できません。ファイル名へタグを入れたり、画像サイズから自動判別できるように準備を徹底してください。
サブプレイヤーと3rdプレイヤーは現状AVProで再生するため欠落フレームが生じます。60fpsの動画でも50fps程度の再生となります。
２．２．円周魚眼パラメータ
アマレコVRは2019年ころの日本で出回っていた円周魚眼VR動画に（見た目で）合わせていましたが、
最近異なる円周魚眼動画があるようなのでパラメータで調整できるようにしました。
100は今まで通り
最近のものはスケールを75あたりにすると 歪みが少なく視聴できると思います。
また、200度の魚眼レンズで作成されたVR動画ではスケール-140、PosZ-40あたりでしょうか。
■円周魚眼パラメータ
・スケール
プラス側で調整するとXYZのスケールを調整します。
50ならXYZそれぞれ半分の大きさのスクリーン形状に映像を投影して視聴します。
マイナス側にすると Zスケールのみを調整します（スクリーン形状の厚みだけを調整します）。
-140なら 厚みが40％増します。
・PosZ
カメラとスクリーンの距離を調整します。
0が標準
50なら50cmカメラへ近づける
-50なら50cmカメラから遠くへ配置します。
・プリセット
円周魚眼パラメータメニューからプリセットを変更できます。
【円周魚眼パラメータ 初期プリセット】
プリセット１：スケール=-140、PosZ=-40 (200度魚眼レンズ)
プリセット2：スケール=75、PosZ=0 (最近の円周魚眼)
プリセット3：スケール=100、PosZ=0 (古い円周魚眼)
■タグ
スクリーン形状を指定する際の-screen[FishEye]へ円周魚眼パラメータを追加できます。
パラメータをいくつにしたらいいか分かってきたらファイル名へタグを入れて 使いこなしてください。
省略した場合はアプリ上で最後に手動設定した値となります。
画像サイズや比率から自動判定する場合も同様に円周魚眼パラメータを利用できます。
【例】
#tag "[魚]" "-layout[sbs] -screen[FishEye]"
#tag "[魚A]" "-layout[sbs] -screen[FishEye100]"
#tag "[魚B]" "-layout[sbs] -screen[FishEye75]"
#tag "[MKX200]" "-layout[sbs] -screen[FishEye-140pz-40]"
ファイル名に [魚] が含まれていたら 最後に手動設定したパラメータで 円周魚眼スクリーンを使います
ファイル名に [魚A] が含まれていたら 今まで通りの円周魚眼スクリーンを使います
ファイル名に [魚B] が含まれていたら 75％の円周魚眼スクリーンを使います
ファイル名に [MKX200] が含まれていたら 厚み140％の円周魚眼スクリーンを 40cm遠くへ配置します
３．その他
■ポジショントラッキングのON、OFFオプションを追加
基本的にVRとしてのポジショントラッキングは常に有効です。
メイン画面のポジショントラッキングをOFFにすると
ポジショントラッキングを行いつつ 映像を投影するスクリーンの位置とHMDの位置を一定に保つように動作します。
いままでは常にONの状態でしたが、今回からOFFにできるようになりました。
また、初期状態をOFFとしました。
VR映像を視聴する場合は HMDの位置がスクリーンの中心からずれることで映像が歪みますので 基本的にはポジショントラッキングをOFFにすることをお勧めします。
パススルー映像にスクリーンの位置を合わせたい場合は ポジショントラッキングをONにしてください。
■白黒オプション、上下反転オプション
プレイヤー毎に白黒（モノクローム化）や表示を上下反転できるようになりました。
■再生時ロードを廃止
メイン画面設定にあった 動画をメインプレイヤーで再生した際に メイン画面の位置をロードするかどうかのオプションを廃止しました。
代わりに、動画ファイルに位置指定タグがある場合はその位置へ（一時的に変更されます）、
タグが無い場合は最後に手動設定した位置へ（一時的に変更されていた場合は戻ります）となります。
同様に以下の項目において タグがある場合は一時的に変更され、タグが無い場合は最後に手動設定した状態に戻ります。
・スクリーン位置設定
・ステレオ設定
・YUVレンジ設定
・クロップ設定
・円周魚眼パラメータ
■PCマウスのボタン機能が拡張されています。
サイドボタンを押しながら 他のオプションボタンを押した場合へ機能を割り当てることができます。
４．サーバー
ネットワークに関する設定が追加されていますが、基本的にはそのまま使ってください。
・最大ストリーム数は4で使ってください。
・動画読込キャッシュ バッファサイズ
一度にストレージから読み込むバイト数。
小さく設定するとHDD等の場合にストレージの読み込み性能を発揮できません。
大きくすると 小回りが利かなくなり レスポンスが悪くなります。
通常1MBのまま利用してください。
・動画読込キャッシュ バッファ数
ストリーム毎に[バッファサイズ] x [バッファ数] 分のメモリを確保します。
バッファに空きがある場合は 先読みします。
先読みができていると 指定秒送りの際にストレージへのアクセスを省略できるため 僅かにレスポンスが向上するかもしれません。
2以上に設定してください。
・動画読込キャッシュ プロテクト
使い終わったバッファを先読みで上書きされないように保護するバッファ数。
バッファに残っていると 指定秒戻しの際にストレージへのアクセスを省略できるため 僅かにレスポンスが向上するかもしれません。
0以上に設定してください。
通常、プレイヤー側でストリーミング再生の為のバッファリングを行っていますので、その範囲内でシークする場合は（サーバー側のキャッシュと関係なく）素早く処理されます。
プレイヤー側のバッファリングから外れた場合に サーバー側のキャッシュが機能します。
【レスポンス】
実際に計測したわけではありませんが 感覚的なレスポンスは
(1) プレイヤーのバッファリング内でのシーク ：レスポンス 0.1秒
(2) サーバーキャッシュにヒット ：レスポンス 0.9秒
(3) サーバーキャッシュミス ストレージから読み込む ：レスポンス 1.0秒
(1)が圧倒的に早いのに対し (2)と(3)の違いは僅かとおもわれますので 読み込みキャッシュの設定を増やしても体感できるほどの効果は期待できません。
【設定例】
・標準
サイズ:1MB
数:32個
プロテクト:8個
※ キャッシュワーク用に メモリーを約128MB使います。（[バッファサイズ] x [バッファ数] x [ストリーム数]）
・最小構成
サイズ:1MB
数:2個
プロテクト:0個
※ サーバー側のメモリーを節約したい場合、今まではこの設定
■導入
Ver2.1.1 アルファ2以降を使っている場合はAmaRecVRServer.exeだけ上書きしてください。
アルファ版を使っていない場合はAmaRecVRServer.exeeとalphamapフォルダをコピーしてください。
初めて使う場合はAmaRecVRServer213フォルダ内のファイル全てをコピーしてください。
■その他
Ver200と上位互換です。アマレコVRアプリ Ver2.0.0からVer2.1.3まで利用できます。
ネットワーク（動画読み込みキャッシュ）に関する設定の変更はサーバープログラムの再起動が必要です。
いままでアプリ側に含めていたアルファマップに関するファイルをサーバー側に同梱しています。内容はアプリ Ver2.1.1アルファ2に同梱したものと同じです。
検索処理で アルファベットの大文字と小文字を区別しないようになりました。
検索処理で 半角スペースとアンダースコア、ハイフンを区別しないようになりました。
５．ダウンロード
・ アマレコVR Ver2.1.3 アルファ3
・ アマレコVRサーバー Ver2.13
オンラインヘルプ Ver2.0.0
新しいバージョン アマレコVR Ver2.1.7が公開されています。
アマレコVR アルファ3 進捗
アルファ3の公開準備を進めていましたが、Oculus Software v34のアップデートが11月4日あたりから始まり、v34にすると（開発者向けの？）パススルー機能が使えなくなっているようです。
私のことろではQuest1だけv34にアップデートされアマレコVRのパススルー機能が使えなくなっています。
v33でパススルー機能を使っている人はv34のアップデートを暫く待った方がいいかもしれません。
アマレコVRのアルファ3は1週間程度様子を見て進展が無いようなら、パススルー非対応（実験版のまま）な状態で公開します。
v34でアプリのパススルー機能を使えている人もいるのかな？
設定項目があるようなニュアンスの発言もあるし、パススルー機能を使えている人がいたらもう少し具体的な情報が欲しい。v34のアップデートも何段階かあって人によって違いが生じているのか、良く判らない状況です。
可能性を列挙すると
・v34でも開発者向けのパススルー機能が使える（不明、私のQuest1では使えていない）
・v34でパススルー機能が正式対応になったけど 対応するアプリはまだない（不明）
・v34でパススルー機能を使うには アプリのmanifestの変更が必要（不明）
・v34に対応した SDKのリリースを待つ必要がある（この可能性が高い）
私のことろではQuest1だけv34にアップデートされアマレコVRのパススルー機能が使えなくなっています。
v33でパススルー機能を使っている人はv34のアップデートを暫く待った方がいいかもしれません。
アマレコVRのアルファ3は1週間程度様子を見て進展が無いようなら、パススルー非対応（実験版のまま）な状態で公開します。
v34でアプリのパススルー機能を使えている人もいるのかな？
設定項目があるようなニュアンスの発言もあるし、パススルー機能を使えている人がいたらもう少し具体的な情報が欲しい。v34のアップデートも何段階かあって人によって違いが生じているのか、良く判らない状況です。
可能性を列挙すると
・v34でも開発者向けのパススルー機能が使える（不明、私のQuest1では使えていない）
・v34でパススルー機能が正式対応になったけど 対応するアプリはまだない（不明）
・v34でパススルー機能を使うには アプリのmanifestの変更が必要（不明）
・v34に対応した SDKのリリースを待つ必要がある（この可能性が高い）
