あまラボ

年末年始Meta Questを使っていたので今回はQuest版となります。
背景透過処理で輪郭を捕らえる制度が若干向上しました。


１．更新内容
・背景透過処理 輪郭精度向上
・背景透過 「背景をボカす」オプション追加
・メイン画面スケール のプリセット追加
・360度スクリーンにおけるステレオ調整の不具合を修正


２．使い方
■背景をボカす


背景透過処理で背景を透明にする代わりにぼかします。
幽霊モードで使ってください。


■メイン画面スケール のプリセット追加



アマレコVRの設定画面のプレイヤー設定で３つプリセットできます。





３．ダウンロード
・ アマレコVR Ver2.3.4 アルファ版 for Quest
・アマレコVRサーバー Ver2.21

先日公開した背景透過V2のQuest版です。
内容は Pico4版と同じ です。



１．更新内容
・アマレコVR Ver2.3.3 for Pico4と同じ

【主な更新内容】
・背景透過処理が背景透過V2になりました
・画像処理のシルエット機能が背景透過EXへ対応しました
・ボタン機能でVRコントローラーのBボタン以外でも「戻る」を選択できるようになりました
・メイン画面設定で位置設定等ができない不具合を修正



【背景透過V2】
・時間方向の平滑化と激しい動きへの追従性を両立しました
・被写体周辺の背景画像も作成するようになりました
・動きの少ない被写体が消え難くなりました
・複数の被写体が一塊になり難くなりました
・マスクパターン整形処理を改善（解像度512x512、エッジ画像等）
・背景透過率
・背景透過EXを3つのモードで整理しました



２．ダウンロード
・ アマレコVR Ver2.3.3 アルファ版 for Quest
・アマレコVRサーバー Ver2.21

今回は背景透過処理自体をアップデートし背景透過V2となりました。


１．更新内容
【主な更新内容】
・背景透過処理が背景透過V2になりました
・画像処理のシルエット機能が背景透過EXへ対応しました
・ボタン機能でVRコントローラーのBボタン以外でも「戻る」を選択できるようになりました
・メイン画面設定で位置設定等ができない不具合を修正



【背景透過V2】
・時間方向の平滑化と激しい動きへの追従性を両立しました
・被写体周辺の背景画像も作成するようになりました
・動きの少ない被写体が消え難くなりました
・複数の被写体が一塊になり難くなりました
・マスクパターン整形処理を改善（解像度512x512、エッジ画像等）
・背景透過率
・背景透過EXを3つのモードで整理しました



２．使い方
インストール等基本的な使い方は アマレコVR ver2.1.8 for Pico4 動作確認版 を参照してください。


２．１．背景透過V2
メイン画面設定の画像処理に関する設定項目が変更されました。



(1) VR動画を再生、メイン画面設定のポジトラON、パススルーON、スケールを被写体の距離（50cmから100cm程度）に調整
(2) 画像処理▽メニューから「背景透過」を選択
(3) 背景透過モードで「モヤっと」を選択
(4) 動きの少ない背景が徐々に消えてきます

なかなか背景が消えないようなら背景透過率を100から下げてみてください（50から80あたりで調整）。



３．背景透過モード
今までは背景透過処理と背景透過EXで構成されていましたが、今回から統合し３つのモードに整理されました。

youtubeサンプル動画


■モヤっとモード
被写体の輪郭をぼかして合成します。
多くの場合で欠点が目立たず、且つ簡単に使えるため このモードを中心に使ってください。
背景透過率で背景に使われている色に近いものを透明にすることができます。通常は100に設定しますが、なかなか背景が消えない場合は50くらいまで下げてみてください。
このモードに「輝度補正」と「色補正」はありません。
画像処理メニューの輪郭ぼかしの設定でぼかす度合いを調整できます。

■キリっとモード
輪郭を鮮明にし合成します。
背景に使われている色が特定しやすいこと、背景の色と被写体の色が明確に区別できることが重要となりますので、使える場面は限られます。
暗がり動画、完全な白背景、クロマキー映像のように背景が単色に近いもので効果を発揮します。

被写体の輪郭部が半透明になってしまう場合は「輝度補正」と「色補正」を0から上げることで不透明にできます。
背景が消えつつ、被写体が消えないように調整してください。
もしくは画像処理メニューから輪郭サイズを一回り大きくしてみてください。

ドット感（処理解像度の低さ）が目立つ場合も「輝度補正」と「色補正」を0から上げてみてください。

※ 輝度補正を100にしても背景透過EXの処理が無効になることはありません。
※ 色補正の数値を上げても画質が悪い印象になることはありません。

■幽霊モード
最も背景を消せて、且つ、輪郭を鮮明にすることができますが、被写体も半透明になります。
キリっとモードが背景を消しつつ、被写体が消えないように働くのに対し、幽霊モードは背景色に近いものを問答無用で透明、半透明にします。
暗がり動画、完全な白背景、クロマキー映像のように背景が単色に近いもので効果を発揮します。



４．設定項目
・画像処理▽メニュー
画像処理に関するメニューを表示します。

・背景透過モード 「モヤっと」、「キリっと」、「幽霊」
上記 背景透過モード参照

・クリア
画像処理で使う背景画像等をクリアします。

・背景確認
動作確認のために背景画像等を表示します。

・画像処理パラメータ「背景透過率」、「輝度補正」、「色補正」
上記 背景透過モード参照


■画像処理メニュー（背景透過処理）
「背景透過」を選択すると背景透過処理に関する設定ができるようになりますが、基本的には初期値(def)のまま使ってください。


・背景閾値
背景画像を作る際の閾値を設定します。
数値を上げると背景画像が作りやすくなります（背景が消えやすくなります）。
その代り動きの少ない被写体も背景と判断されやすくなり消えてしまいます。

「動画にノイズが多い」や「照明が安定しない」などによりなかなか背景が消えない場合は背景閾値を大きくしてみてください。
通常は背景閾値を0にして被写体が消えにくくなるようにしてください。

・輪郭ぼかし
被写体の輪郭をぼかす度合いを設定します。
主にモヤっとモードで意味を持ちます。

・輪郭サイズ
被写体の輪郭を一回り大きくしたり 小さくします。

【廃止項目】
・ぼかし（時間）
変化量が少ないときはボカし、変化量が大きいときはボカさないよう自動で切り替わります。
これにより 時間方向の平滑化と激しい動きへの追従性の両立ができるようになります。

・背景時間
最短3秒となります。被写体の周辺など条件により自動で長くなります。

・解像度（256、1024）
今回は512x512となります。

５．その他
■シルエット機能
今回から背景透過EXの処理（キリっとモード、幽霊モード）でもシルエット機能が使えるようになりました。


幽霊モードでシルエット機能を使うと陰影も反映されます。
シルエットの色と透明度はサーバー側の設定ファイルで指定できます。

【シルエットの色設定】
AmaRecVRServer.ini
[ImageProcessing]
rw.param_silhouette_color_string=#0000FF7F

６．ダウンロード
・ アマレコVR Ver2.3.3 アルファ版 for Pico4
・アマレコVRサーバー Ver2.21

先日公開した背景透過EXのQuest版です。
内容は Pico版と同じ です。
画像処理2ndシーズンはPico4中心で開発し、Quest版は最後に公開するつもりでしたが背景透過EXの反響が思いのほかあり うれしかったので急きょPico版を移植しました。

Quest1/2の白黒パススルーだと背景透過EXの処理の粗さが目立つ気がします。
また、Quest1だと60fpsを下回ります。
QuestProは買えなかったので、QuestProでどうなるか、そもそも使えるのか気になるところです。


１．更新内容
・アマレコVR Ver2.3.1 for Pico4と同じ
・メイン画面設定で位置設定等ができない不具合を修正



２．ダウンロード
・ アマレコVR Ver2.3.2 アルファ版 for Quest

・アマレコVRサーバー Ver2.21

背景透過等の画像処理の完成版です。メインプレイヤーで再生している動画の（動かない）背景部を透明にします。
そのほかOculus SDKがハンドトラッキングへ対応したのでパススルー機能と同時に使えるようになりました。また、コメント欄で公開したクロマキー合成も含まれます。

いずれも、パススルー映像にVR動画の被写体を合成したり、VRonVRにより複数の動画を合成し、さらに自分の手を合成するといった 一歩踏み込んだミックスドリアリティ体験が可能となります。

— amaman (@amarectv)

VRonVRで2D動画を背景にして手前に被写体を合成する例
今までのアマレコVRではVR動画を背景にして手前に2D動画といった構成しかできず、2D動画のスクリーンを大きく表示することができませんでしたが（背景が隠れてしまう）、
VRonVRにより巨大な2D動画のスクリーンを背景に 手前にVR動画といった構成が可能になっています。
もちろん背景をVR動画、手前もVR動画も可能です。
そして、VR動画を手前に表示するのに重要となるのが VR動画の背景を透明にする仕組みです。この例ではRobust Video Mattingを使って背景を緑にした動画を作成し、アマレコVRのクロマキー合成を使っています。
Robust Video Matting程ではありませんが、簡易的に済ます場合はアマレコVRの背景透過処理を使うこともできます。



１．内容
【更新内容 アマレコVRアプリ】
・画像処理追加（背景透過、クロマキー合成、シルエットモード）
・ハンドトラッキング復活
・サブカメラ画面へ横型を追加
・内蔵ストレージの動画ファイルへアクセスできなくなっていたのを修正(Ver2.1.3から使えなくなっていた)
・サーバーはVer2.1.3から変更なし
・Oculus software v35が必要


【Ver2.1.5から画像処理の更新内容】
・基本的な性能向上（背景は消えやすく、被写体は消えにくくなりました）
・背景画像の作成に時間がかかるようになりました
・パフォーマンスが低下しました（Quest 1では 60fpsを下回る）
・設定項目追加（背景サンプリング時間、レンダリング解像度）
・クロマキー合成、シルエットモード追加
・背景透過処理へ メイン画面設定の透明度が反映されるようになりました


【既知の不具合】
・アプリ起動時などファイルリスト読込中に リスト内検索等をすると 操作不能に陥る
（リストの読み込みが終わるのを待ってから操作してください チャンネル部に読込件数が表示されている間は待つ）
・サーバー側でサムネイルの自動作成をすると アプリが止まってしまうことがある
（サムネイルの作成が終わってから使うようにする）


【Ver2.1.1 アルファ2と同じ内容】
・サブカメラ機能の映像ソースを選択する[CL]、[CR]は機能しません
・ハンドトラッキングに関する機能は使えません(Ver2.1.7から使えるようになりました)
・アマレコVRアプリによりサムネイル画像を作成すると白っぽい画像になってしまいます (Ver2.1.3で対応しました)


２．使い方
・ 次の記事と合わせて見てください。
Ver2.1.0 アルファ1
Ver2.1.1 アルファ2　
Ver2.1.3 アルファ3　

・アマレコVR自体の使い方は オンラインヘルプを見てください。
・ベータ版、アルファ1、アルファ2、アルファ3とは異なるアプリとしてインストールされます。
・アマレコVRサーバーはアルファ3と同じです。

【アマレコVR パススルー実験 アルファ版 まとめ】
Ver2.1.0 アルファ1 2021-09-03 パススルー実験版 （アルファ版）
Ver2.1.1 アルファ2 2021-10-07 パススルー実験版 リアルスケールになった
Ver2.1.2 アルファ3 2021-10-10 VRonVR試作版
Ver2.1.3 アルファ3 2021-11-15 VRonVR パススルーAPIが正式版になった 円周魚眼パラメータ サーバー更新
Ver2.1.4 アルファ4 2021-11-20 画像処理試作版
Ver2.1.5 アルファ5 2021-11-27 画像処理試作版
Ver2.1.6 アルファ6 2021-12-14 クロマキー合成テスト版(コメント欄で公開)
Ver2.1.7 アルファ7 2021-12-28 画像処理完成版 ハンドトラッキング復活 ほぼベータ版

２．１．画像処理
メイン画面設定の画像処理メニューから設定します。


※ メイン画面設定は頻繁に使う為 アマレコVR設定のボタン機能で[メイン画面設定を表示]を割り当てることをお勧めします。



■画像処理メニュー



・処理なし
画像処理を行いません。

・背景透過
画像処理により映像内の（動かない）背景部を透明にします。

・クロマキー合成
画像処理により指定した背景色を透明にします。

・背景バッファクリア
現在の画像処理の解析結果を破棄し、ゼロから構築しなおします。また、クロマキー合成の背景色をクリアします。

・シルエットモード
メイン画面の映像を単色で塗りつぶします。
メイン画面設定の透明度が反映されます。
エッジがクリアでないと 何が表示されているかわからないので、クロマキー合成か背景透過の輪郭解像度を1024にして使って下さい。

※ 色はサーバー側の設定ファイルで変更できます（後述）。

※ 画像処理を使うには アマレコVRアプリのプレイヤー設定でAmaRec Playerを選択してください。（初期値はAmaRec Playerなので通常はそのままでOKです）
AVProでは利用できません。


■背景透過

【画像処理：背景透過処理 概要】

動きの少ない部分(前のフレームからの変化が少ない領域)を検出し背景画像を作成します。
一度のサンプリングでは背景画像の信頼性が低いので数秒間解析を続けて信頼性の高まった背景画像と現在のフレームを比較して透明にします。

・背景画像と一致する領域は背景と判断し 透明にします
・一致しない領域は被写体と判断し 不透明にします
・信頼性の低い領域は常に 不透明となります

解析処理は常に行われ 家具の位置が変わったり、シーンチェンジすると背景画像もアップデートされます。

基本的に被写体が映った映像から背景画像を作成しますので
被写体と被写体の周辺領域については背景画像の信頼性が高まるまで時間がかかります。
そのため、被写体周辺の背景が表示されてしまったり、被写体が退いた後もしばらく背景が表示されることがあります。
また、動きの少ない被写体が背景と判断されてしまい、消えてしまう場合があります。

■前提条件
屋内の固定カメラで撮影されたVR映像であることが前提となります。
・背景が一切動かない (とにかくこれが大事、手振れなどもないこと)
・照明が安定している (ロウソクや太陽光などはNG)
・画質が安定していること (ノイズが多い、差分フレームとキーフレームの画質差が激しいなどはNG)
・被写体は基本的に1つ (複数の場合は 被写体と被写体の間が不透明になる 課題)
・被写体が丸っこいこと (でっぱりがあると その周辺は不透明になってしまいます 課題)
・被写体が適度に動くこと (数秒間 止まられると 背景と判断されて透明になってしまう)

■良い結果が期待できるケース
・背景がCGの映像 (クロマキー撮影し、CGの背景と合成された映像や 全てCGの映像)
・背景が真っ黒な映像 (多少背景が映ってしまっても 影っぽく自然に見える)

■背景透過メニュー


・ぼかし（時間）
過去のフレームと加算し映像をぼかす度合いを設定します。
ノイズや画質、照明の影響を軽減し安定した処理結果が期待できます。

数値が小さいと背景画像の作成に時間がかかるため、なかなか背景が透明になりません。
数値が大きいほど映像のノイズや不安定な照明、差分フレームとキーフレームの画質差などを軽減し背景の判定がやり易くなります。
逆に、被写体の動きの検出が難しくなるため 動きの少ない被写体も背景と誤判定され消え易くなってしまいます。
また、数値が大きいと 新しいフレームの影響が少なくなるため タイムラグが生じます。

・背景閾値
低いほど被写体に有利な判定になります。代わりに背景の判定が上手くできず透明になりません。
高いほど背景に有利な代わりに 被写体が誤判定され消えやすくなります。

・背景時間
3なら 3秒間変化が少ない領域を背景として拾います。
数値が低いほど 素早く背景画像を構築できますが、動きの少ない被写体も背景として拾ってしまいます。
数値を大きくすると 背景画像の構築に時間がかかる代わりに 被写体を拾い難くなります。

・解像度
処理結果（透明、不透明のマスクパターン）の解像度を選択します。
256は解像度が極めて低いため 輪郭を強くぼかして使います。
1024は解像度が高く輪郭をくっきり表示したい場合に使います。

※ 1024は処理に時間がかかるため 他の機能と併用すると60fpsを下回ります。
fpsの低下が目立つ場合は256を使って下さい。

【処理能力】
Oculus Quest 2で4K,60fpsのVR動画を視聴（サブプレイヤー、3rdプレイヤーは停止、パススルーON、画像処理の設定は初期値）
・背景透過 解像度1024 のみ 60fps以上
・背景透過 解像度1024 と アルファマップA 約54fps
・背景透過 解像度1024 アルファマップAとB併用 約48fps

※ Oculus Quest 1で4K,60fpsのVR動画を視聴する場合は背景透過 解像度256のみでも約48fpsとなります。

・輪郭ぼかし、 輪郭サイズ
処理結果（マスクパターン）の輪郭を調整します。お好みで調整してください。


■クロマキー合成



・背景色
透明にする背景色を指定します。
具体的には 画像処理により指定した色に属する画面内で多く使われている色を検出し、透明にします。
自動は色を指定せず画面内で最も多く使われている色を背景色とします。
そのため、赤い服を着た人がカメラへ近づいて画面全体が赤くなると背景色が赤と判断されてしまう場合があります。

※ Ver2.1.6の青緑は廃止しました。Robust Video Mattingの初期背景色は緑で使えます。

・背景閾値
背景色と近い色を透明にする際の閾値です。
低いと背景に影があった場合に 影が見えてしまいます。
高いと被写体の一部が透明になってしまいます。

・輪郭サイズ
輪郭処理を行う大きさを指定します。
輪郭部は背景色の成分を除いて半透明にします。

※ Ver2.1.6と比べ 透明度を上げて ほぼ透明にしました。


２．２．ハンドトラッキング
Oculus Questのハンドトラッキングが「OpenXR」に正式対応したのでパススルー機能とハンドトラッキング機能を同時に利用できるようになりました。

アマレコVRのハンドトラキング機能に関する基本的な使い方はオンラインヘルプを参照してください。

今回からハンドトラッキングメニューが追加され 手のグラフィックを選択できます。




・パススルー透過：透明、カラー
手の形で穴を開け後ろのパススルー映像を見えるようにします。
また、スクリーンオブジェクトと干渉します（メイン画面を触れる）。
カラーの場合は、手の形でパススルー映像を着色します。

・非透過 半透明：黒、青
メインスクリーン等の上に半透明で手を表示します。
スクリーンオブジェクトとは干渉しません（常に手前に表示されます）。

※ 各色はサーバー側の設定ファイルで変更できます（後述）。

【ハンドトラッキングとVR動画の視差】
VR（3D映像）の仕組み上、VR動画やハンドトラッキングの手の表示、パススルー映像それぞれに視差があります。
それぞれの視差が合わないと一緒に観ることができません（視野闘争、視差闘争）。

アマレコVRではメイン画面設定のステレオ調整で視差の調整が可能です。
私が視聴したVR映像ではステレオ調整を+30から+60あたりにすることで 30cmから50cmほど手を伸ばしたあたりで視差が合いました。
また、メインスクリーンのスケールを50程度（50cm先にスクリーンを配置）にすると、両手を前に伸ばしたあたりでハンドトラッキングの手とメインスクリーンが干渉します。



・ポジトラを ON (パススルー映像を使う場合はポジショントラッキングをONにします。)
・スケールを 50程度
・ステレオ調整を +30から+60程度 （VR映像の内容や 何センチ先で合わせるかで変わります。）
・ハンドトラッキングメニューで[パススルー透過：透明]または、[パススルー透過：カラー]を選択 非透過ではスクリーンオブジェクトと干渉しません。

３．その他

■サブカメラ画面へ横型を追加
16:9よりさらに横に広い視野の[横型]を追加しました。



■色設定
次の色はサーバー側の設定ファイル AmaRecVRServer.iniをメモ帳で編集して変更できます。
また、変更した後はアプリを再起動しなくても、選択項目を変更した際に再度設定値をサーバーから読み込みます。

・画像処理：シルエットモードの色
・ハンドトラッキングの色

【アマレコVRサーバー設定ファイル AmaRecVRServer.ini】

[ImageProcessing]
rw.param_silhouette_color_string=#0000FF7F

[HandTracking]
rw.color.0=#00000000
rw.color.1=r255g232b202a160
rw.color.2=#33333377
rw.color.3=#3333EE77


※ 10進数で指定する場合はr,g,b,aの後に各数値
※ 16進数で指定する場合は#の後にrgbaの順に数値

■背景透過処理へ 透明度が反映されるようになりました
画像処理を利用している場合も [メインスクリーンを半透明にする]をONにして、透明度を調整することができるようになりました。
半透明にすることでVRonVRの奥で再生している動画が見えなくなるのを防ぐことができます。
また、アルファマップAを使うと 視界の下半分にだけメイン画面を表示して、上半分へは表示しないなど メイン画面の表示範囲を制限することができます。


４．ダウンロード

・ アマレコVR Ver2.1.7 アルファ版7
・ アマレコVRサーバー Ver2.13


※ アマレコVRサーバーは更新なし
オンラインヘルプ Ver2.0.0

自動背景透過処理の試作版の第二弾です。
画像処理を改善しレスポンスの向上と背景と判断する部分が増えました。


黒いT字の被写体に対し 赤い輪郭のマスクパターンを作成したいけど、緑の領域が加わっていたのが改善されます。


１．導入
アマレコVR Ver2.1.3 アルファ3を使っていることが前提です。
まだの人はアルファ3の記事も合わせて観てください。

今回はアルファ5としてインストールされます。
アルファ3、アルファ4とは別アプリとしてインストールされます。


２．使い方
メイン画面設定の[画像処理]メニューから[自動背景透過]を選択してください。
あとはメインプレイヤーで再生されている映像を自動で処理します。


※ アマレコVRアプリのプレイヤー設定でAmaRec Playerを選択してください。（初期値はAmaRec Playerなので通常はそのままでOKです）
AVProでは利用できません。

※ アルファ4を利用していた場合でも 画像処理の設定が初期値の[処理なし]に戻っています。再度、[自動背景透過]を選択してください。


■画像処理メニュー


[ぼかし（時間）]
過去のフレームと加算し映像をぼかす度合いを設定します。
数値が大きいほど映像のノイズや不安定な照明、差分フレームとキーフレームの画質差などを軽減し背景の判定がやりやすくなります。
逆に、被写体の動きの検出がし難くなるため 動きの少ない被写体も背景と誤判定され消えやすくなってしまいます。
また、数値が大きいと 新しいフレームの影響が少なくなるため タイムラグが生じます。

[背景閾値]
低いほど被写体に有利な判定になります。代わりに背景の判定が上手くできず消えにくくなります。
高いほど背景に有利な代わりに 被写体が誤判定され消えやすくなります。

[輪郭ぼかし]と[輪郭サイズ]
判定結果（マスクパターン）の輪郭を調整します。お好みで調整してください。

[背景バッファクリア]
現在の解析結果を破棄し、ゼロから構築しなおします。設定の変更が反映されない場合にクリアしてください。


３．画像処理概要
アルファ4の記事を観てください


４．ダウンロード
・ アマレコVR Ver2.1.5 試作版
・ アマレコVRサーバー Ver2.13

※ アマレコVRサーバーは更新なし

新しいバージョン アマレコVR Ver2.1.7が公開されています。