アマレコVR Ver2.1.4 画像解析処理による背景透過 試作版 公開

Compute Shaderを使ってメインプレイヤーの映像をリアルタイムで解析して動きの少ない背景部を透明にします。
パススルー映像や3rdプレイヤーの映像と合成できます。
まだまだ画像処理部については試行錯誤の段階ですが、Oculus Questの実機で動作するようになったので公開します。

１．導入
アマレコVR Ver2.1.3 アルファ3を使っていることが前提です。
まだの人はアルファ3の記事も合わせて観てください。
アルファ3とは別アプリとしてインストールされます。


２．使い方
メイン画面設定へ[画像処理]メニューが追加されています。
[画像処理]メニューから自動背景透過を選択してください。
あとはメインプレイヤーで再生されている映像を自動的に処理します。

※ アマレコVRアプリのプレイヤー設定でAmaRec Playerを選択してください。（初期値はAmaRec Playerなので通常はそのままでOKです）
AVProでは利用できません。


３．画像処理概要
動きの少ない部分(ひとつ前のフレームからの変化が少ない画素)を検出し背景画像を作成します。
一度のサンプリングでは背景画像の信頼性が低いので
数秒間解析を続けて信頼性の高くなった背景画像のエリアと現在のフレームを比較して
透明にします。信頼性の低いエリアは常に不透明です。
解析は常に行われ 家具の位置が動いたり、シーンチェンジすると背景画像もアップデートされます。

基本的に被写体が映った映像から背景画像を作成しますので
被写体と被写体の周辺エリアについては背景画像の信頼性が高まるまで時間がかかります。
そのため、被写体の周辺の背景が表示されてしまったり、被写体が退いた後もしばらく背景が表示されることがあります。

屋内の固定カメラで撮影されたVR映像であることが前提となります。
・背景が一切動かない (とにかくこれが大事、手振れなどもないこと)
・照明が安定している (ロウソクや太陽光などはNG)
・画質が安定していること (ノイズが多い、差分フレームとキーフレームの画質差が激しいなどはNG)
・被写体は基本的に1つ (複数の場合は 被写体と被写体の間が不透明になる 課題)
・被写体が丸っこいこと (でっぱりがあると その周辺は不透明になってしまいます 課題)
・被写体が適度に動くこと (数秒間 止まられると 背景と判断されて透明になってしまう 課題)

良い結果が期待できるケース
・背景がCGの映像 (動きが全くなければ 上手くいきます)
・背景が真っ黒な映像 (多少背景が映ってしまっても 影っぽく自然に見える)



４．ダウンロード

・ アマレコVR Ver2.1.4 試作版
・ アマレコVRサーバー Ver2.13

※ アマレコVRサーバーは更新なし

新しいバージョン アマレコVR Ver2.1.7が公開されています。