fc2ブログ
 

アマレコVR Ver2.1.4 画像解析処理による背景透過 試作版 公開

Compute Shaderを使ってメインプレイヤーの映像をリアルタイムで解析して動きの少ない背景部を透明にします。
パススルー映像や3rdプレイヤーの映像と合成できます。
まだまだ画像処理部については試行錯誤の段階ですが、Oculus Questの実機で動作するようになったので公開します。

1.導入
アマレコVR Ver2.1.3 アルファ3を使っていることが前提です。
まだの人はアルファ3の記事も合わせて観てください。
アルファ3とは別アプリとしてインストールされます。


2.使い方
メイン画面設定へ[画像処理]メニューが追加されています。
[画像処理]メニューから自動背景透過を選択してください。
あとはメインプレイヤーで再生されている映像を自動的に処理します。

※ アマレコVRアプリのプレイヤー設定でAmaRec Playerを選択してください。(初期値はAmaRec Playerなので通常はそのままでOKです)
AVProでは利用できません。


3.画像処理概要
動きの少ない部分(ひとつ前のフレームからの変化が少ない画素)を検出し背景画像を作成します。
一度のサンプリングでは背景画像の信頼性が低いので
数秒間解析を続けて信頼性の高くなった背景画像のエリアと現在のフレームを比較して
透明にします。信頼性の低いエリアは常に不透明です。
解析は常に行われ 家具の位置が動いたり、シーンチェンジすると背景画像もアップデートされます。

基本的に被写体が映った映像から背景画像を作成しますので
被写体と被写体の周辺エリアについては背景画像の信頼性が高まるまで時間がかかります。
そのため、被写体の周辺の背景が表示されてしまったり、被写体が退いた後もしばらく背景が表示されることがあります。

屋内の固定カメラで撮影されたVR映像であることが前提となります。
・背景が一切動かない (とにかくこれが大事、手振れなどもないこと)
・照明が安定している (ロウソクや太陽光などはNG)
・画質が安定していること (ノイズが多い、差分フレームとキーフレームの画質差が激しいなどはNG)
・被写体は基本的に1つ (複数の場合は 被写体と被写体の間が不透明になる 課題)
・被写体が丸っこいこと (でっぱりがあると その周辺は不透明になってしまいます 課題)
・被写体が適度に動くこと (数秒間 止まられると 背景と判断されて透明になってしまう 課題)

良い結果が期待できるケース
・背景がCGの映像 (動きが全くなければ 上手くいきます)
・背景が真っ黒な映像 (多少背景が映ってしまっても 影っぽく自然に見える)



4.ダウンロード

アマレコVR Ver2.1.4 試作版
アマレコVRサーバー Ver2.13

※ アマレコVRサーバーは更新なし

新しいバージョン アマレコVR Ver2.1.7が公開されています。


関連記事


コメントの投稿

 
 
あまラボへようこそ
このブログでは自作ソフトの最新情報やtips、PC動画に関する話題を掲載していきます。各記事へは下にあるカテゴリからアクセスして下さい。

ファイルのダウンロードはホームページの方でお願い致します。

質問・要望・不具合報告はこちら
アマレコTV
アマミキ!
アマレココ
アマレコ・ライト
ファンタジーリモート
AMVコーデック



ホームページ
カテゴリ
最新コメント
カレンダー
04 | 2022/05 | 06
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 31 - - - -
最新記事
最新トラックバック
ブログ内タグ

アマレコTV ビデオキャプチャ AMVコーデック アマレコVR Oculus アマレココ Quest アマミキ! コーデック gQuest SC500 動画配信 Pico GO ファンタジーリモート 4K アマレコライト プラグイン G2 AMV4 oculus ライブ機能 SC512 Unity AVX2 デスクトップキャプチャ Passthrough リモートソフト FAQ 質問コーナー DirectShow ニコニコ動画 120Hz HDキャプチャ 遅延 可変再生速度 レゴ 解説動画 組み換え VR LEGO XL2420T GV-USB2 2 倍速液晶 AMV2MT 液晶モニター アマステ ベンチマーク デインターレース Intensity VRonVR PS4 パススルー機能 Meta Pro MonsterX3A designs VideoKeeper2 XCAPTURE-1 Alternate AVX インストール GV-USB SD-USB2CAP4 RDT233WX-Z 32ZP2 31006 ffmpeg Rift WindowsMR 60fps 背景透過 31024 T2 画像処理 RGBキャプチャ UtVideo Shadow Play RYZEN Haswell 電源オプション MP3 HDCP MonsterXU3.0R HDMI ゲームスムーズモード 音遅延 LameACM HT 倍速補完処理 31021 フィギュア ハイパースレッディングテクノロジー MPC NVEnc OBS QSV モノステ DirectShowFilter プレビュー 擬似NTSCキャプチャ Livetube AtomでHDキャプチャ キャプチャーツール シンクライアント イベント SD-USB2CUP4 IntensityPro 32ZP32 額縁遅延 REGZA 液晶テレビ 倍速駆動 DC-HD1 リプレイ機能 音ズレ ZP3 GV-USB3 passthrough APIパススルー機能 API 検証 60Hz 新アマレコVR 新プレイヤー機能 AMPlayer Robust Video Hand Tracking 2.0 SkyBox ファイルマネージャプラス Matting python pytorch 90Hz Windows キャプチャカード 可逆圧縮 GPU使用率 SKnet SSE オーバーレイ XCapture-1 Kabelake LAVFilters Preferred フレーム間圧縮 VRコントローラー MR VR動画 SteamVR Filter Tweaker 録画 

ブログ内検索
月別アーカイブ
アマレココに関するリンク
お世話になっているソフトのリンク
RSSリンクの表示
管理画面
  • 管理画面