fc2ブログ
 

アマレコVR Ver2.1.4 画像解析処理による背景透過 試作版 公開

Compute Shaderを使ってメインプレイヤーの映像をリアルタイムで解析して動きの少ない背景部を透明にします。
パススルー映像や3rdプレイヤーの映像と合成できます。
まだまだ画像処理部については試行錯誤の段階ですが、Oculus Questの実機で動作するようになったので公開します。

1.導入
アマレコVR Ver2.1.3 アルファ3を使っていることが前提です。
まだの人はアルファ3の記事も合わせて観てください。
アルファ3とは別アプリとしてインストールされます。


2.使い方
メイン画面設定へ[画像処理]メニューが追加されています。
[画像処理]メニューから自動背景透過を選択してください。
あとはメインプレイヤーで再生されている映像を自動的に処理します。

※ アマレコVRアプリのプレイヤー設定でAmaRec Playerを選択してください。(初期値はAmaRec Playerなので通常はそのままでOKです)
AVProでは利用できません。


3.画像処理概要
動きの少ない部分(ひとつ前のフレームからの変化が少ない画素)を検出し背景画像を作成します。
一度のサンプリングでは背景画像の信頼性が低いので
数秒間解析を続けて信頼性の高くなった背景画像のエリアと現在のフレームを比較して
透明にします。信頼性の低いエリアは常に不透明です。
解析は常に行われ 家具の位置が動いたり、シーンチェンジすると背景画像もアップデートされます。

基本的に被写体が映った映像から背景画像を作成しますので
被写体と被写体の周辺エリアについては背景画像の信頼性が高まるまで時間がかかります。
そのため、被写体の周辺の背景が表示されてしまったり、被写体が退いた後もしばらく背景が表示されることがあります。

屋内の固定カメラで撮影されたVR映像であることが前提となります。
・背景が一切動かない (とにかくこれが大事、手振れなどもないこと)
・照明が安定している (ロウソクや太陽光などはNG)
・画質が安定していること (ノイズが多い、差分フレームとキーフレームの画質差が激しいなどはNG)
・被写体は基本的に1つ (複数の場合は 被写体と被写体の間が不透明になる 課題)
・被写体が丸っこいこと (でっぱりがあると その周辺は不透明になってしまいます 課題)
・被写体が適度に動くこと (数秒間 止まられると 背景と判断されて透明になってしまう 課題)

良い結果が期待できるケース
・背景がCGの映像 (動きが全くなければ 上手くいきます)
・背景が真っ黒な映像 (多少背景が映ってしまっても 影っぽく自然に見える)



4.ダウンロード

アマレコVR Ver2.1.4 試作版
アマレコVRサーバー Ver2.13

※ アマレコVRサーバーは更新なし

新しいバージョン アマレコVR Ver2.1.7が公開されています。


関連記事


コメントの投稿

 
 
あまラボへようこそ
このブログでは自作ソフトの最新情報やtips、PC動画に関する話題を掲載していきます。各記事へは下にあるカテゴリからアクセスして下さい。

ファイルのダウンロードはホームページの方でお願い致します。

質問・要望・不具合報告はこちら
アマレコTV
アマミキ!
アマレココ
アマレコ・ライト
ファンタジーリモート
AMVコーデック



ホームページ
カテゴリ
最新コメント
カレンダー
02 | 2024/03 | 04
- - - - - 1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
31 - - - - - -
最新記事
最新トラックバック
ブログ内タグ

アマレコTV ビデオキャプチャ アマレコVR AMVコーデック Oculus アマレココ Quest アマミキ! コーデック gQuest SC500 動画配信 Pico GO ファンタジーリモート 4K アマレコライト Unity プラグイン G2 AMV4 oculus SC512 ライブ機能 パススルー機能 Passthrough デスクトップキャプチャ AVX2 リモートソフト FAQ アセット機能 質問コーナー DirectShow HDキャプチャ ニコニコ動画 Asset 120Hz 背景透過 レゴ 遅延 可変再生速度 組み換え 解説動画 LEGO MetaQuest Meta VR GV-USB2 2 XL2420T Pico4 Quest3 液晶モニター 倍速液晶 AMV2MT デインターレース ベンチマーク アマステ Pro 背景透過V3 PS4 VRonVR MonsterX3A Intensity VideoKeeper2 designs インストール Alternate AVX XCAPTURE-1 31024 GV-USB SD-USB2CAP4 ffmpeg 32ZP2 31006 RDT233WX-Z 画像処理 60fps Robust Matting RGBキャプチャ Rift Video Shadow Play WindowsMR RYZEN UtVideo T2 HDMI NVEnc HDCP QSV LameACM OBS 音遅延 MP3 Haswell 電源オプション 音ズレ 録画 オーバーレイ XCapture-1 MonsterXU3.0R フィギュア ハイパースレッディングテクノロジー HT 31021 MPC 液晶テレビ DirectShowFilter プレビュー 擬似NTSCキャプチャ SD-USB2CUP4 Livetube AtomでHDキャプチャ キャプチャーツール シンクライアント イベント IntensityPro DC-HD1 額縁遅延 REGZA ZP3 倍速補完処理 32ZP32 Kabelake リプレイ機能 モノステ 倍速駆動 ゲームスムーズモード LAVFilters SkyBox Hand Tracking 2.0 ファイルマネージャプラス pytorch APIパススルー機能 API python ハンドジェスチャー パカラーススルー機能 アルファ付き動画 アルファ付きVR動画 RVM クロマキー ダウンロード AssetBundle 物理処理 download passthrough 検証 Preferred Filter Tweaker SteamVR GPU使用率 可逆圧縮 SKnet GV-USB3 キャプチャカード VR動画 フレーム間圧縮 新プレイヤー機能 AMPlayer 60Hz 新アマレコVR 90Hz VRコントローラー MR Windows SSE 

ブログ内検索
月別アーカイブ
アマレココに関するリンク
お世話になっているソフトのリンク
RSSリンクの表示
管理画面
  • 管理画面