fc2ブログ
 

Robust Video Mattingによる背景透過

Robust Video Matting(RVM)と言うのを使って「通常の動画から背景を緑一色にした動画を作成できる」と教えていただいたので試してみました。
背景が緑一色の動画を作成できれば あとはアマレコVRのクロマキー合成により自動背景透過と同様の効果が得られます。

アマレコVRの自動背景透過は 固定カメラ、安定した照明、適度に被写体が動くなどかなり使用できる条件が限られますが、
RVMでは画像に映っている人物を検出する方式のため、背景が動いていてもほぼ影響無く幅広いシーンでの活用が期待できます。

・Robust Video Matting
https://github.com/PeterL1n/RobustVideoMatting

・RVM使用例
https://www.youtube.com/watch?v=VL-0K6HjhvQ



■テスト
次のサンプル動画(640x360)を上記使用例に沿ってRVMで処理
https://pixabay.com/ja/videos/%E3%82%AF%E3%83%AA%E3%82%B9%E3%83%9E%E3%82%B9-x-%E7%B7%9A%E3%83%9E%E3%82%B9-%E5%86%AC-57916/

作成された動画
http://www.amarectv.com/download/2180763146santa.mp4

アマレコVRへ簡易クロマキー合成を実装し試した結果はこのようになります。
2180763146santa.jpg


■課題
被写体が緑になる(曖昧な部分を半透明にするため?)
RVMの方で完全な透明か不透明の2値で処理してほしい
輪郭が緑になったり背景にできる影などはアマレコVRの方で何とかできるかもしれませんが
被写体内部まで緑になってしまうのは辛い

VR動画の左右の画像で異なる結果となってしまう
右眼に映る人は服着ているけど、左眼は服が透明になってしまうケースがある


■精度
RVMのデモとして公開されている動画と比べ
私のところで作成できたものはひどい結果のように見えます。
python、pytorch、RVMいずれも初めてなので私が上手くできていない可能性が
高いと思われますので上記サンプル動画をRVMで処理してもっとうまくできるよ
というのがありましたら アドバイス頂けるとありがたいです。
(うまく処理できている結果を見せていただければ もう少し頑張ってみようと思います)


 
 
あまラボへようこそ
このブログでは自作ソフトの最新情報やtips、PC動画に関する話題を掲載していきます。各記事へは下にあるカテゴリからアクセスして下さい。

ファイルのダウンロードはホームページの方でお願い致します。

質問・要望・不具合報告はこちら
アマレコTV
アマミキ!
アマレココ
アマレコ・ライト
ファンタジーリモート
AMVコーデック



ホームページ
カテゴリ
最新コメント
カレンダー
02 | 2024/03 | 04
- - - - - 1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
31 - - - - - -
最新記事
最新トラックバック
ブログ内タグ

アマレコTV ビデオキャプチャ アマレコVR AMVコーデック Oculus アマレココ Quest アマミキ! コーデック gQuest SC500 動画配信 Pico GO ファンタジーリモート 4K アマレコライト Unity プラグイン G2 AMV4 oculus SC512 ライブ機能 パススルー機能 Passthrough デスクトップキャプチャ AVX2 リモートソフト FAQ アセット機能 質問コーナー DirectShow HDキャプチャ ニコニコ動画 Asset 120Hz 背景透過 レゴ 遅延 可変再生速度 組み換え 解説動画 LEGO MetaQuest Meta VR GV-USB2 2 XL2420T Pico4 Quest3 液晶モニター 倍速液晶 AMV2MT デインターレース ベンチマーク アマステ Pro 背景透過V3 PS4 VRonVR MonsterX3A Intensity VideoKeeper2 designs インストール Alternate AVX XCAPTURE-1 31024 GV-USB SD-USB2CAP4 ffmpeg 32ZP2 31006 RDT233WX-Z 画像処理 60fps Robust Matting RGBキャプチャ Rift Video Shadow Play WindowsMR RYZEN UtVideo T2 HDMI NVEnc HDCP QSV LameACM OBS 音遅延 MP3 Haswell 電源オプション 音ズレ 録画 オーバーレイ XCapture-1 MonsterXU3.0R フィギュア ハイパースレッディングテクノロジー HT 31021 MPC 液晶テレビ DirectShowFilter プレビュー 擬似NTSCキャプチャ SD-USB2CUP4 Livetube AtomでHDキャプチャ キャプチャーツール シンクライアント イベント IntensityPro DC-HD1 額縁遅延 REGZA ZP3 倍速補完処理 32ZP32 Kabelake リプレイ機能 モノステ 倍速駆動 ゲームスムーズモード LAVFilters SkyBox Hand Tracking 2.0 ファイルマネージャプラス pytorch APIパススルー機能 API python ハンドジェスチャー パカラーススルー機能 アルファ付き動画 アルファ付きVR動画 RVM クロマキー ダウンロード AssetBundle 物理処理 download passthrough 検証 Preferred Filter Tweaker SteamVR GPU使用率 可逆圧縮 SKnet GV-USB3 キャプチャカード VR動画 フレーム間圧縮 新プレイヤー機能 AMPlayer 60Hz 新アマレコVR 90Hz VRコントローラー MR Windows SSE 

ブログ内検索
月別アーカイブ
アマレココに関するリンク
お世話になっているソフトのリンク
RSSリンクの表示
管理画面
  • 管理画面