Robust Video Mattingによる背景透過
Robust Video Matting（RVM）と言うのを使って「通常の動画から背景を緑一色にした動画を作成できる」と教えていただいたので試してみました。
背景が緑一色の動画を作成できれば あとはアマレコVRのクロマキー合成により自動背景透過と同様の効果が得られます。
アマレコVRの自動背景透過は 固定カメラ、安定した照明、適度に被写体が動くなどかなり使用できる条件が限られますが、
RVMでは画像に映っている人物を検出する方式のため、背景が動いていてもほぼ影響無く幅広いシーンでの活用が期待できます。
・Robust Video Matting
https://github.com/PeterL1n/RobustVideoMatting
・RVM使用例
https://www.youtube.com/watch?v=VL-0K6HjhvQ
■テスト
次のサンプル動画（640x360）を上記使用例に沿ってRVMで処理
https://pixabay.com/ja/videos/%E3%82%AF%E3%83%AA%E3%82%B9%E3%83%9E%E3%82%B9-x-%E7%B7%9A%E3%83%9E%E3%82%B9-%E5%86%AC-57916/
作成された動画
http://www.amarectv.com/download/2180763146santa.mp4
アマレコVRへ簡易クロマキー合成を実装し試した結果はこのようになります。
■課題
被写体が緑になる（曖昧な部分を半透明にするため？）
RVMの方で完全な透明か不透明の2値で処理してほしい
輪郭が緑になったり背景にできる影などはアマレコVRの方で何とかできるかもしれませんが
被写体内部まで緑になってしまうのは辛い
VR動画の左右の画像で異なる結果となってしまう
右眼に映る人は服着ているけど、左眼は服が透明になってしまうケースがある
■精度
RVMのデモとして公開されている動画と比べ
私のところで作成できたものはひどい結果のように見えます。
python、pytorch、RVMいずれも初めてなので私が上手くできていない可能性が
高いと思われますので上記サンプル動画をRVMで処理してもっとうまくできるよ
というのがありましたら アドバイス頂けるとありがたいです。
（うまく処理できている結果を見せていただければ もう少し頑張ってみようと思います）
背景が緑一色の動画を作成できれば あとはアマレコVRのクロマキー合成により自動背景透過と同様の効果が得られます。
アマレコVRの自動背景透過は 固定カメラ、安定した照明、適度に被写体が動くなどかなり使用できる条件が限られますが、
RVMでは画像に映っている人物を検出する方式のため、背景が動いていてもほぼ影響無く幅広いシーンでの活用が期待できます。
・Robust Video Matting
https://github.com/PeterL1n/RobustVideoMatting
・RVM使用例
https://www.youtube.com/watch?v=VL-0K6HjhvQ
■テスト
次のサンプル動画（640x360）を上記使用例に沿ってRVMで処理
https://pixabay.com/ja/videos/%E3%82%AF%E3%83%AA%E3%82%B9%E3%83%9E%E3%82%B9-x-%E7%B7%9A%E3%83%9E%E3%82%B9-%E5%86%AC-57916/
作成された動画
http://www.amarectv.com/download/2180763146santa.mp4
アマレコVRへ簡易クロマキー合成を実装し試した結果はこのようになります。
■課題
被写体が緑になる（曖昧な部分を半透明にするため？）
RVMの方で完全な透明か不透明の2値で処理してほしい
輪郭が緑になったり背景にできる影などはアマレコVRの方で何とかできるかもしれませんが
被写体内部まで緑になってしまうのは辛い
VR動画の左右の画像で異なる結果となってしまう
右眼に映る人は服着ているけど、左眼は服が透明になってしまうケースがある
■精度
RVMのデモとして公開されている動画と比べ
私のところで作成できたものはひどい結果のように見えます。
python、pytorch、RVMいずれも初めてなので私が上手くできていない可能性が
高いと思われますので上記サンプル動画をRVMで処理してもっとうまくできるよ
というのがありましたら アドバイス頂けるとありがたいです。
（うまく処理できている結果を見せていただければ もう少し頑張ってみようと思います）
