fc2ブログ
 

アルファ付きVR動画作成ツール rvm_alpha公開

rvm_alphaは Robust Video Matting(RVM)を使って通常のVR動画からアルファ付きVR動画を作成するPython用のスクリプトです。
RVMはAIを使って画像内の人物を抽出できるので それをアルファ画像とし魚眼VR動画の端に書き込みます。
Robust Video Matting公式サイト

rvm_alpha.png


アルファ付き動画は私が公開しているMeta Quest版 アマレコVRで利用できます。
VR動画の人物のみを残し パススルー映像やほかの動画と合成することができます。


【主な内容】
・通常のVR動画からアルファ付き動画またはグリーンバック動画の作成
・連番PNGファイルからアルファ付き動画の作成
・オーディオストリームのコピー
・バッチファイルへ動画をD&Dするだけで利用可能
・4KのVR動画に対し GTX1080で15fps、RTX4090で30fps程度の処理能力

【動作条件】
・Windows10,Windows11
・4GB以上のnVIDIA製ビデオカード
・Python 3.11.4


1.インストール
1.1.実行に必要なもの
rvm_alpha.zipをダウンロードし解凍してできるフォルダへ 次のファイルをコピーしてください
ダウンロードページ

RVM公式サイトから次の2つ
・modelフォルダ一式
・rvm_mobilenetv3.pth

rvm_model.png rvm_mobilenetv3_pth.png


■ffmpegから2つ
・ffmpeg.exe
・ffprobe.exe
https://github.com/GyanD/codexffmpeg/releases/tag/2020-12-20-git-ab6a56773f
ffmpeg-2020-12-20-git-ab6a56773f-full_build.zip

全てコピーするとこうなります
file_20230812051441a64.png


1.2.Pythonのインストール
このツールはPython用のスクリプトになっていますので、Pythonをインストールしていない場合はPython公式サイトからダウンロードしてインストールしてください。
・python-3.11.4-amd64.exe

download_python.png


※ AppStore版も使えますがAppStore版は若干遅いようなのでデスクトップ版をお勧めします。


インストール画面ではカスタマイズを選択し Pythonへパスを通すオプションをONにしてください。

python_install_custom.png python_install_path.png

インストールが終わったらPCを再起動します(再起動しないとパス設定が有効にならない)。

Windows PowerShellを起動してPythonが使えることを確認します。Pythonから抜けるには[Ctrl] + [Z]。
power_python.png


※ AppStoreのPythonのページが表示されるようなら パスの設定ができていません。
インストーラーで修復か再インストールしてください。





1.3.実行するのに必要なPythonモジュールをインストール
rvm_alpha同梱のmodule_install.batをWindows PowerShellで実行してください。

最後にCUDAに対応したPyTorchをインストールします。
PyTorchの公式サイトから PCの環境等を選択するとインストールコマンドが表示されますのでコピーしてWindows PowerShellで実行します。

※ PyTorchは2GB程度あるので インストールに数分かかります。
すぐに終わってしまう場合は 既に別のPyTorchがインストールされていてCUDA版のインストールがキャンセルされています。
次のようにオプションを指定して 強制的に再インストールしてください

pip install --upgrade --force-reinstall torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117





2.アンインストール
rvm_alphaにはアンインストールはありません。ダウンロードしたファイルを削除してください。
Pythonについては 本体をアインインストールしても 追加したモジュールファイルが数ギガバイト単位で残ります。
「python 完全にアンインストール」で検索して 必要に応じて残ったファイルの削除の仕方を調べてください。



3.使い方
drop here alpha.batへ動画ファイルをD&Dするとrvm_alphaフォルダへ アルファ付きの動画を作成します。
drop here green.batで背景を緑にした動画を作成します。
drop hear pngへpngの連番ファイルを保存したフォルダをD&Dすると アルファ付きの動画を作成します。

バッチファイルは デスクトップ等へショートカットを作って使うことができます。
[esc]キーで終了。[S]キーで現在処理している画像を確認できます。



4.注意事項
・アルファ付き動画は魚眼サイドバイサイドのVR動画専用です
・CPU処理も可能ですが遅すぎるので 実質CUDAで使って下さい

rvm_alpha_use_cuda.png

deviceの項目がcudaならCUDAを使って処理しています。cpuとなっていたら CUDAは使っていません。



5.主なエラー原因
・CUDAが使えない →ビデオカードのドライバーを最新のものにアップデートするなど
・ビデオメモリが足りない →4K動画を扱うなら4GB以上必要
・PyTorchでエラーがでる →CUDAに対応したPyTorchを強制再インストールする
・画像サイズが適合しない →4KやFHD、HDなどで使ってください



6.ダウンロード
ダウンロードページ






 
 
あまラボへようこそ
このブログでは自作ソフトの最新情報やtips、PC動画に関する話題を掲載していきます。各記事へは下にあるカテゴリからアクセスして下さい。

ファイルのダウンロードはホームページの方でお願い致します。

質問・要望・不具合報告はこちら
アマレコTV
アマミキ!
アマレココ
アマレコ・ライト
ファンタジーリモート
AMVコーデック



ホームページ
カテゴリ
最新コメント
カレンダー
03 | 2024/04 | 05
- 1 2 3 4 5 6
7 8 9 10 11 12 13
14 15 16 17 18 19 20
21 22 23 24 25 26 27
28 29 30 - - - -
最新記事
最新トラックバック
ブログ内タグ

アマレコTV ビデオキャプチャ アマレコVR AMVコーデック Oculus アマレココ Quest アマミキ! コーデック gQuest SC500 動画配信 Pico GO ファンタジーリモート 4K アマレコライト Unity プラグイン G2 AMV4 oculus SC512 ライブ機能 パススルー機能 Passthrough デスクトップキャプチャ AVX2 リモートソフト FAQ アセット機能 質問コーナー DirectShow HDキャプチャ ニコニコ動画 Asset 120Hz 背景透過 レゴ 遅延 解説動画 組み換え 可変再生速度 MetaQuest LEGO Quest3 Meta VR XL2420T GV-USB2 2 Pico4 背景透過V3 アマステ 液晶モニター デインターレース ベンチマーク 倍速液晶 Pro VRonVR AMV2MT MonsterX3A Intensity PS4 VideoKeeper2 designs インストール Alternate AVX XCAPTURE-1 RDT233WX-Z GV-USB SD-USB2CAP4 31024 32ZP2 31006 ffmpeg 画像処理 60fps Robust Matting RGBキャプチャ Rift Video Shadow Play WindowsMR RYZEN UtVideo T2 HDMI NVEnc HDCP QSV LameACM OBS 音遅延 MP3 Haswell 電源オプション 録画 MonsterXU3.0R オーバーレイ XCapture-1 Kabelake 音ズレ フィギュア ハイパースレッディングテクノロジー HT 31021 MPC 液晶テレビ DirectShowFilter プレビュー 擬似NTSCキャプチャ SD-USB2CUP4 Livetube AtomでHDキャプチャ キャプチャーツール シンクライアント イベント IntensityPro DC-HD1 額縁遅延 REGZA ZP3 倍速補完処理 32ZP32 SSE リプレイ機能 モノステ 倍速駆動 ゲームスムーズモード Preferred Hand Tracking 2.0 ハンドジェスチャー SkyBox ファイルマネージャプラス API python pytorch パカラーススルー機能 AssetBundle アルファ付きVR動画 RVM AI XML アルファ付き動画 クロマキー 物理処理 download ダウンロード APIパススルー機能 passthrough Filter Tweaker SteamVR VR動画 LAVFilters GPU使用率 GV-USB3 キャプチャカード 可逆圧縮 フレーム間圧縮 VRコントローラー AMPlayer 60Hz 検証 新プレイヤー機能 新アマレコVR MR Windows 90Hz SKnet 

ブログ内検索
月別アーカイブ
アマレココに関するリンク
お世話になっているソフトのリンク
RSSリンクの表示
管理画面
  • 管理画面