fc2ブログ
 

アマレコVR Ver2.3.0 for Pico4 アルファ版 暗闇透過処理

1年前にMeta Questのパススルー機能に合わせて実験した画像処理の2ndシーズンです。
今回はPico4のカラーパススルーに合わせて実験していきます。


【更新内容】
・暗闇透過処理
・ボリュームボタンを使えるようにした
・HMDのホームポジションリセットに対応
・アルファマップ微修正
・アルファマップBへブラックマスクオプション追加
・ハンドジェスチャー(スクリーン移動、シーク)

【ボタン機能】
・ドラッグ暗闇透過率
・暗闇透過率 UP
・暗闇透過率 DOWN
・アルファマップのON / OFF切替

【ホイール機能】
・暗闇透過率




1.暗闇透過処理
動画内の暗い部分を透明にします。
色を指定して透明にするクロマキー処理に近いですが、黒に特化していることと、彩度※の高い(色味が強い)個所は逆に不透明になるように調整することができます。
照明の当たっている被写体と 照明の当たっていない背景の明度の差および彩度の差を利用して背景を透過させます。
また、背景透過処理とは異なり処理解像度が高く動画の画像サイズをそのまま処理することができますので、被写体の輪郭が明瞭になります。

※彩度・・・実際は彩度ではなく RGB要素の最大値から最小値を引いた値を使います。ここでは色味と記します。



【暗闇透過処理】
・背景 (暗い 色味は低い)
・被写体 (明るい 色味が高い)
この差を利用して背景を透明、被写体を不透明にします。




背景が暗いVR動画であれば暗闇透過処理単体でもそれなりの効果が得られますが、
黒い部分が一律透明になりますので 黒目や黒髪も透明になってしまいます。
ですので実際は背景透過処理と組み合わせて使うことになります。


2.背景透過処理と暗闇透過処理を併用した場合
背景透過処理は背景と被写体をある程度区別できますので、背景は透明、被写体は不透明で確定します。
一方、背景透過処理の処理解像度は極めて低いため 被写体と背景の境界領域については(アルファ値を)ボカす必要がありました。
暗闇透過処理は このボカした境界領域(輪郭)に適用されます。
暗い分部は透明になりやすく、明るく且つ色味のある肌などは不透明になりやすい性質があり、さらに処理解像度が高いため
背景透過処理のみの場合と比べ 被写体の輪郭を明瞭にする効果が期待されます。



【背景透過処理と暗闇透過処理の併用】
・暗闇透過処理 (処理解像度が高い 輪郭綺麗 黒以外の背景消せない 黒目消える)
・背景透過処理 (処理解像度極めて低い 輪郭ぼやける 動きのない背景消せる 動きのある被写体は消えない)

背景透過処理により黒目は被写体に含まれていれば透明とはなりません。
黒以外の背景も動きが無ければ背景と判断され透明になります。
被写体の輪郭は暗闇透過処理により高い処理解像度で綺麗に処理されますのでそれぞれの処理の強みが発揮されます。





3.使い方
背景透過と暗闇透過はそれぞれON、OFFして単独か組み合わせて使うことができます。
背景透過処理は画像処理メニューから設定します。
暗闇透過処理はチェックボックスをONにして 暗闇透過率を背景が消えて 被写体が消えないように微調整してください。
彩度補正は最初は0のまま使い、被写体も処理するは好みでON/OFF。

mainscreen_setting_20221104233947924.png


・暗闇透過
暗い部分を透明にします。
100の場合は処理をしません。
数値が小さいほど 暗い部分が透明になります。

・彩度補正
色味の大きい部分を不透明にします。
0の時は処理をしません。
数値が高いほど不透明にします。

・白透過オプション
黒ではなく白い部分を透明にしますが、今のところ上手く機能しません。

・被写体も処理するオプション
背景透過と暗闇透過を組み合わせた際に 被写体の領域へも暗闇透過を適用します。

【被写体が複数ある場合 胴体と腕の間など】
背景透過処理はなるべく丸い形状になるよう整形する性質がありますので、被写体が複数ある場合はくっついて一つの塊になってしまう場合があります。
そのため、被写体と被写体の間の空間へ暗闇透過処理が適用されません。
被写体も処理するをONにすると 被写体領域へも暗闇透過処理を適用し 暗い部分を透明にできます。
ただし、黒目など被写体に含まれる領域も透明になってしまいます。




4.調整方法
・背景透過処理の輪郭サイズ
輪郭サイズが小さいと 被写体の領域が侵食されやすくなります(黒目なども透明になりやすい)。
輪郭サイズを大きくすると 被写体の外側に薄っすら背景が残りやすくなります。

・背景透過処理の輪郭ぼかし
被写体の浸食や背景残りを考慮して調整してください。

・暗闇透過処理の透過率
100だと処理しません。
数値を小さくするほど 暗い部分の透過率が高くなります。
これがメインの調整となります。背景が消えつつ、被写体が侵食されない値に調整してください。
ボタンやマウスのホイールへ割り当てることができますので色々試してみてください。

・暗闇透過処理の彩度補正
0だと処理しません。
数値を上げるほど 色味を強く反映させます。
アルファ値を算出する際に色味が大きい画素ほど不透明になります。
暗がり動画など背景に色味が少ない場合は 彩度補正を大きく設定することで明るい被写体が不透明になりやすくなり有利です。
通常の動画(背景が明るく色味がある場合)では 彩度補正を0にしてください。彩度補正値が大きいと色味のある背景が不透明になってしまいます。



5.その他

背景透過処理の1024モードは工事中です。256モードを使ってください。

アルファマップBへ ブラックマスクオプション追加

アルファマップの連動設定に合わせてアルファマップの位置やスケール、ステレオ調整をするようにした

アルファマップAとBの違い
アルファマップAはメイン画面と3rd画面の両方へ適用されます。
アルファマップBは3rd画面だけ適用されます。(メイン画面へは影響しません)


【パススルー映像の一部を隠す】
アルファマップBを応用してパススルー映像の一部を隠すことができます。
・ブラックマスクをON
・連動設定を固定
・HMDのホームポジションリセット(ホームボタン長押しまたはHMDリセットボタン)したあとアルファマップBの位置を調整する




ダウンロード
アマレコVR Ver2.3.0 アルファ版 for Pico4
アマレコVRサーバー Ver2.21

新しいバージョン アマレコVR Ver2.3.1 が公開されています。
関連記事


コメントの投稿

画質調整のタグ付け

前バージョンのスレで投稿させて頂いた画質調整画面のタグ付けができることを確認しました
対応ありがとうございます

今回のバージョンで透過関係がバージョンアップされて非常に興味深いですが
上手くハマるソース画像はまだ少なそうですね
いろいろ試してみたいと思います

素晴らしいアプリの開発ありがとうございます
アマレコVRは動画の音声トラックの切り替えは出来ますか?前のバージョンの時、オーディオコメンタリーを聞こうとオプションを見ても見当たらなかったので

Re: 画質調整のタグ付け

暗闇透過だと使える場面は相当限られてしまいますね。
年内をめどに画像処理系のアップデートをしていく予定ですので興味ありましたらまたお試しください。

Re: タイトルなし

> 素晴らしいアプリの開発ありがとうございます
> アマレコVRは動画の音声トラックの切り替えは出来ますか?前のバージョンの時、オーディオコメンタリーを聞こうとオプションを見ても見当たらなかったので

できません

VRコントローラの機能割り当て

VRコントローラのスティック (Push) に機能を割り当てても動作していないように思います
お手数ですが確認頂けると助かります

Re: VRコントローラの機能割り当て

Pico版のVRコントローラーは簡易実装となります。
 
 
あまラボへようこそ
このブログでは自作ソフトの最新情報やtips、PC動画に関する話題を掲載していきます。各記事へは下にあるカテゴリからアクセスして下さい。

ファイルのダウンロードはホームページの方でお願い致します。

質問・要望・不具合報告はこちら
アマレコTV
アマミキ!
アマレココ
アマレコ・ライト
ファンタジーリモート
AMVコーデック



ホームページ
カテゴリ
最新コメント
カレンダー
04 | 2023/05 | 06
- 1 2 3 4 5 6
7 8 9 10 11 12 13
14 15 16 17 18 19 20
21 22 23 24 25 26 27
28 29 30 31 - - -
最新記事
最新トラックバック
ブログ内タグ

アマレコTV ビデオキャプチャ アマレコVR AMVコーデック Oculus Quest アマレココ アマミキ! コーデック gQuest SC500 動画配信 Pico GO ファンタジーリモート 4K アマレコライト プラグイン G2 AMV4 oculus Unity SC512 ライブ機能 パススルー機能 デスクトップキャプチャ AVX2 Passthrough FAQ リモートソフト 質問コーナー ニコニコ動画 HDキャプチャ DirectShow 120Hz 背景透過 遅延 可変再生速度 レゴ 解説動画 Meta 組み換え VR LEGO XL2420T GV-USB2 2 アセット機能 液晶モニター 倍速液晶 デインターレース PS4 ベンチマーク アマステ AMV2MT Asset Intensity Pico4 MetaQuest Pro VRonVR MonsterX3A designs VideoKeeper2 AVX Alternate XCAPTURE-1 SD-USB2CAP4 GV-USB インストール RDT233WX-Z 32ZP2 31006 ffmpeg WindowsMR Rift 画像処理 31024 T2 60fps RGBキャプチャ UtVideo Shadow Play RYZEN 電源オプション HDCP Haswell HDMI 音遅延 QSV MonsterXU3.0R LameACM MP3 31021 フィギュア 音ズレ 録画 ゲームスムーズモード HT OBS MPC ハイパースレッディングテクノロジー NVEnc 液晶テレビ DirectShowFilter プレビュー 擬似NTSCキャプチャ SD-USB2CUP4 Livetube AtomでHDキャプチャ キャプチャーツール シンクライアント イベント IntensityPro DC-HD1 額縁遅延 REGZA ZP3 32ZP32 オーバーレイ リプレイ機能 モノステ 倍速駆動 倍速補完処理 キャプチャカード Robust Video Matting API APIパススルー機能 60Hz 検証 passthrough python pytorch ハンドジェスチャー パカラーススルー機能 AssetBundle 2.0 Tracking ファイルマネージャプラス SkyBox Hand AMPlayer 新プレイヤー機能 GPU使用率 LAVFilters Preferred 可逆圧縮 GV-USB3 Kabelake SSE SKnet Filter Tweaker Windows 90Hz 新アマレコVR MR VRコントローラー SteamVR VR動画 フレーム間圧縮 XCapture-1 

ブログ内検索
月別アーカイブ
アマレココに関するリンク
お世話になっているソフトのリンク
RSSリンクの表示
管理画面
  • 管理画面