fc2ブログ
 

アマレコVR Ver2.4.1 クロマキーとアルファ付き動画

クロマキー処理を刷新しました。また、画像の隅にアルファ情報を記録する特殊なVR動画形式へ対応しました。
いずれも背景を透明にして ほかの動画やパススルー映像と組み合わせて使うことができます。

クロマキー映像およびアルファ付きVR動画はコンテンツがほぼ無いに等しいため優先度は低めでしたが、3Dゲームの動画作成機能やUnity、Blenderと言ったアプリケーションを使い個人でVR動画を作成するケースが増えてきているようなので今回の更新となりました。


sample_mutant.png

アルファ付きVR動画の例
通常のVR動画として扱えますが、画像の隅にあるアルファ値(赤い部分)を使って登場人物だけを綺麗に抽出することができます。



【更新内容】
・クロマキー処理を刷新
・アルファ付きVR動画へ対応
・アセット機能へVR用のスクリーン追加
・アセット機能へ物理系のコンポーネント追加
・アセット機能へVisual Scriptingの基本的なUnit追加
・アセット機能のレンダリング範囲を10cm100mから3cm60mへ変更
・パススルーポータル機能を廃止


1.使い方
mainscreen_setting_20230715231951859.png

メイン画面設定の画像処理部が更新されています。
背景透過処理の「モヤっと」、「キリっと」、「幽霊」の変更はありません。



1.1.クロマキー
背景が緑や青などのいわゆる”クロマキー映像”の場合に使います。
今まではRobust Video Mattingのテスト用でしたが実際にクロマキー撮影した映像および、CG等のレンダリングした際のアンチエリアシングを想定し根本的に作り替えました。
簡単に扱えるようにできるだけ自動で処理し、綺麗にまとめることができたと思います。



使い方
chromakey_setting.png

画像処理をONにして、「クロマ」(クロマキーモード)を選択し、
閾値を10から30程度の範囲で調整して使って下さい。
一般的なクロマキー映像であれば閾値の調整だけで対応できると思います。



詳細な調整
閾値の調整だけでうまくいかない場合は以下のように調整してください。

(1) 最初に、閾値、色補正、輪郭すべて0にする。透明度補正はOFF。

(2) 閾値を少しずつ上げて 輪郭に少し背景色が残るように調整する。
10から30くらいが目安。
閾値は背景色がなくなるまで上げないこと。色補正や輪郭調整の余地が無くなってしまいます。

(3) 輪郭を少しずつ上げて 輪郭に乗った背景色が目立たないように調整する。
目安は1から20程度。
輪郭調整はアンチエリアシングのような効果がありますので 背景色が目立たない場合でも1以上に設定することをお勧めします。

(4) まだ、背景色が目立つ場合は色補正を少しずつ上げて調整する。
0から20程度が目安。
色補正を上げ過ぎると色味が変わってしまうので注意。

色補正をちょっと上げただけで色味が変わってしまう場合は 閾値が大きすぎます。
閾値を少し下げて 色補正の余地を確保してください。



各設定項目
■メニュー:背景色
具体的にどの色を透明にするかは画像解析により自動で設定されます。ここでは特定の色だけを処理するための条件を設定します。
ここで「赤」を選択したからと言って真っ赤な画素を透明にするわけではありません。
画像内で使われている赤成分の強い色の中から多く登場する具体的な色が選択され透明になります。それは青っぽい赤(紫系)かもしれないし、緑っぽい赤(黄色、オレンジ)かもしれません。
現在選択している具体的な色(解析結果)はメイン画面設定の左下に表示されています。
なお、クロマキー処理では黒背景や白背景には対応していません。それらは背景透過の幽霊モードを使って下さい。

・自動
特に制限を設けず画像内で多く使われている色を選択します。
水色や黄色なども選択されます。
白、黒、グレーなど色味が無いものは選択されません。

・赤、緑、青
それぞれの色に近いものが選択されます。

・青or緑
青または緑に近い色が選択されます。青と緑が混ざった水色は選択されません。
通常のクロマキー映像は人物と区別するために青背景または緑背景を使いますのでこの設定にしてください。


■閾値
背景色に近い画素を透明にする際、どこまで透明にするかの閾値を設定します。

■色補正
背景色に近い画素から 背景色の色成分を除きます(脱色)。

■輪郭
輪郭部をアンチエリアシングのように半透明にします。
また、背景色に近い場合は 色補正の設定に関わらず強く色補正されます。

■透明度補正
色補正の代わりに透明度を補正します。
実験用です。通常のクロマキー映像ではOFFにしてください。



1.2.アルファ付きVR動画
魚眼VR動画の隅にアルファ情報を記録した特殊なVR動画で使います。


使い方
alpha_setting.png

コンソール画面でメインプレイヤーのVRフォーマットを魚眼・サイドバイサイドにし メイン画面設定で画像処理をON、「アルファ」(アルファモード)を選択してください。
通常、調整は不要です。


各設定項目
画像処理メニュー
画像処理メニューはありません。

■上限
アルファ値の上限を設定します。
下限から上限までの範囲を0(完全透明)から100(完全不透明)にマッピングします。
画像が半透明に透けてしまう場合に上限を下げて調整します。
下限より大きく設定してください。

【例】
下限30、上限94の場合は次のようになります。
記録されているアルファ値が0%から30%までを完全透明。
30%から94%を透明から不透明にリニア補完。
94%以上を完全不透明。

■下限
アルファ値の下限を設定します。
輪郭に背景が目立つ場合に下限を上げて調整します。
上限より小さく設定してください。

■輪郭
輪郭に背景が少し残ってしまう場合に調整します。
下限の調整を優先し、それでも残ってしまう場合に輪郭を調整してください。
0から10あたりで使ってください。



2.アセット機能
■VR用のスクリーン追加
VRスクリーン用に「#AMScreenVR」を追加しました。
既存の「#AMScreen」は動画のアスペクト比に応じてゲームオブジェクトのスケール値が変更されますが、
「#AMScreenVR」はスケール値を変更しません。

■物理系のコンポーネント追加
HingeJointなどを追加しました。
今後も随時コンポーネントを追加していきます。

■Visual Scriptingの基本的なUnit追加
ゲームオブジェクトの移動や三角関数、タイマーなど基本的なUnitを追加しました。
今後も随時追加していきます。

■レンダリング範囲変更
手前10cmから遠く100mだった範囲を3cmから60mへ変更しました。
ゲームオブジェクト(キャラクター)に近づくと消えてしまうので、なるべく近くまでレンダリングするように調整しました。
その代り、遠くが表示できなくなっています。


3.サンプル動画
サンプル動画は5秒程度と短いのでメインプレイヤーのリピートモードを「File」にして使ってください。
ダウンロード ページ


■毛の生えた鉄球
毛の生えた鉄球とキューブのサンプル動画です。
アルファモードにして クロマキー処理では難しい髪の毛などの複雑なケースでの効果を確認します。
アルファ付きVR動画でも輪郭部分がわずかに表示されてしまうので、背景は目立たないように暗くするのが望ましいです。

sample_cube.png



■花の種まくミュータント
背景付きのサンプル動画です。
アルファモードにすることで背景があっても登場人物だけ抽出することができます。
画像処理をOFFにすれば通常のVR動画として視聴できます。

sample_mutant.png


足の部分の背景が明るくアルファモードにした際 輪郭が目立つので、下限を60あたりで調整します。
それでもわずかに残るので輪郭を10あたりで調整します。

sample_mutant_before.png sample_mutant_after.png

左:調整前 上限94、下限30、輪郭0
右:調整後 上限94、下限60、輪郭10



4.アルファ付きVR動画の作成方法
魚眼、サイドバイサイドのVR動画へアルファマップを40%に縮小して 所定の位置の赤プレーンへ挿入します。
現状、自力でなんとかするか、海外の動画サイトのフォーラムでVR動画とアルファマップ動画を別々に用意して合成するツールが公開されています。

 



5.ダウンロード
ダウンロード ページ
サンプル動画










関連記事


コメントの投稿

 
 
あまラボへようこそ
このブログでは自作ソフトの最新情報やtips、PC動画に関する話題を掲載していきます。各記事へは下にあるカテゴリからアクセスして下さい。

ファイルのダウンロードはホームページの方でお願い致します。

質問・要望・不具合報告はこちら
アマレコTV
アマミキ!
アマレココ
アマレコ・ライト
ファンタジーリモート
AMVコーデック



ホームページ
カテゴリ
最新コメント
カレンダー
02 | 2024/03 | 04
- - - - - 1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
31 - - - - - -
最新記事
最新トラックバック
ブログ内タグ

アマレコTV ビデオキャプチャ アマレコVR AMVコーデック Oculus アマレココ Quest アマミキ! コーデック gQuest SC500 動画配信 Pico GO ファンタジーリモート 4K アマレコライト Unity プラグイン G2 AMV4 oculus SC512 ライブ機能 パススルー機能 Passthrough デスクトップキャプチャ AVX2 リモートソフト FAQ アセット機能 質問コーナー DirectShow HDキャプチャ ニコニコ動画 Asset 120Hz 背景透過 レゴ 遅延 可変再生速度 組み換え 解説動画 LEGO MetaQuest Meta VR GV-USB2 2 XL2420T Pico4 Quest3 液晶モニター 倍速液晶 AMV2MT デインターレース ベンチマーク アマステ Pro 背景透過V3 PS4 VRonVR MonsterX3A Intensity VideoKeeper2 designs インストール Alternate AVX XCAPTURE-1 31024 GV-USB SD-USB2CAP4 ffmpeg 32ZP2 31006 RDT233WX-Z 画像処理 60fps Robust Matting RGBキャプチャ Rift Video Shadow Play WindowsMR RYZEN UtVideo T2 HDMI NVEnc HDCP QSV LameACM OBS 音遅延 MP3 Haswell 電源オプション 音ズレ 録画 オーバーレイ XCapture-1 MonsterXU3.0R フィギュア ハイパースレッディングテクノロジー HT 31021 MPC 液晶テレビ DirectShowFilter プレビュー 擬似NTSCキャプチャ SD-USB2CUP4 Livetube AtomでHDキャプチャ キャプチャーツール シンクライアント イベント IntensityPro DC-HD1 額縁遅延 REGZA ZP3 倍速補完処理 32ZP32 Kabelake リプレイ機能 モノステ 倍速駆動 ゲームスムーズモード LAVFilters SkyBox Hand Tracking 2.0 ファイルマネージャプラス pytorch APIパススルー機能 API python ハンドジェスチャー パカラーススルー機能 アルファ付き動画 アルファ付きVR動画 RVM クロマキー ダウンロード AssetBundle 物理処理 download passthrough 検証 Preferred Filter Tweaker SteamVR GPU使用率 可逆圧縮 SKnet GV-USB3 キャプチャカード VR動画 フレーム間圧縮 新プレイヤー機能 AMPlayer 60Hz 新アマレコVR 90Hz VRコントローラー MR Windows SSE 

ブログ内検索
月別アーカイブ
アマレココに関するリンク
お世話になっているソフトのリンク
RSSリンクの表示
管理画面
  • 管理画面