アマレコVR Ver2.4.1 クロマキーとアルファ付き動画
クロマキー処理を刷新しました。また、画像の隅にアルファ情報を記録する特殊なVR動画形式へ対応しました。
いずれも背景を透明にして ほかの動画やパススルー映像と組み合わせて使うことができます。
クロマキー映像およびアルファ付きVR動画はコンテンツがほぼ無いに等しいため優先度は低めでしたが、3Dゲームの動画作成機能やUnity、Blenderと言ったアプリケーションを使い個人でVR動画を作成するケースが増えてきているようなので今回の更新となりました。
アルファ付きVR動画の例
通常のVR動画として扱えますが、画像の隅にあるアルファ値（赤い部分）を使って登場人物だけを綺麗に抽出することができます。
【更新内容】
・クロマキー処理を刷新
・アルファ付きVR動画へ対応
・アセット機能へVR用のスクリーン追加
・アセット機能へ物理系のコンポーネント追加
・アセット機能へVisual Scriptingの基本的なUnit追加
・アセット機能のレンダリング範囲を10cm100mから3cm60mへ変更
・パススルーポータル機能を廃止
１．使い方
メイン画面設定の画像処理部が更新されています。
背景透過処理の「モヤっと」、「キリっと」、「幽霊」の変更はありません。
１．１．クロマキー
背景が緑や青などのいわゆる”クロマキー映像”の場合に使います。
今まではRobust Video Mattingのテスト用でしたが実際にクロマキー撮影した映像および、CG等のレンダリングした際のアンチエリアシングを想定し根本的に作り替えました。
簡単に扱えるようにできるだけ自動で処理し、綺麗にまとめることができたと思います。
使い方
画像処理をONにして、「クロマ」（クロマキーモード）を選択し、
閾値を10から30程度の範囲で調整して使って下さい。
一般的なクロマキー映像であれば閾値の調整だけで対応できると思います。
詳細な調整
閾値の調整だけでうまくいかない場合は以下のように調整してください。
(1) 最初に、閾値、色補正、輪郭すべて0にする。透明度補正はOFF。
(2) 閾値を少しずつ上げて 輪郭に少し背景色が残るように調整する。
10から30くらいが目安。
閾値は背景色がなくなるまで上げないこと。色補正や輪郭調整の余地が無くなってしまいます。
(3) 輪郭を少しずつ上げて 輪郭に乗った背景色が目立たないように調整する。
目安は1から20程度。
輪郭調整はアンチエリアシングのような効果がありますので 背景色が目立たない場合でも1以上に設定することをお勧めします。
(4) まだ、背景色が目立つ場合は色補正を少しずつ上げて調整する。
0から20程度が目安。
色補正を上げ過ぎると色味が変わってしまうので注意。
色補正をちょっと上げただけで色味が変わってしまう場合は 閾値が大きすぎます。
閾値を少し下げて 色補正の余地を確保してください。
各設定項目
■メニュー：背景色
具体的にどの色を透明にするかは画像解析により自動で設定されます。ここでは特定の色だけを処理するための条件を設定します。
ここで「赤」を選択したからと言って真っ赤な画素を透明にするわけではありません。
画像内で使われている赤成分の強い色の中から多く登場する具体的な色が選択され透明になります。それは青っぽい赤（紫系）かもしれないし、緑っぽい赤（黄色、オレンジ）かもしれません。
現在選択している具体的な色（解析結果）はメイン画面設定の左下に表示されています。
なお、クロマキー処理では黒背景や白背景には対応していません。それらは背景透過の幽霊モードを使って下さい。
・自動
特に制限を設けず画像内で多く使われている色を選択します。
水色や黄色なども選択されます。
白、黒、グレーなど色味が無いものは選択されません。
・赤、緑、青
それぞれの色に近いものが選択されます。
・青or緑
青または緑に近い色が選択されます。青と緑が混ざった水色は選択されません。
通常のクロマキー映像は人物と区別するために青背景または緑背景を使いますのでこの設定にしてください。
■閾値
背景色に近い画素を透明にする際、どこまで透明にするかの閾値を設定します。
■色補正
背景色に近い画素から 背景色の色成分を除きます（脱色）。
■輪郭
輪郭部をアンチエリアシングのように半透明にします。
また、背景色に近い場合は 色補正の設定に関わらず強く色補正されます。
■透明度補正
色補正の代わりに透明度を補正します。
実験用です。通常のクロマキー映像ではOFFにしてください。
１．２．アルファ付きVR動画
魚眼VR動画の隅にアルファ情報を記録した特殊なVR動画で使います。
使い方
コンソール画面でメインプレイヤーのVRフォーマットを魚眼・サイドバイサイドにし メイン画面設定で画像処理をON、「アルファ」（アルファモード）を選択してください。
通常、調整は不要です。
各設定項目
画像処理メニュー
画像処理メニューはありません。
■上限
アルファ値の上限を設定します。
下限から上限までの範囲を0（完全透明）から100（完全不透明）にマッピングします。
画像が半透明に透けてしまう場合に上限を下げて調整します。
下限より大きく設定してください。
【例】
下限30、上限94の場合は次のようになります。
記録されているアルファ値が0％から30％までを完全透明。
30％から94％を透明から不透明にリニア補完。
94％以上を完全不透明。
■下限
アルファ値の下限を設定します。
輪郭に背景が目立つ場合に下限を上げて調整します。
上限より小さく設定してください。
■輪郭
輪郭に背景が少し残ってしまう場合に調整します。
下限の調整を優先し、それでも残ってしまう場合に輪郭を調整してください。
0から10あたりで使ってください。
２．アセット機能
■VR用のスクリーン追加
VRスクリーン用に「#AMScreenVR」を追加しました。
既存の「#AMScreen」は動画のアスペクト比に応じてゲームオブジェクトのスケール値が変更されますが、
「#AMScreenVR」はスケール値を変更しません。
■物理系のコンポーネント追加
HingeJointなどを追加しました。
今後も随時コンポーネントを追加していきます。
■Visual Scriptingの基本的なUnit追加
ゲームオブジェクトの移動や三角関数、タイマーなど基本的なUnitを追加しました。
今後も随時追加していきます。
■レンダリング範囲変更
手前10cmから遠く100mだった範囲を3cmから60mへ変更しました。
ゲームオブジェクト（キャラクター）に近づくと消えてしまうので、なるべく近くまでレンダリングするように調整しました。
その代り、遠くが表示できなくなっています。
３．サンプル動画
サンプル動画は5秒程度と短いのでメインプレイヤーのリピートモードを「File」にして使ってください。
ダウンロード ページ
■毛の生えた鉄球
毛の生えた鉄球とキューブのサンプル動画です。
アルファモードにして クロマキー処理では難しい髪の毛などの複雑なケースでの効果を確認します。
アルファ付きVR動画でも輪郭部分がわずかに表示されてしまうので、背景は目立たないように暗くするのが望ましいです。
■花の種まくミュータント
背景付きのサンプル動画です。
アルファモードにすることで背景があっても登場人物だけ抽出することができます。
画像処理をOFFにすれば通常のVR動画として視聴できます。
足の部分の背景が明るくアルファモードにした際 輪郭が目立つので、下限を６０あたりで調整します。
それでもわずかに残るので輪郭を１０あたりで調整します。
左：調整前 上限94、下限30、輪郭0
右：調整後 上限94、下限60、輪郭10
４．アルファ付きVR動画の作成方法
魚眼、サイドバイサイドのVR動画へアルファマップを40％に縮小して 所定の位置の赤プレーンへ挿入します。
現状、自力でなんとかするか、海外の動画サイトのフォーラムでVR動画とアルファマップ動画を別々に用意して合成するツールが公開されています。
５．ダウンロード
ダウンロード ページ
サンプル動画
いずれも背景を透明にして ほかの動画やパススルー映像と組み合わせて使うことができます。
クロマキー映像およびアルファ付きVR動画はコンテンツがほぼ無いに等しいため優先度は低めでしたが、3Dゲームの動画作成機能やUnity、Blenderと言ったアプリケーションを使い個人でVR動画を作成するケースが増えてきているようなので今回の更新となりました。
アルファ付きVR動画の例
通常のVR動画として扱えますが、画像の隅にあるアルファ値（赤い部分）を使って登場人物だけを綺麗に抽出することができます。
【更新内容】
・クロマキー処理を刷新
・アルファ付きVR動画へ対応
・アセット機能へVR用のスクリーン追加
・アセット機能へ物理系のコンポーネント追加
・アセット機能へVisual Scriptingの基本的なUnit追加
・アセット機能のレンダリング範囲を10cm100mから3cm60mへ変更
・パススルーポータル機能を廃止
１．使い方
メイン画面設定の画像処理部が更新されています。
背景透過処理の「モヤっと」、「キリっと」、「幽霊」の変更はありません。
１．１．クロマキー
背景が緑や青などのいわゆる”クロマキー映像”の場合に使います。
今まではRobust Video Mattingのテスト用でしたが実際にクロマキー撮影した映像および、CG等のレンダリングした際のアンチエリアシングを想定し根本的に作り替えました。
簡単に扱えるようにできるだけ自動で処理し、綺麗にまとめることができたと思います。
使い方
画像処理をONにして、「クロマ」（クロマキーモード）を選択し、
閾値を10から30程度の範囲で調整して使って下さい。
一般的なクロマキー映像であれば閾値の調整だけで対応できると思います。
詳細な調整
閾値の調整だけでうまくいかない場合は以下のように調整してください。
(1) 最初に、閾値、色補正、輪郭すべて0にする。透明度補正はOFF。
(2) 閾値を少しずつ上げて 輪郭に少し背景色が残るように調整する。
10から30くらいが目安。
閾値は背景色がなくなるまで上げないこと。色補正や輪郭調整の余地が無くなってしまいます。
(3) 輪郭を少しずつ上げて 輪郭に乗った背景色が目立たないように調整する。
目安は1から20程度。
輪郭調整はアンチエリアシングのような効果がありますので 背景色が目立たない場合でも1以上に設定することをお勧めします。
(4) まだ、背景色が目立つ場合は色補正を少しずつ上げて調整する。
0から20程度が目安。
色補正を上げ過ぎると色味が変わってしまうので注意。
色補正をちょっと上げただけで色味が変わってしまう場合は 閾値が大きすぎます。
閾値を少し下げて 色補正の余地を確保してください。
各設定項目
■メニュー：背景色
具体的にどの色を透明にするかは画像解析により自動で設定されます。ここでは特定の色だけを処理するための条件を設定します。
ここで「赤」を選択したからと言って真っ赤な画素を透明にするわけではありません。
画像内で使われている赤成分の強い色の中から多く登場する具体的な色が選択され透明になります。それは青っぽい赤（紫系）かもしれないし、緑っぽい赤（黄色、オレンジ）かもしれません。
現在選択している具体的な色（解析結果）はメイン画面設定の左下に表示されています。
なお、クロマキー処理では黒背景や白背景には対応していません。それらは背景透過の幽霊モードを使って下さい。
・自動
特に制限を設けず画像内で多く使われている色を選択します。
水色や黄色なども選択されます。
白、黒、グレーなど色味が無いものは選択されません。
・赤、緑、青
それぞれの色に近いものが選択されます。
・青or緑
青または緑に近い色が選択されます。青と緑が混ざった水色は選択されません。
通常のクロマキー映像は人物と区別するために青背景または緑背景を使いますのでこの設定にしてください。
■閾値
背景色に近い画素を透明にする際、どこまで透明にするかの閾値を設定します。
■色補正
背景色に近い画素から 背景色の色成分を除きます（脱色）。
■輪郭
輪郭部をアンチエリアシングのように半透明にします。
また、背景色に近い場合は 色補正の設定に関わらず強く色補正されます。
■透明度補正
色補正の代わりに透明度を補正します。
実験用です。通常のクロマキー映像ではOFFにしてください。
１．２．アルファ付きVR動画
魚眼VR動画の隅にアルファ情報を記録した特殊なVR動画で使います。
使い方
コンソール画面でメインプレイヤーのVRフォーマットを魚眼・サイドバイサイドにし メイン画面設定で画像処理をON、「アルファ」（アルファモード）を選択してください。
通常、調整は不要です。
各設定項目
画像処理メニュー
画像処理メニューはありません。
■上限
アルファ値の上限を設定します。
下限から上限までの範囲を0（完全透明）から100（完全不透明）にマッピングします。
画像が半透明に透けてしまう場合に上限を下げて調整します。
下限より大きく設定してください。
【例】
下限30、上限94の場合は次のようになります。
記録されているアルファ値が0％から30％までを完全透明。
30％から94％を透明から不透明にリニア補完。
94％以上を完全不透明。
■下限
アルファ値の下限を設定します。
輪郭に背景が目立つ場合に下限を上げて調整します。
上限より小さく設定してください。
■輪郭
輪郭に背景が少し残ってしまう場合に調整します。
下限の調整を優先し、それでも残ってしまう場合に輪郭を調整してください。
0から10あたりで使ってください。
２．アセット機能
■VR用のスクリーン追加
VRスクリーン用に「#AMScreenVR」を追加しました。
既存の「#AMScreen」は動画のアスペクト比に応じてゲームオブジェクトのスケール値が変更されますが、
「#AMScreenVR」はスケール値を変更しません。
■物理系のコンポーネント追加
HingeJointなどを追加しました。
今後も随時コンポーネントを追加していきます。
■Visual Scriptingの基本的なUnit追加
ゲームオブジェクトの移動や三角関数、タイマーなど基本的なUnitを追加しました。
今後も随時追加していきます。
■レンダリング範囲変更
手前10cmから遠く100mだった範囲を3cmから60mへ変更しました。
ゲームオブジェクト（キャラクター）に近づくと消えてしまうので、なるべく近くまでレンダリングするように調整しました。
その代り、遠くが表示できなくなっています。
３．サンプル動画
サンプル動画は5秒程度と短いのでメインプレイヤーのリピートモードを「File」にして使ってください。
ダウンロード ページ
■毛の生えた鉄球
毛の生えた鉄球とキューブのサンプル動画です。
アルファモードにして クロマキー処理では難しい髪の毛などの複雑なケースでの効果を確認します。
アルファ付きVR動画でも輪郭部分がわずかに表示されてしまうので、背景は目立たないように暗くするのが望ましいです。
■花の種まくミュータント
背景付きのサンプル動画です。
アルファモードにすることで背景があっても登場人物だけ抽出することができます。
画像処理をOFFにすれば通常のVR動画として視聴できます。
足の部分の背景が明るくアルファモードにした際 輪郭が目立つので、下限を６０あたりで調整します。
それでもわずかに残るので輪郭を１０あたりで調整します。
左：調整前 上限94、下限30、輪郭0
右：調整後 上限94、下限60、輪郭10
４．アルファ付きVR動画の作成方法
魚眼、サイドバイサイドのVR動画へアルファマップを40％に縮小して 所定の位置の赤プレーンへ挿入します。
現状、自力でなんとかするか、海外の動画サイトのフォーラムでVR動画とアルファマップ動画を別々に用意して合成するツールが公開されています。
５．ダウンロード
ダウンロード ページ
サンプル動画
