fc2ブログ
 

アマレコVR Ver2.4.1 クロマキーとアルファ付き動画

クロマキー処理を刷新しました。また、画像の隅にアルファ情報を記録する特殊なVR動画形式へ対応しました。
いずれも背景を透明にして ほかの動画やパススルー映像と組み合わせて使うことができます。

クロマキー映像およびアルファ付きVR動画はコンテンツがほぼ無いに等しいため優先度は低めでしたが、3Dゲームの動画作成機能やUnity、Blenderと言ったアプリケーションを使い個人でVR動画を作成するケースが増えてきているようなので今回の更新となりました。


sample_mutant.png

アルファ付きVR動画の例
通常のVR動画として扱えますが、画像の隅にあるアルファ値(赤い部分)を使って登場人物だけを綺麗に抽出することができます。



【更新内容】
・クロマキー処理を刷新
・アルファ付きVR動画へ対応
・アセット機能へVR用のスクリーン追加
・アセット機能へ物理系のコンポーネント追加
・アセット機能へVisual Scriptingの基本的なUnit追加
・アセット機能のレンダリング範囲を10cm100mから3cm60mへ変更
・パススルーポータル機能を廃止


1.使い方
mainscreen_setting_20230715231951859.png

メイン画面設定の画像処理部が更新されています。
背景透過処理の「モヤっと」、「キリっと」、「幽霊」の変更はありません。



1.1.クロマキー
背景が緑や青などのいわゆる”クロマキー映像”の場合に使います。
今まではRobust Video Mattingのテスト用でしたが実際にクロマキー撮影した映像および、CG等のレンダリングした際のアンチエリアシングを想定し根本的に作り替えました。
簡単に扱えるようにできるだけ自動で処理し、綺麗にまとめることができたと思います。



使い方
chromakey_setting.png

画像処理をONにして、「クロマ」(クロマキーモード)を選択し、
閾値を10から30程度の範囲で調整して使って下さい。
一般的なクロマキー映像であれば閾値の調整だけで対応できると思います。



詳細な調整
閾値の調整だけでうまくいかない場合は以下のように調整してください。

(1) 最初に、閾値、色補正、輪郭すべて0にする。透明度補正はOFF。

(2) 閾値を少しずつ上げて 輪郭に少し背景色が残るように調整する。
10から30くらいが目安。
閾値は背景色がなくなるまで上げないこと。色補正や輪郭調整の余地が無くなってしまいます。

(3) 輪郭を少しずつ上げて 輪郭に乗った背景色が目立たないように調整する。
目安は1から20程度。
輪郭調整はアンチエリアシングのような効果がありますので 背景色が目立たない場合でも1以上に設定することをお勧めします。

(4) まだ、背景色が目立つ場合は色補正を少しずつ上げて調整する。
0から20程度が目安。
色補正を上げ過ぎると色味が変わってしまうので注意。

色補正をちょっと上げただけで色味が変わってしまう場合は 閾値が大きすぎます。
閾値を少し下げて 色補正の余地を確保してください。



各設定項目
■メニュー:背景色
具体的にどの色を透明にするかは画像解析により自動で設定されます。ここでは特定の色だけを処理するための条件を設定します。
ここで「赤」を選択したからと言って真っ赤な画素を透明にするわけではありません。
画像内で使われている赤成分の強い色の中から多く登場する具体的な色が選択され透明になります。それは青っぽい赤(紫系)かもしれないし、緑っぽい赤(黄色、オレンジ)かもしれません。
現在選択している具体的な色(解析結果)はメイン画面設定の左下に表示されています。
なお、クロマキー処理では黒背景や白背景には対応していません。それらは背景透過の幽霊モードを使って下さい。

・自動
特に制限を設けず画像内で多く使われている色を選択します。
水色や黄色なども選択されます。
白、黒、グレーなど色味が無いものは選択されません。

・赤、緑、青
それぞれの色に近いものが選択されます。

・青or緑
青または緑に近い色が選択されます。青と緑が混ざった水色は選択されません。
通常のクロマキー映像は人物と区別するために青背景または緑背景を使いますのでこの設定にしてください。


■閾値
背景色に近い画素を透明にする際、どこまで透明にするかの閾値を設定します。

■色補正
背景色に近い画素から 背景色の色成分を除きます(脱色)。

■輪郭
輪郭部をアンチエリアシングのように半透明にします。
また、背景色に近い場合は 色補正の設定に関わらず強く色補正されます。

■透明度補正
色補正の代わりに透明度を補正します。
実験用です。通常のクロマキー映像ではOFFにしてください。



1.2.アルファ付きVR動画
魚眼VR動画の隅にアルファ情報を記録した特殊なVR動画で使います。


使い方
alpha_setting.png

コンソール画面でメインプレイヤーのVRフォーマットを魚眼・サイドバイサイドにし メイン画面設定で画像処理をON、「アルファ」(アルファモード)を選択してください。
通常、調整は不要です。


各設定項目
画像処理メニュー
画像処理メニューはありません。

■上限
アルファ値の上限を設定します。
下限から上限までの範囲を0(完全透明)から100(完全不透明)にマッピングします。
画像が半透明に透けてしまう場合に上限を下げて調整します。
下限より大きく設定してください。

【例】
下限30、上限94の場合は次のようになります。
記録されているアルファ値が0%から30%までを完全透明。
30%から94%を透明から不透明にリニア補完。
94%以上を完全不透明。

■下限
アルファ値の下限を設定します。
輪郭に背景が目立つ場合に下限を上げて調整します。
上限より小さく設定してください。

■輪郭
輪郭に背景が少し残ってしまう場合に調整します。
下限の調整を優先し、それでも残ってしまう場合に輪郭を調整してください。
0から10あたりで使ってください。



2.アセット機能
■VR用のスクリーン追加
VRスクリーン用に「#AMScreenVR」を追加しました。
既存の「#AMScreen」は動画のアスペクト比に応じてゲームオブジェクトのスケール値が変更されますが、
「#AMScreenVR」はスケール値を変更しません。

■物理系のコンポーネント追加
HingeJointなどを追加しました。
今後も随時コンポーネントを追加していきます。

■Visual Scriptingの基本的なUnit追加
ゲームオブジェクトの移動や三角関数、タイマーなど基本的なUnitを追加しました。
今後も随時追加していきます。

■レンダリング範囲変更
手前10cmから遠く100mだった範囲を3cmから60mへ変更しました。
ゲームオブジェクト(キャラクター)に近づくと消えてしまうので、なるべく近くまでレンダリングするように調整しました。
その代り、遠くが表示できなくなっています。


3.サンプル動画
サンプル動画は5秒程度と短いのでメインプレイヤーのリピートモードを「File」にして使ってください。
ダウンロード ページ


■毛の生えた鉄球
毛の生えた鉄球とキューブのサンプル動画です。
アルファモードにして クロマキー処理では難しい髪の毛などの複雑なケースでの効果を確認します。
アルファ付きVR動画でも輪郭部分がわずかに表示されてしまうので、背景は目立たないように暗くするのが望ましいです。

sample_cube.png



■花の種まくミュータント
背景付きのサンプル動画です。
アルファモードにすることで背景があっても登場人物だけ抽出することができます。
画像処理をOFFにすれば通常のVR動画として視聴できます。

sample_mutant.png


足の部分の背景が明るくアルファモードにした際 輪郭が目立つので、下限を60あたりで調整します。
それでもわずかに残るので輪郭を10あたりで調整します。

sample_mutant_before.png sample_mutant_after.png

左:調整前 上限94、下限30、輪郭0
右:調整後 上限94、下限60、輪郭10



4.アルファ付きVR動画の作成方法
魚眼、サイドバイサイドのVR動画へアルファマップを40%に縮小して 所定の位置の赤プレーンへ挿入します。
現状、自力でなんとかするか、海外の動画サイトのフォーラムでVR動画とアルファマップ動画を別々に用意して合成するツールが公開されています。

 



5.ダウンロード
ダウンロード ページ
サンプル動画












アマレコVR ダウンロードページ


■アマレコVR for Meta Quest
2023/11/10
アマレコVR3 Ver3.0.2 アルファ版 for Quest
記事:背景透過V3 完成版

2023/7/15
アマレコVR Ver2.4.1 アルファ版 for Quest
記事



■アマレコVR for Pico4
2023/7/22
アマレコVR Ver2.4.1 アルファ版 for Pico4
記事

2022/12/26
アマレコVR Ver2.3.3 アルファ版 for Pico4
記事




■アマレコVRサーバー
2022/10/25
アマレコVRサーバー Ver2.21
記事




■アセットファイル
asset_sample_theater20230505.zip
動作確認用の映画館

asset_sample_cube20230505.zip
立方体1つだけの最小構成のアセットファイル
アセットファイルの作成が上手くできない場合に参考にしてください

asset_sample_pudding20230621.zip
物理処理のデモンストレーション
アセット機能 その6 物理処理




■プレハブ
asset_sample_theater_prefab20230602.zip
映画館のプレハブファイル
アセット機能 その4 映画館を作る



■その他
2023/7/15
sample_alpha_movie.zip
アルファ付きVR動画のサンプル

2023/8/12
rvm_alpha1_0_0.zip
アルファ付きVR動画作成ツール
記事


2023/10/20
krkr.zip
プレイヤーのベンチマーク用サンプル動画 滑らかに再生できているかを確認できます
記事:90fps動画の再生について



アマレコVR Ver2.4.0 アッセット機能 アルファ版

Unity AssetBundle(以下 アセット)に対応した実験版です。
Unityで作成した様々なアセットをアマレコVRの世界へ持ち込むことができます。

なお、現状アマレコVR(AndroidのVRアプリ)に対応したアセットはほぼ出回っていないと思われますので 利用者自身でUnity Editorを使って作成する必要があります。ですので、実質 Unityを扱える人が対象の機能となります。

cinema_halls.png
動作確認用のアセット 「サンプルシアター」



1.更新内容
【主な更新内容】
・アセット機能追加
・ミラー機能追加 (リンク機能の後継機能)
・サブ画面をメイン画面の後ろに配置するオプション追加
・ハンドジェスチャーのトラッキング範囲を拡大
手のひらをHMDへ向けた状態(システム操作状態)でもトラッキングするようになった

console_20230506023145eed.png


2.アセット機能の概要
2.1.アセットの例
・3Dで作成された映画館などの3Dオブジェクト
・アバター(人体モデルおよびアニメーション機能)
・音声データ
・ステートマシーン(プログラム制御)
・そのほか コライダー、物理シミュレーション、照明など豊富なUnityの基本機能


2.2.ステートマシーン
Unityのステートマシーンによりゲームオブジェクトやコライダーの衝突判定、音声データを制御できるため かなり広範なことがアマレコVRの機能に依存せずに実現できます。
この「アマレコVRの機能に依存しない」というのが CGやアバターを表示するだけにとどまらない アセット機能の特徴となっています。


state_machine.png
Unityのステートマシーンの例 (コライダーが衝突したら ○○する)



2.3.Unity Editor
アセット機能により様々なことが可能となりますが、アマレコVRは動画を視聴することを目的としたアプリですのでクリエイティブな作業には向いていません。

例えば アマレコVRで映画館のアセットを読み込んで、さらにキャラクターのアセットを読み込んで、座席に移動して、座らせて・・・なども可能ですが、(最初は色々試す意味で大いにやってほしいですが)最終的にはUnity Editor上で映画館の座席にキャラを配置して個別にアニメーションを設定した 「完成したコンテンツ」を用意してご利用ください。
ですので Unity Editorの活用が必須となります。



3.アセット機能の使い方
(1) アマレコVRを起動する前に QuestのDownloadフォルダへassetフォルダを作成する
USBケーブルでPCとQuestを繋ぐか、Quest上のファイラーで操作してください
asset_folder1.png


(2) 一緒に公開しているアセットファイル asset_sample_theater.zip をダウンロードして解凍する


(3) 解凍してできる sample_theater.assetbundle を(1)のassetフォルダへ転送する
asset_folder2.png


(4) アマレコVRを起動して コンソール画面の下部からアセット画面を表示
頻繁にアセット機能を使う場合はボタン設定でアセット画面を割り当てると便利です
console_asset.png function_asset.png


(5) スロット1のファイル名欄をクリックして sample_theaterを選択する
sample_theaterが出てこない場合は (1)-(3)をよく確認してください。
読み込みが終わると 座席等が表示されます。
asset_load.png


(6) アセット画面を閉じてサブプレイヤーで動画を再生すると アセット内のスクリーンへ映像が表示されます
なお、メインプレイヤーはアセットの手前、3rdプレイヤーはアセットの後ろ に表示されるようになっています。
アセットと組み合わせて表示できるのはサブプレイヤーのみとなっています。
sub_player.png


(7) 元に戻したい場合(アセット機能を終了したい場合)は アセット画面のスロットのアセットメニュー▽から 「Remove Asset」



4.アセット画面
asset_setting.png


■位置
各項目を左右にドラックすることで アセットワールド内の視点の移動や向きの調整ができます。
また、ボタン設定で各ボタンへ割り当てることもできます。
現状チルトはうまく機能しません。おかしいなと思ったら「向き リセット」してください。
(表示 位置や向きがおかしい、移動物が動かない ズレるなど)
function_asset_pos.png

■照明
環境光と平行光源のOn/Offができます。

■スロット
各スロットへ アセットファイルをロードして アセットワールドへ追加します。最大4つのアセットを組み合わせて使うことができます。

■ファイル名
アセットファイルを選択します。
アセットファイルは QuestのDownloadフォルダへassetフォルダを作成し、そのassetフォルダへ転送してください。
asset_folder1.png asset_folder2.png


■アセットメニュー▽
アセットファイルに含まれるプレハブを選択したり、読み込んだアセットをアセットワールドから削除できます。
また、向きとチルトをリセットできます。
アセットに視点情報が含まれる場合は視点を選択することができます。

■リロード
アセット(プレハブ)を初期状態に戻します。重力により奈落の底に落ちてしまったり コリジョンにより爆発した場合などに位置や状態を回復します。

■アニメーション
アセット内の人型のゲームオブジェクトへアニメーションを適用します。
現状、複数の人が含まれる場合 全員に同じアニメーションが適用されます。
assetフォルダ内にanimatorフォルダを作成し、アニメーション用のアセットファイルを転送して使います。

■照明
アセットに照明が含まれる場合に On/Offします。

■体、顔
アセット内の人型のゲームオブジェクトの体や顔をHMDの方へ向けます。
現状、複数の人が含まれる場合 全員に適用されます。

■位置、向き、チルト
アセット毎にローカル位置を調整します。
現状チルトはうまく機能しません。
アセットメニュー▽で向きとチルトをリセットできます。

■視点
スロット1のアセットに視点情報が含まれる場合に その位置へアセットワールドを移動します。
sample_theaterでは 前の方の席、後ろの方の席、横の席の3か所が選べます。
スロット1以外や 視点が4以上の場合はアセットメニュー▽で選択できます。

■頭コライダー
HMDの当たり判定を有効にします。キャラクターの内部へ侵入したり すり抜けを防止するのに使います。

■プリセットメニュー
現在のアセット構成をAmaRecVR Serverへ保存したり 読み込むことができます。
現状 暫定機能です。とりあえず使っているアセットファイルやプレハブと位置情報を保存するようになっています。
Questの機種を変更した場合に、アセットファイルに差異があると 機能しない可能性があります。




5.その他
5.1.光源とパフォーマンスについて
sample_theaterには点光源が含まれます。
点光源はパフォーマンスの低下(fpsの低下)を招くので、アセット側の光源はOffにして環境光と平行光源だけで使うことをお勧めします。

■Quest1の場合
sample_theaterで点光源を使うと60fpsを下回る場合があります。環境光と平行光源だけで使ってください。

■Quest2の場合
sample_theaterの点光源と環境光、平行光源の3つ全てをOnにすると60fpsを下回る場合があります。点光源か平行光源のどちらか1つで使ってください。
環境光はパフォーマンスに影響しないと思われます。

サブプレイヤーはもともと60fpsでの動画再生ができません。60fpsできっちり再生できるのはメインプレイヤーでAmaRec Playerを使った場合だけです。



6.アセットファイルについて
【主な適合条件】
・比較的新しいUnityで作成されたもの(2021.1.1f1 推奨)
・android用に作成されたもの(Windows用は不可)
・Graphics APIs OpenGLES3.2
・VR用に作成されたもの(Stereo Rendering Mode が Multi Pass)
・プレハブのみ対応?(シーンは不可?)


6.1.アセットファイルの作成方法(要点のみ)
ここではUnityを使ったことがある人を対象に要点だけ示します。

Unityのバージョンは2021.1.1f1を使っています。これより新しければ大抵大丈夫だと思いますが、上手くいかない場合は2021.1.1f1を用意してください。
また、ここではUnityのasset bundles browserを使います。インストールされていない場合は Unity Editorを起動してパッケージマネージャからインストールしてください。

新規で3Dプロジェクトを作成しアセット化したいプレハブをassetsフォルダ配下に用意した後
Project SettingsのPlayerとXR Plug-in ManagementのAndroidタブを以下のように設定します。

project_setting.png




ツールバーのWindowからAssetBundl browserを表示して
Configureタブで アセット化したいプレハブを登録した後
Buildタブを以下のように設定し Buildします。

asset_bundles_browser.png

AssetBundles\Androidフォルダへ拡張子なしのファイルが作成されます。
拡張子 assetbundleを付けて 完成です。





7.ダウンロード
アマレコVR Ver2.4.0 アルファ版 for Quest
アマレコVRサーバー Ver2.21


■アセットファイル
asset_sample_theater20230505.zip
動作確認用の映画館

asset_sample_cube20230505.zip
立方体1つだけの最小構成のアセットファイル
アセットファイルの作成が上手くできない場合に参考にしてください

asset_sample_pudding20230621.zip
物理処理のデモンストレーション
アセット機能 その6 物理処理

■プレハブ
asset_sample_theater_prefab20230602.zip
映画館のプレハブファイル
アセット機能 その4 映画館を作る


アマレコVR Ver2.3.4 背景透過微調整 Quest版

年末年始Meta Questを使っていたので今回はQuest版となります。
背景透過処理で輪郭を捕らえる制度が若干向上しました。


1.更新内容
・背景透過処理 輪郭精度向上
・背景透過 「背景をボカす」オプション追加
・メイン画面スケール のプリセット追加
・360度スクリーンにおけるステレオ調整の不具合を修正


2.使い方
■背景をボカす
main_screen_scale.png

背景透過処理で背景を透明にする代わりにぼかします。
幽霊モードで使ってください。


■メイン画面スケール のプリセット追加
main_screen_setting_20230119004710b97.png


アマレコVRの設定画面のプレイヤー設定で3つプリセットできます。
player_setting.png




3.ダウンロード
アマレコVR Ver2.3.4 アルファ版 for Quest
アマレコVRサーバー Ver2.21




アマレコVR Ver2.3.3 背景透過V2 Quest版

先日公開した背景透過V2のQuest版です。
内容は Pico4版と同じ です。



1.更新内容
・アマレコVR Ver2.3.3 for Pico4と同じ

【主な更新内容】
・背景透過処理が背景透過V2になりました
・画像処理のシルエット機能が背景透過EXへ対応しました
・ボタン機能でVRコントローラーのBボタン以外でも「戻る」を選択できるようになりました
・メイン画面設定で位置設定等ができない不具合を修正



【背景透過V2】
・時間方向の平滑化と激しい動きへの追従性を両立しました
・被写体周辺の背景画像も作成するようになりました
・動きの少ない被写体が消え難くなりました
・複数の被写体が一塊になり難くなりました
・マスクパターン整形処理を改善(解像度512x512、エッジ画像等)
・背景透過率
・背景透過EXを3つのモードで整理しました



2.ダウンロード
アマレコVR Ver2.3.3 アルファ版 for Quest
アマレコVRサーバー Ver2.21


 
 
あまラボへようこそ
このブログでは自作ソフトの最新情報やtips、PC動画に関する話題を掲載していきます。各記事へは下にあるカテゴリからアクセスして下さい。

ファイルのダウンロードはホームページの方でお願い致します。

質問・要望・不具合報告はこちら
アマレコTV
アマミキ!
アマレココ
アマレコ・ライト
ファンタジーリモート
AMVコーデック



ホームページ
カテゴリ
最新コメント
カレンダー
02 | 2024/03 | 04
- - - - - 1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
31 - - - - - -
最新記事
最新トラックバック
ブログ内タグ

アマレコTV ビデオキャプチャ アマレコVR AMVコーデック Oculus アマレココ Quest アマミキ! コーデック gQuest SC500 動画配信 Pico GO ファンタジーリモート 4K アマレコライト Unity プラグイン G2 AMV4 oculus SC512 ライブ機能 パススルー機能 Passthrough デスクトップキャプチャ AVX2 リモートソフト FAQ アセット機能 質問コーナー DirectShow HDキャプチャ ニコニコ動画 Asset 120Hz 背景透過 レゴ 遅延 可変再生速度 組み換え 解説動画 LEGO MetaQuest Meta VR GV-USB2 2 XL2420T Pico4 Quest3 液晶モニター 倍速液晶 AMV2MT デインターレース ベンチマーク アマステ Pro 背景透過V3 PS4 VRonVR MonsterX3A Intensity VideoKeeper2 designs インストール Alternate AVX XCAPTURE-1 31024 GV-USB SD-USB2CAP4 ffmpeg 32ZP2 31006 RDT233WX-Z 画像処理 60fps Robust Matting RGBキャプチャ Rift Video Shadow Play WindowsMR RYZEN UtVideo T2 HDMI NVEnc HDCP QSV LameACM OBS 音遅延 MP3 Haswell 電源オプション 音ズレ 録画 オーバーレイ XCapture-1 MonsterXU3.0R フィギュア ハイパースレッディングテクノロジー HT 31021 MPC 液晶テレビ DirectShowFilter プレビュー 擬似NTSCキャプチャ SD-USB2CUP4 Livetube AtomでHDキャプチャ キャプチャーツール シンクライアント イベント IntensityPro DC-HD1 額縁遅延 REGZA ZP3 倍速補完処理 32ZP32 Kabelake リプレイ機能 モノステ 倍速駆動 ゲームスムーズモード LAVFilters SkyBox Hand Tracking 2.0 ファイルマネージャプラス pytorch APIパススルー機能 API python ハンドジェスチャー パカラーススルー機能 アルファ付き動画 アルファ付きVR動画 RVM クロマキー ダウンロード AssetBundle 物理処理 download passthrough 検証 Preferred Filter Tweaker SteamVR GPU使用率 可逆圧縮 SKnet GV-USB3 キャプチャカード VR動画 フレーム間圧縮 新プレイヤー機能 AMPlayer 60Hz 新アマレコVR 90Hz VRコントローラー MR Windows SSE 

ブログ内検索
月別アーカイブ
アマレココに関するリンク
お世話になっているソフトのリンク
RSSリンクの表示
管理画面
  • 管理画面