アセット機能 その３ ピンクになるモデルの修正作業
他のゲーム用のアセットをアマレコVR用に移植した際 ピンクで表示されてしまう場面が多々あります。
前回使用したSample_Cube.prefabもピンクでした。今回はこれを修正する「アセットの修正作業」を紹介します。
また、これらの作業で必須の アマレコVRサーバーからアセットファイルを使う方法 も紹介します。
１．ピンクになる主な原因
オブジェクトがピンクになる主な原因は次の3つでしょうか
・シェーダーが含まれていない
・シェーダーが含まれているけど 使えない（機種依存で使えない）
・マテリアルの問題
前回のSample_Cube.prefabではマテリアルそのものが含まれていない為 ピンクで表示されてしまいます。
ですので修正作業は以下のようになります。
【修正作業】
(1) マテリアルを作成する
(2) マテリアルのシェーダーと色を設定する
(3) キューブのゲームオブジェクトへマテリアルを設定する
(4) キューブのプレハブへ変更を適用する
(5) アセットをビルド
※ ピンクになる原因の多くがマテリアルに問題はなくシェーダーによるものですので（１）と（３）は不要です。ピンクになるマテリアルでスタンダードシェーダーを指定することでとりあえず表示できるようになります。
２．修正作業
(1) マテリアルを作成する
前回作成したasset_projectsを開いて、画面下部のAssetsフォルダ内で右クリックのメニューから「Create」→「Material」と選択し、新しいマテリアルを作成します。
(2) マテリアルのシェーダーと色を設定する
作成したマテリアルのインスペクターでシェーダーを選択し、色を好みで設定します。
シェーダーはとりあえず「Standard」としてください。
新しく作成したマテリアルは最初からStandardとなっていると思いますのでそのままで結構です。色だけ好みで設定してください。
(3) キューブのゲームオブジェクトへマテリアルを設定する
ヒエラルキーで「Test_Cube」を選択し、右側のインスペクターのメッシュレンダラーのElementへ(1)で作成したマテリアルをドロップします。
これでシーンビューの色が変わります。
(4) キューブのプレハブへ変更を適用する
つづいて現在のゲームオブジェクトの状態をプレハブへ適用します。
ヒエラルキーで「Test_Cube」を選択し、インスペクターのPrefabの「Overrides」から「Apply All」を選択します。
これでAssetsフォルダにあるTest_Cube.prefabへマテリアルの修正が適用されます。
※ 今回は異常が解決したからか サムネイル画像が更新されましたが、赤いマテリアルから青いマテリアルに変更するなどでは
サムネイル画像は更新されません。
(5) アセットをビルド
Unityのツールバーの「Window」から「AssetBundle Browser」を表示します。
Test_Cube.prefabを登録しますが、既に登録済の場合はBuildタブでBuildボタンを押すだけで新しいアセットファイルが作成されます。
ビルドの仕方はこちらを見てください。
３．アセットのテストについて
通常はアセットファイルをQuestの内臓ストレージへ転送して使いますが、修正作業などテストのたびに転送するのは面倒ですので 暫定的ですが、AmaRecVR Serverから利用できるようになっています。
また、この方法であればアマレコVRを起動したまま アセットファイルの更新ができます。
(1) AmaRecVR Serverの設定
AmaRecVR Serverの設定で画像ファイルの拡張子に「assetbundle」を追加します。
(2) アセットファイルをコピー
サーバーがアクセスできるフォルダ（動画や画像が保存されているフォルダ）へ アセットファイルをコピーします。
このとき、他のファイルと混ざらないよう アセット専用のフォルダを作って管理するのが望ましいです。
また、ビルドした拡張子なしのアセットファイルをサーバーのフォルダへ拡張子を付けてコピーするバッチファイルを作成すると便利です。
【バッチファイルの例】
(3) アマレコVRでアセットを使う
アマレコVRのファイル画面で(2)のフォルダを表示してアセットファイルを再生します。
再生するとアセットメニューが表示されますので 使うスロットを選択するとアセットファイルが読み込まれます。
４．AmaRecVR Serverでアセットを使う場合の注意事項
■サムネイルの作成がエラーになる
サムネイルの作成ができないので エラー用の黒いサムネイルになります。
■ファイルサイズが大きいと数十秒読み込むのに待たされる
10MB程度のアセットファイルを読み込むのに1秒程度、それに加え圧縮されている場合はさらに解凍処理に1秒程度かかります。
100MBを超えると10秒以上待たされます。
読込が終わるまで （ファイル画面を閉じるなど）他の操作をしないでください。
■アマレコVRが管理するファイルIDが作成される
アマレコVRサーバーでは動画ファイルや画像ファイルを特定するために ファイルIDを作成して管理しています。
アセットファイルでもファイルIDが作成されますが、同じファイル名でもファイルサイズが異なると別のファイルとして認識される為、何度もアセットファイルをビルドすると その都度IDとサムネイル画像が作成されてしまいます。
基本的に問題はないですが、明らかに無駄なIDですので、必要に応じてdata\AmaRecVRServer.txtをメモ帳で開いて アセットファイルに関するレコードを削除してください。
前回使用したSample_Cube.prefabもピンクでした。今回はこれを修正する「アセットの修正作業」を紹介します。
また、これらの作業で必須の アマレコVRサーバーからアセットファイルを使う方法 も紹介します。
１．ピンクになる主な原因
オブジェクトがピンクになる主な原因は次の3つでしょうか
・シェーダーが含まれていない
・シェーダーが含まれているけど 使えない（機種依存で使えない）
・マテリアルの問題
前回のSample_Cube.prefabではマテリアルそのものが含まれていない為 ピンクで表示されてしまいます。
ですので修正作業は以下のようになります。
【修正作業】
(1) マテリアルを作成する
(2) マテリアルのシェーダーと色を設定する
(3) キューブのゲームオブジェクトへマテリアルを設定する
(4) キューブのプレハブへ変更を適用する
(5) アセットをビルド
※ ピンクになる原因の多くがマテリアルに問題はなくシェーダーによるものですので（１）と（３）は不要です。ピンクになるマテリアルでスタンダードシェーダーを指定することでとりあえず表示できるようになります。
２．修正作業
(1) マテリアルを作成する
前回作成したasset_projectsを開いて、画面下部のAssetsフォルダ内で右クリックのメニューから「Create」→「Material」と選択し、新しいマテリアルを作成します。
(2) マテリアルのシェーダーと色を設定する
作成したマテリアルのインスペクターでシェーダーを選択し、色を好みで設定します。
シェーダーはとりあえず「Standard」としてください。
新しく作成したマテリアルは最初からStandardとなっていると思いますのでそのままで結構です。色だけ好みで設定してください。
(3) キューブのゲームオブジェクトへマテリアルを設定する
ヒエラルキーで「Test_Cube」を選択し、右側のインスペクターのメッシュレンダラーのElementへ(1)で作成したマテリアルをドロップします。
これでシーンビューの色が変わります。
(4) キューブのプレハブへ変更を適用する
つづいて現在のゲームオブジェクトの状態をプレハブへ適用します。
ヒエラルキーで「Test_Cube」を選択し、インスペクターのPrefabの「Overrides」から「Apply All」を選択します。
これでAssetsフォルダにあるTest_Cube.prefabへマテリアルの修正が適用されます。
※ 今回は異常が解決したからか サムネイル画像が更新されましたが、赤いマテリアルから青いマテリアルに変更するなどでは
サムネイル画像は更新されません。
(5) アセットをビルド
Unityのツールバーの「Window」から「AssetBundle Browser」を表示します。
Test_Cube.prefabを登録しますが、既に登録済の場合はBuildタブでBuildボタンを押すだけで新しいアセットファイルが作成されます。
ビルドの仕方はこちらを見てください。
３．アセットのテストについて
通常はアセットファイルをQuestの内臓ストレージへ転送して使いますが、修正作業などテストのたびに転送するのは面倒ですので 暫定的ですが、AmaRecVR Serverから利用できるようになっています。
また、この方法であればアマレコVRを起動したまま アセットファイルの更新ができます。
(1) AmaRecVR Serverの設定
AmaRecVR Serverの設定で画像ファイルの拡張子に「assetbundle」を追加します。
(2) アセットファイルをコピー
サーバーがアクセスできるフォルダ（動画や画像が保存されているフォルダ）へ アセットファイルをコピーします。
このとき、他のファイルと混ざらないよう アセット専用のフォルダを作って管理するのが望ましいです。
また、ビルドした拡張子なしのアセットファイルをサーバーのフォルダへ拡張子を付けてコピーするバッチファイルを作成すると便利です。
【バッチファイルの例】
(3) アマレコVRでアセットを使う
アマレコVRのファイル画面で(2)のフォルダを表示してアセットファイルを再生します。
再生するとアセットメニューが表示されますので 使うスロットを選択するとアセットファイルが読み込まれます。
４．AmaRecVR Serverでアセットを使う場合の注意事項
■サムネイルの作成がエラーになる
サムネイルの作成ができないので エラー用の黒いサムネイルになります。
■ファイルサイズが大きいと数十秒読み込むのに待たされる
10MB程度のアセットファイルを読み込むのに1秒程度、それに加え圧縮されている場合はさらに解凍処理に1秒程度かかります。
100MBを超えると10秒以上待たされます。
読込が終わるまで （ファイル画面を閉じるなど）他の操作をしないでください。
■アマレコVRが管理するファイルIDが作成される
アマレコVRサーバーでは動画ファイルや画像ファイルを特定するために ファイルIDを作成して管理しています。
アセットファイルでもファイルIDが作成されますが、同じファイル名でもファイルサイズが異なると別のファイルとして認識される為、何度もアセットファイルをビルドすると その都度IDとサムネイル画像が作成されてしまいます。
基本的に問題はないですが、明らかに無駄なIDですので、必要に応じてdata\AmaRecVRServer.txtをメモ帳で開いて アセットファイルに関するレコードを削除してください。
アセット機能 その２ 基本的なアマレコVR用アセットの作成
今回はUnity Editorを使ってアマレコVR用の簡単なアセットファイルを作成し 実際に使うところまで説明します。
Unityのインストールについてはこちらを見てください。
使用するUinityのバージョン 2021.1.1f1
１．新規プロジェクトの作成
Unity Hubの左側で「プロジェクト」を選択して 右上の「新しいプロジェクト」をクリックします。
プロジェクトの作成画面が表示されますので、最初にUnity Editorのバージョンから「2021.1.1f1」を選択します。
左側で「全てのテンプレート」を選択
中央で「3D」を選択
右側のプロジェクト名は任意ですが ここでは「asset_projects」としました
プロジェクトファイルの保存先を設定して「プロジェクトを作成」をクリックしたら完了です。
数分待つと 照明とカメラだけが配置されたUnity Editorが起動します。
２．プロジェクトの設定
ツールバーの「Edit」から「Project Settings」を選択して設定画面を表示します。
設定画面の左側で「Player」を選択し 右側のPlayer設定画面でAndroidのタブを選択します。
※ このタブでWindows等を選択していると いくら設定してもアンドロイドの設定ができていないため うまくいきません。確実にアンドロイドを選択してください。
■設定箇所
(1) Color Space
「Gamma」から「Linear」へ変更します。
Gammaでも使えますが 明るいとか白っぽい（安っぽい）印象になってしまいます。
Color Space以外は初期値でとりあえず機能すると思いますが 一応全体を記載します。また、アマレコVR本体の設定例も記載します。
３．Asset Bundle Browserのインストール
つづいて、アセットファイルを作成するのに必要なAsset Bundle Browserをプロジェクトへインストールします。
Unityのマニュアルに従ってインストールしますが、私のところでは「５．Add (追加) をクリックします」のところで 「https://github.com/Unity-Technologies/AssetBundles-Browser.git」がエラーとなるため 以下のように手動でインストールしました。
(1) ダウンロードサイトへアクセス
Microsoft Edge等でダウンロードサイトを表示します。
(2) ダウンロード
緑の「Code」から「Download.zip」をクリックしてインストールに必要なファイルをダウンロードします。
(3) 解凍
ダウンロードした「AssetBundles-Browser-master.zip」を解凍します。
(4) インストール
Unityのツールバーの「Window」から「Package Manager」を選択し Package Managerの左上にある「＋」から「Add package form disk」を選択します。
先ほど解凍したフォルダにある「package.json」を選択します。
以上で Asset Bundle Browserがインストールされ Unityのツールバーの「Window」へ「AssetBundle Browser」が追加されます。
Asset Bundle Browserは新しいプロジェクトを作成する度にインストールする必要がありますので、解凍したファイルは分かりやすい場所に残しておくことをお勧めします。
４．アセットファイルの作成
【アセットファイル作成の手順】
(1) アセット化したいファイルをダウンロード（Unity用のシーン、プレハブ、FBX等の3Dモデルなど）
(2) Assetsフォルダへコピー（圧縮されている場合は 解凍したものをコピー）
(3) Unityで (2)をヒエラルキーへドロップしてゲームオブジェクトにする
(4) ゲームオブジェクトをAssetsフォルダへドロップしてプレハブ化する
(5) プレハブ化したものを Asset Bundle Browserへ登録
(6) アセットファイルを Build
(7) 拡張子「assetbundle」をつけて QuestのDownload￥assetフォルダへ転送
(8) アマレコVRで確認
(1) アセット化したいファイルをダウンロード
アセットファイルにしたい3Dモデルなどをダウンロードします。
ここでは私が公開したasset_sample_cube20230505.zipを例に説明します。
ダウンロードページ
私が公開するもの以外でもUnity用のシーンファイルやプレハブファイル、一般的な3DモデルファイルのFBXなどをアセットファイルにすることができます。
さらにUnityの機能を拡張すれば 様々な形式の3DモデルをUnityへ読み込んで アセット化することができます。
(2) Assetsフォルダへコピー
「asset_sample_cube20230505.zip」を解凍してできるプレハブファイル 「Sample_Cube.prefab」をasset_projects\Assetsフォルダへコピーします。
(3) Unityで ゲームオブジェクトにする
Unityを起動して画面下部にあるAssetsから(2)でコピーした 「Sample_Cube.prefab」を選択して ヒエラルキーへドロップします。
既にUnityが起動していてコピーしたプレハブが表示されない場合は Assetsフォルダを指定し右クリックのメニューから「Refresh」することでコピーしたファイルが現れます。
ヒエラルキーへドロップすると自動的にゲームオブジェクトが作成されます。
ゲームオブジェクトの名前がプレハブと同じままだと わかり難いので「Sample_Cube」から 「Test_Cube」に変更します。
作成されたゲームオブジェクトはシーンビューなどで確認できます。
ここで照明を加えたり、全体の向きを調整したりできます。
なにより今回のようにピンクになっている場合は シェーダーに異常があるので修正すべきですが、今回はこのまま次の手順へ進みます。
※ 修正方法は「アセット機能 その３ ピンクになるモデルの修正作業」を参照してください。
(4) ゲームオブジェクトをAssetsフォルダへドロップしてプレハブ化する
作成したゲームオブジェクトを 画面下部のAssetsフォルダへドロップすると新しいプレハブ「Test_Cube.prefab」が作成されます。
この時 オリジナルのプレハブを作るのか 変更箇所を管理したプレハブを作るか問われます。
今回はオリジナルのプレハブを選択します。
(5) プレハブ化したものを Asset Bundle Browserへ登録
Unityのツールバーの「Window」から「AssetBundle Browser」を表示します。
AssetBundle Browserの「Configure」を選択した状態で Assetsフォルダから「Test_Cube.prefab」をドラッグし AssetBundle Browserのウインドウ上でドロップします。
(6) アセットファイルを Build
AssetBundle Browserの「Build」を選択し、Build Targetを「Android」とします。
最後に下部にあるBuildボタンを押したら アセットファイルが作成されます。
(7) 拡張子「assetbundle」をつけて QuestのDownload￥assetフォルダへ転送
アセットファイルはプロジェクトのasset_projects\AssetBundles\Androidフォルダに作成されます。
プレハブと同じ名前で拡張子の無いファイル「test_cube」がアセットファイルです。
test_cubeへ拡張子をつけて「test_cube.assetbundle」とします。
続いて QuestとPCをUSBケーブルで接続し Quest内のDownloadフォルダへ「asset」フォルダを作成します。
「test_cube.assetbundle」を「asset」フォルダへ転送します。
(8) アマレコVRで確認
QuestでアマレコVRを起動し、アセット画面を表示します。
アセット画面からtest_cubeを選択して ピンクの立方体が表示されれば成功です。
表示される位置がHMDの下方1メートルの辺りなので、下の方を向くか、位置Zを調整して下さい。
５．トラブルシューティング
■「対応していないか 既に読み込んでいる」と表示される
アセットファイルを読み込むとき「対応していないか 既に読み込んでいる」と表示されて読み込めない場合は
アセットファイルを作成しているUnityのバージョンが合っていない可能性が高いです。
2021.1.1f1で作成してください。
また、Android用のアセットでない場合や、同じIDのリソースが既に読み込まれている場合にこのメッセージが表示されます。
■色がおかしい（明るい）
Project Settingsの「Player」のColor Spaceが合っていない。
・「Linear」にする
■照明が反映されない
Project Settingsの「Player」のGraphics APIが合っていない。
・「Auto Graphics API」をOFFにする
・「Graphics APIs」リストを「OpenGLES3」だけにする（Vulkanを削除する）
・「Require ES3.2」をONにする
■normal mapが適用されない（テクスチャの表面がまっ平）
Project Settingsの「Player」のGraphics APIが合っていない。
・「Auto Graphics API」をOFFにする
・「Graphics APIs」リストを「OpenGLES3」だけにする（Vulkanを削除する）
・「Require ES3.2」をONにする
■立体視がおかしい（左右の表示位置がおかしい、片目で見れば正常に見える）
XR Pluginを使う場合は「Stereo Rendering Mode」を「Multi Pass」にしてください。
Oculusの場合を例にすると Project Settingsの「XR Plug-in Management」の「Oculus」にある「Stereo Rendering Mode」が「Multi Pass」になっていないと
アマレコVRのレンダリング位置と アセットのレンダリング位置が合わず 立体視に支障がでます。
■ピンクになる
非対応のシェーダーが使われていると アマレコＶＲ内でピンクになります。
スタンダードシェーダーにすることでとりあえず表示できます。
Sample_Cubeはマテリアルを指定していないためピンクになります。新しいマテリアルを作成しゲームオブジェクトへ割り当てることで改善されます。
■非常に重い（カクカク動く） アマレコVRが落ちる
ポリゴン数が多すぎたり、テクスチャで大量のメモリを消費するとまともに動作しません。
Meta Questはコンピュータ的には非常に低スペックです。
PC向けのアセットをそのままQuestで使おうとするとまともに動かない場合があります。
ポリゴン数を減らしたり テクスチャのサイズを縮小してメモリを節約するなどの調整が必要です。
Unityのインストールについてはこちらを見てください。
使用するUinityのバージョン 2021.1.1f1
１．新規プロジェクトの作成
Unity Hubの左側で「プロジェクト」を選択して 右上の「新しいプロジェクト」をクリックします。
プロジェクトの作成画面が表示されますので、最初にUnity Editorのバージョンから「2021.1.1f1」を選択します。
左側で「全てのテンプレート」を選択
中央で「3D」を選択
右側のプロジェクト名は任意ですが ここでは「asset_projects」としました
プロジェクトファイルの保存先を設定して「プロジェクトを作成」をクリックしたら完了です。
数分待つと 照明とカメラだけが配置されたUnity Editorが起動します。
２．プロジェクトの設定
ツールバーの「Edit」から「Project Settings」を選択して設定画面を表示します。
設定画面の左側で「Player」を選択し 右側のPlayer設定画面でAndroidのタブを選択します。
※ このタブでWindows等を選択していると いくら設定してもアンドロイドの設定ができていないため うまくいきません。確実にアンドロイドを選択してください。
■設定箇所
(1) Color Space
「Gamma」から「Linear」へ変更します。
Gammaでも使えますが 明るいとか白っぽい（安っぽい）印象になってしまいます。
Color Space以外は初期値でとりあえず機能すると思いますが 一応全体を記載します。また、アマレコVR本体の設定例も記載します。
３．Asset Bundle Browserのインストール
つづいて、アセットファイルを作成するのに必要なAsset Bundle Browserをプロジェクトへインストールします。
Unityのマニュアルに従ってインストールしますが、私のところでは「５．Add (追加) をクリックします」のところで 「https://github.com/Unity-Technologies/AssetBundles-Browser.git」がエラーとなるため 以下のように手動でインストールしました。
(1) ダウンロードサイトへアクセス
Microsoft Edge等でダウンロードサイトを表示します。
(2) ダウンロード
緑の「Code」から「Download.zip」をクリックしてインストールに必要なファイルをダウンロードします。
(3) 解凍
ダウンロードした「AssetBundles-Browser-master.zip」を解凍します。
(4) インストール
Unityのツールバーの「Window」から「Package Manager」を選択し Package Managerの左上にある「＋」から「Add package form disk」を選択します。
先ほど解凍したフォルダにある「package.json」を選択します。
以上で Asset Bundle Browserがインストールされ Unityのツールバーの「Window」へ「AssetBundle Browser」が追加されます。
Asset Bundle Browserは新しいプロジェクトを作成する度にインストールする必要がありますので、解凍したファイルは分かりやすい場所に残しておくことをお勧めします。
４．アセットファイルの作成
【アセットファイル作成の手順】
(1) アセット化したいファイルをダウンロード（Unity用のシーン、プレハブ、FBX等の3Dモデルなど）
(2) Assetsフォルダへコピー（圧縮されている場合は 解凍したものをコピー）
(3) Unityで (2)をヒエラルキーへドロップしてゲームオブジェクトにする
(4) ゲームオブジェクトをAssetsフォルダへドロップしてプレハブ化する
(5) プレハブ化したものを Asset Bundle Browserへ登録
(6) アセットファイルを Build
(7) 拡張子「assetbundle」をつけて QuestのDownload￥assetフォルダへ転送
(8) アマレコVRで確認
(1) アセット化したいファイルをダウンロード
アセットファイルにしたい3Dモデルなどをダウンロードします。
ここでは私が公開したasset_sample_cube20230505.zipを例に説明します。
ダウンロードページ
私が公開するもの以外でもUnity用のシーンファイルやプレハブファイル、一般的な3DモデルファイルのFBXなどをアセットファイルにすることができます。
さらにUnityの機能を拡張すれば 様々な形式の3DモデルをUnityへ読み込んで アセット化することができます。
(2) Assetsフォルダへコピー
「asset_sample_cube20230505.zip」を解凍してできるプレハブファイル 「Sample_Cube.prefab」をasset_projects\Assetsフォルダへコピーします。
(3) Unityで ゲームオブジェクトにする
Unityを起動して画面下部にあるAssetsから(2)でコピーした 「Sample_Cube.prefab」を選択して ヒエラルキーへドロップします。
既にUnityが起動していてコピーしたプレハブが表示されない場合は Assetsフォルダを指定し右クリックのメニューから「Refresh」することでコピーしたファイルが現れます。
ヒエラルキーへドロップすると自動的にゲームオブジェクトが作成されます。
ゲームオブジェクトの名前がプレハブと同じままだと わかり難いので「Sample_Cube」から 「Test_Cube」に変更します。
作成されたゲームオブジェクトはシーンビューなどで確認できます。
ここで照明を加えたり、全体の向きを調整したりできます。
なにより今回のようにピンクになっている場合は シェーダーに異常があるので修正すべきですが、今回はこのまま次の手順へ進みます。
※ 修正方法は「アセット機能 その３ ピンクになるモデルの修正作業」を参照してください。
(4) ゲームオブジェクトをAssetsフォルダへドロップしてプレハブ化する
作成したゲームオブジェクトを 画面下部のAssetsフォルダへドロップすると新しいプレハブ「Test_Cube.prefab」が作成されます。
この時 オリジナルのプレハブを作るのか 変更箇所を管理したプレハブを作るか問われます。
今回はオリジナルのプレハブを選択します。
(5) プレハブ化したものを Asset Bundle Browserへ登録
Unityのツールバーの「Window」から「AssetBundle Browser」を表示します。
AssetBundle Browserの「Configure」を選択した状態で Assetsフォルダから「Test_Cube.prefab」をドラッグし AssetBundle Browserのウインドウ上でドロップします。
(6) アセットファイルを Build
AssetBundle Browserの「Build」を選択し、Build Targetを「Android」とします。
最後に下部にあるBuildボタンを押したら アセットファイルが作成されます。
(7) 拡張子「assetbundle」をつけて QuestのDownload￥assetフォルダへ転送
アセットファイルはプロジェクトのasset_projects\AssetBundles\Androidフォルダに作成されます。
プレハブと同じ名前で拡張子の無いファイル「test_cube」がアセットファイルです。
test_cubeへ拡張子をつけて「test_cube.assetbundle」とします。
続いて QuestとPCをUSBケーブルで接続し Quest内のDownloadフォルダへ「asset」フォルダを作成します。
「test_cube.assetbundle」を「asset」フォルダへ転送します。
(8) アマレコVRで確認
QuestでアマレコVRを起動し、アセット画面を表示します。
アセット画面からtest_cubeを選択して ピンクの立方体が表示されれば成功です。
表示される位置がHMDの下方1メートルの辺りなので、下の方を向くか、位置Zを調整して下さい。
【テスト方法】
なんどもアセットの修正、 ビルド、 アマレコVRで確認を繰り返す場合は アマレコVRサーバーからアセットファイルを使う方法 をお勧めします。
５．トラブルシューティング
■「対応していないか 既に読み込んでいる」と表示される
アセットファイルを読み込むとき「対応していないか 既に読み込んでいる」と表示されて読み込めない場合は
アセットファイルを作成しているUnityのバージョンが合っていない可能性が高いです。
2021.1.1f1で作成してください。
また、Android用のアセットでない場合や、同じIDのリソースが既に読み込まれている場合にこのメッセージが表示されます。
■色がおかしい（明るい）
Project Settingsの「Player」のColor Spaceが合っていない。
・「Linear」にする
■照明が反映されない
Project Settingsの「Player」のGraphics APIが合っていない。
・「Auto Graphics API」をOFFにする
・「Graphics APIs」リストを「OpenGLES3」だけにする（Vulkanを削除する）
・「Require ES3.2」をONにする
■normal mapが適用されない（テクスチャの表面がまっ平）
Project Settingsの「Player」のGraphics APIが合っていない。
・「Auto Graphics API」をOFFにする
・「Graphics APIs」リストを「OpenGLES3」だけにする（Vulkanを削除する）
・「Require ES3.2」をONにする
■立体視がおかしい（左右の表示位置がおかしい、片目で見れば正常に見える）
XR Pluginを使う場合は「Stereo Rendering Mode」を「Multi Pass」にしてください。
Oculusの場合を例にすると Project Settingsの「XR Plug-in Management」の「Oculus」にある「Stereo Rendering Mode」が「Multi Pass」になっていないと
アマレコVRのレンダリング位置と アセットのレンダリング位置が合わず 立体視に支障がでます。
■ピンクになる
非対応のシェーダーが使われていると アマレコＶＲ内でピンクになります。
スタンダードシェーダーにすることでとりあえず表示できます。
Sample_Cubeはマテリアルを指定していないためピンクになります。新しいマテリアルを作成しゲームオブジェクトへ割り当てることで改善されます。
■非常に重い（カクカク動く） アマレコVRが落ちる
ポリゴン数が多すぎたり、テクスチャで大量のメモリを消費するとまともに動作しません。
Meta Questはコンピュータ的には非常に低スペックです。
PC向けのアセットをそのままQuestで使おうとするとまともに動かない場合があります。
ポリゴン数を減らしたり テクスチャのサイズを縮小してメモリを節約するなどの調整が必要です。
アセット機能 その１ Unityのセットアップ
アマレコVR用のアセットファイルの制作を中心にUnityやアセットについて連載します。
第一回はUnityのセットアップを解説します。
【連載予定】
・Unityのセットアップ
・アセットファイルの作り方
・映画館の作り方
・キャラクターとアニメーション （mixamo編）
・ステートマシーン
・物理処理
・他のゲーム用のアセットを移植する
１．はじめに
(1) Unityについて
Unity Technologies が開発したゲームエンジンです。
ここで単にUnityと言ったら Unity Editorと呼ばれる主に2D、3DおよびVRのアプリケーション開発に使われる開発環境を指します。
アマレコVRもUnityで開発されており、アプリケーションだけでなく この連載の中心となるアセットファイルもUnityで作成することができます。
(2) アセットについて
ここでは ゲームなどで使う画像や3Dデータ、キャラクター、音声、およびプログラムなどを まとめたものを指します。
主に、開発用のものと 完成したアプリケーションに後から追加するUnity Asset Bundleの2つがあります。
この連載では後者のUnity Asset Bundleが中心となり、アマレコVRへ利用者自身で用意したアセットを追加することができます。
２．Unity Hubのインストール
Unityには様々なバージョンが存在します。必要に応じて新しいバージョンを使ったり、意図的に古いバージョンを使うこともあります。そこで、複数のUnityのバージョンをインストールし管理するのがUnity Hubとなります。
(1) Unity Hubのダウンロード
Unityのダウンロードページ からWindows用のUnity Hubのインストーラー「UnityHubSetup.exe」をダウンロードしてください。
(2) Unity Hubのインストール
ダウンロードしたUnityHubSetup.exeを実行してUnity Hubをインストールしてください。
インストールが終わり Unity Hubが起動したら歯車のアイコンのpreferencesから日本語にすることができます。
３．Unity Editorのインストール
Unity Hubの準備ができたら 本題のUnity Editorをインストールします。
インストールするバージョンは アマレコVRの制作に使ったのと同じ2021.1.1f1です。
(1) Unity 2021.1.1f1のインストール
Unity Hubの左側から「インストール」を選択、続いて 右上の「エディターをインストール」をクリックするとインストールするUnityのバージョンが表示されます。
しかし 推奨バージョンに「2021.1.1f1」は無いので、「アーカイブ」タグを選択し 「ダウンロード アーカイブ」をクリックします。
(2) ダウンロード アーカイブから Unity 2021.1.1f1 を選択
「ダウンロード アーカイブ」をクリックすると UnityのWebサイトが開くので「Unity 2021.x」タブを選択します。
※ UnityのWebサイトが表示されない場合は https://unity.com/releases/editor/archive へアクセスしてください。
「Unity 2021.x」タブを選択すると 2021年版が大量に表示されますので
Unity 2021.1.1 March 22,2021の項目にある「Unity Hub」をクリックします。
（沢山ありますが 下から2番目です 上から探していくと Ver2021.1.11と間違いやすいです）
「Unity Hub」をクリックすると 確認メッセージが表示されますので「開く」をクリックします。
(3) インストールするモジュール選択
Unity Hubに戻ると Webサイトで選択したバージョンのインストールの準備が始まります。
モジュールを加える画面が表示されますので「Android Build Support」をONにして「次へ」をクリックします。
※ アマレコVRはAndroid用のアプリとして作られていますので アセットファイルもAndroid用にするために このモジュールが必要となります。
(4) インストール開始
Microsoft Visual StudioとAndroidの契約画面が表示されますので内容を確認し同意するとインストールが始まります。
インストールには結構な時間がかかりますので待ちましょう（20分から30分くらい？）。
Unity Editorのインストールは以上となります。
第一回はUnityのセットアップを解説します。
【連載予定】
・Unityのセットアップ
・アセットファイルの作り方
・映画館の作り方
・キャラクターとアニメーション （mixamo編）
・ステートマシーン
・物理処理
・他のゲーム用のアセットを移植する
１．はじめに
(1) Unityについて
Unity Technologies が開発したゲームエンジンです。
ここで単にUnityと言ったら Unity Editorと呼ばれる主に2D、3DおよびVRのアプリケーション開発に使われる開発環境を指します。
アマレコVRもUnityで開発されており、アプリケーションだけでなく この連載の中心となるアセットファイルもUnityで作成することができます。
(2) アセットについて
ここでは ゲームなどで使う画像や3Dデータ、キャラクター、音声、およびプログラムなどを まとめたものを指します。
主に、開発用のものと 完成したアプリケーションに後から追加するUnity Asset Bundleの2つがあります。
この連載では後者のUnity Asset Bundleが中心となり、アマレコVRへ利用者自身で用意したアセットを追加することができます。
２．Unity Hubのインストール
Unityには様々なバージョンが存在します。必要に応じて新しいバージョンを使ったり、意図的に古いバージョンを使うこともあります。そこで、複数のUnityのバージョンをインストールし管理するのがUnity Hubとなります。
(1) Unity Hubのダウンロード
Unityのダウンロードページ からWindows用のUnity Hubのインストーラー「UnityHubSetup.exe」をダウンロードしてください。
(2) Unity Hubのインストール
ダウンロードしたUnityHubSetup.exeを実行してUnity Hubをインストールしてください。
【アカウントとライセンス】
インストールの途中でUnityアカウントとライセンスの選択を求められます。
Unityのアカウントを持っていない場合はアカウントを取得してくしてください。
ライセンスの選択では私はパーソナルライセンスを選択しました。内容をよく見て該当するライセンスを選択してください。
インストールが終わり Unity Hubが起動したら歯車のアイコンのpreferencesから日本語にすることができます。
３．Unity Editorのインストール
Unity Hubの準備ができたら 本題のUnity Editorをインストールします。
インストールするバージョンは アマレコVRの制作に使ったのと同じ2021.1.1f1です。
(1) Unity 2021.1.1f1のインストール
Unity Hubの左側から「インストール」を選択、続いて 右上の「エディターをインストール」をクリックするとインストールするUnityのバージョンが表示されます。
しかし 推奨バージョンに「2021.1.1f1」は無いので、「アーカイブ」タグを選択し 「ダウンロード アーカイブ」をクリックします。
(2) ダウンロード アーカイブから Unity 2021.1.1f1 を選択
「ダウンロード アーカイブ」をクリックすると UnityのWebサイトが開くので「Unity 2021.x」タブを選択します。
※ UnityのWebサイトが表示されない場合は https://unity.com/releases/editor/archive へアクセスしてください。
「Unity 2021.x」タブを選択すると 2021年版が大量に表示されますので
Unity 2021.1.1 March 22,2021の項目にある「Unity Hub」をクリックします。
（沢山ありますが 下から2番目です 上から探していくと Ver2021.1.11と間違いやすいです）
「Unity Hub」をクリックすると 確認メッセージが表示されますので「開く」をクリックします。
(3) インストールするモジュール選択
Unity Hubに戻ると Webサイトで選択したバージョンのインストールの準備が始まります。
モジュールを加える画面が表示されますので「Android Build Support」をONにして「次へ」をクリックします。
※ アマレコVRはAndroid用のアプリとして作られていますので アセットファイルもAndroid用にするために このモジュールが必要となります。
(4) インストール開始
Microsoft Visual StudioとAndroidの契約画面が表示されますので内容を確認し同意するとインストールが始まります。
インストールには結構な時間がかかりますので待ちましょう（20分から30分くらい？）。
Unity Editorのインストールは以上となります。
【あとからAndroid Buildモジュールを追加する】
既にインストールされているUnity EditorにAndroid Buildモジュールが含まれていない場合でも Unity Hubを使ってあとから 追加することができます。
Unity Hubの左側の「インストール」を選択すると 既にインストールされているUnity Editorの一覧が表示されますので、目的のバージョンの歯車から「モジュールを加える」を選択します。
モジュールを加える画面が表示されますのでAndroid Build SupportをONにして「次へ」をクリックします。
これで、Android用のアセットやアプリを開発するのに必要なモジュールを追加することができます。
アマレコVR Ver2.4.0 アッセット機能 アルファ版
Unity AssetBundle（以下 アセット）に対応した実験版です。
Unityで作成した様々なアセットをアマレコVRの世界へ持ち込むことができます。
なお、現状アマレコVR（AndroidのVRアプリ）に対応したアセットはほぼ出回っていないと思われますので 利用者自身でUnity Editorを使って作成する必要があります。ですので、実質 Unityを扱える人が対象の機能となります。
動作確認用のアセット 「サンプルシアター」
１．更新内容
【主な更新内容】
・アセット機能追加
・ミラー機能追加 (リンク機能の後継機能)
・サブ画面をメイン画面の後ろに配置するオプション追加
・ハンドジェスチャーのトラッキング範囲を拡大
手のひらをHMDへ向けた状態（システム操作状態）でもトラッキングするようになった
２．アセット機能の概要
２．１．アセットの例
・3Dで作成された映画館などの3Dオブジェクト
・アバター（人体モデルおよびアニメーション機能）
・音声データ
・ステートマシーン（プログラム制御）
・そのほか コライダー、物理シミュレーション、照明など豊富なUnityの基本機能
２．２．ステートマシーン
Unityのステートマシーンによりゲームオブジェクトやコライダーの衝突判定、音声データを制御できるため かなり広範なことがアマレコVRの機能に依存せずに実現できます。
この「アマレコVRの機能に依存しない」というのが CGやアバターを表示するだけにとどまらない アセット機能の特徴となっています。
Unityのステートマシーンの例 (コライダーが衝突したら ○○する)
２．３．Unity Editor
アセット機能により様々なことが可能となりますが、アマレコVRは動画を視聴することを目的としたアプリですのでクリエイティブな作業には向いていません。
例えば アマレコVRで映画館のアセットを読み込んで、さらにキャラクターのアセットを読み込んで、座席に移動して、座らせて・・・なども可能ですが、（最初は色々試す意味で大いにやってほしいですが）最終的にはUnity Editor上で映画館の座席にキャラを配置して個別にアニメーションを設定した 「完成したコンテンツ」を用意してご利用ください。
ですので Unity Editorの活用が必須となります。
３．アセット機能の使い方
(1) アマレコVRを起動する前に QuestのDownloadフォルダへassetフォルダを作成する
USBケーブルでPCとQuestを繋ぐか、Quest上のファイラーで操作してください
(2) 一緒に公開しているアセットファイル asset_sample_theater.zip をダウンロードして解凍する
(3) 解凍してできる sample_theater.assetbundle を(1)のassetフォルダへ転送する
(4) アマレコVRを起動して コンソール画面の下部からアセット画面を表示
頻繁にアセット機能を使う場合はボタン設定でアセット画面を割り当てると便利です
(5) スロット1のファイル名欄をクリックして sample_theaterを選択する
sample_theaterが出てこない場合は (1)-(3)をよく確認してください。
読み込みが終わると 座席等が表示されます。
(6) アセット画面を閉じてサブプレイヤーで動画を再生すると アセット内のスクリーンへ映像が表示されます
なお、メインプレイヤーはアセットの手前、3rdプレイヤーはアセットの後ろ に表示されるようになっています。
アセットと組み合わせて表示できるのはサブプレイヤーのみとなっています。
(7) 元に戻したい場合（アセット機能を終了したい場合）は アセット画面のスロットのアセットメニュー▽から 「Remove Asset」
４．アセット画面
■位置
各項目を左右にドラックすることで アセットワールド内の視点の移動や向きの調整ができます。
また、ボタン設定で各ボタンへ割り当てることもできます。
現状チルトはうまく機能しません。おかしいなと思ったら「向き リセット」してください。
（表示 位置や向きがおかしい、移動物が動かない ズレるなど）
■照明
環境光と平行光源のOn/Offができます。
■スロット
各スロットへ アセットファイルをロードして アセットワールドへ追加します。最大４つのアセットを組み合わせて使うことができます。
■ファイル名
アセットファイルを選択します。
アセットファイルは QuestのDownloadフォルダへassetフォルダを作成し、そのassetフォルダへ転送してください。
■アセットメニュー▽
アセットファイルに含まれるプレハブを選択したり、読み込んだアセットをアセットワールドから削除できます。
また、向きとチルトをリセットできます。
アセットに視点情報が含まれる場合は視点を選択することができます。
■リロード
アセット（プレハブ）を初期状態に戻します。重力により奈落の底に落ちてしまったり コリジョンにより爆発した場合などに位置や状態を回復します。
■アニメーション
アセット内の人型のゲームオブジェクトへアニメーションを適用します。
現状、複数の人が含まれる場合 全員に同じアニメーションが適用されます。
assetフォルダ内にanimatorフォルダを作成し、アニメーション用のアセットファイルを転送して使います。
■照明
アセットに照明が含まれる場合に On/Offします。
■体、顔
アセット内の人型のゲームオブジェクトの体や顔をHMDの方へ向けます。
現状、複数の人が含まれる場合 全員に適用されます。
■位置、向き、チルト
アセット毎にローカル位置を調整します。
現状チルトはうまく機能しません。
アセットメニュー▽で向きとチルトをリセットできます。
■視点
スロット1のアセットに視点情報が含まれる場合に その位置へアセットワールドを移動します。
sample_theaterでは 前の方の席、後ろの方の席、横の席の3か所が選べます。
スロット1以外や 視点が4以上の場合はアセットメニュー▽で選択できます。
■頭コライダー
HMDの当たり判定を有効にします。キャラクターの内部へ侵入したり すり抜けを防止するのに使います。
■プリセットメニュー
現在のアセット構成をAmaRecVR Serverへ保存したり 読み込むことができます。
現状 暫定機能です。とりあえず使っているアセットファイルやプレハブと位置情報を保存するようになっています。
Questの機種を変更した場合に、アセットファイルに差異があると 機能しない可能性があります。
５．その他
５．１．光源とパフォーマンスについて
sample_theaterには点光源が含まれます。
点光源はパフォーマンスの低下（fpsの低下）を招くので、アセット側の光源はOffにして環境光と平行光源だけで使うことをお勧めします。
■Quest1の場合
sample_theaterで点光源を使うと60fpsを下回る場合があります。環境光と平行光源だけで使ってください。
■Quest2の場合
sample_theaterの点光源と環境光、平行光源の３つ全てをOnにすると60fpsを下回る場合があります。点光源か平行光源のどちらか１つで使ってください。
環境光はパフォーマンスに影響しないと思われます。
※ サブプレイヤーはもともと60fpsでの動画再生ができません。60fpsできっちり再生できるのはメインプレイヤーでAmaRec Playerを使った場合だけです。
６．アセットファイルについて
【主な適合条件】
・比較的新しいUnityで作成されたもの（2021.1.1f1 推奨）
・android用に作成されたもの（Windows用は不可）
・Graphics APIs OpenGLES3.2
・VR用に作成されたもの（Stereo Rendering Mode が Multi Pass）
・プレハブのみ対応？（シーンは不可？）
６．１．アセットファイルの作成方法（要点のみ）
ここではUnityを使ったことがある人を対象に要点だけ示します。
Unityのバージョンは2021.1.1f1を使っています。これより新しければ大抵大丈夫だと思いますが、上手くいかない場合は2021.1.1f1を用意してください。
また、ここではUnityのasset bundles browserを使います。インストールされていない場合は Unity Editorを起動してパッケージマネージャからインストールしてください。
新規で3Dプロジェクトを作成しアセット化したいプレハブをassetsフォルダ配下に用意した後
Project SettingsのPlayerとXR Plug-in ManagementのAndroidタブを以下のように設定します。
ツールバーのWindowからAssetBundl browserを表示して
Configureタブで アセット化したいプレハブを登録した後
Buildタブを以下のように設定し Buildします。
AssetBundles\Androidフォルダへ拡張子なしのファイルが作成されます。
拡張子 assetbundleを付けて 完成です。
７．ダウンロード
・アマレコVR Ver2.4.0 アルファ版 for Quest
・アマレコVRサーバー Ver2.21
【アセットファイル】
・アセット asset_sample_theater20230505.zip
動作確認用の映画館
・アセット asset_sample_cube20230505.zip
立方体１つだけの最小構成のアセットファイル
アセットファイルの作成が上手くできない場合に参考にしてください
Unityで作成した様々なアセットをアマレコVRの世界へ持ち込むことができます。
なお、現状アマレコVR（AndroidのVRアプリ）に対応したアセットはほぼ出回っていないと思われますので 利用者自身でUnity Editorを使って作成する必要があります。ですので、実質 Unityを扱える人が対象の機能となります。
動作確認用のアセット 「サンプルシアター」
１．更新内容
【主な更新内容】
・アセット機能追加
・ミラー機能追加 (リンク機能の後継機能)
・サブ画面をメイン画面の後ろに配置するオプション追加
・ハンドジェスチャーのトラッキング範囲を拡大
手のひらをHMDへ向けた状態（システム操作状態）でもトラッキングするようになった
２．アセット機能の概要
２．１．アセットの例
・3Dで作成された映画館などの3Dオブジェクト
・アバター（人体モデルおよびアニメーション機能）
・音声データ
・ステートマシーン（プログラム制御）
・そのほか コライダー、物理シミュレーション、照明など豊富なUnityの基本機能
２．２．ステートマシーン
Unityのステートマシーンによりゲームオブジェクトやコライダーの衝突判定、音声データを制御できるため かなり広範なことがアマレコVRの機能に依存せずに実現できます。
この「アマレコVRの機能に依存しない」というのが CGやアバターを表示するだけにとどまらない アセット機能の特徴となっています。
Unityのステートマシーンの例 (コライダーが衝突したら ○○する)
２．３．Unity Editor
アセット機能により様々なことが可能となりますが、アマレコVRは動画を視聴することを目的としたアプリですのでクリエイティブな作業には向いていません。
例えば アマレコVRで映画館のアセットを読み込んで、さらにキャラクターのアセットを読み込んで、座席に移動して、座らせて・・・なども可能ですが、（最初は色々試す意味で大いにやってほしいですが）最終的にはUnity Editor上で映画館の座席にキャラを配置して個別にアニメーションを設定した 「完成したコンテンツ」を用意してご利用ください。
ですので Unity Editorの活用が必須となります。
３．アセット機能の使い方
(1) アマレコVRを起動する前に QuestのDownloadフォルダへassetフォルダを作成する
USBケーブルでPCとQuestを繋ぐか、Quest上のファイラーで操作してください
(2) 一緒に公開しているアセットファイル asset_sample_theater.zip をダウンロードして解凍する
(3) 解凍してできる sample_theater.assetbundle を(1)のassetフォルダへ転送する
(4) アマレコVRを起動して コンソール画面の下部からアセット画面を表示
頻繁にアセット機能を使う場合はボタン設定でアセット画面を割り当てると便利です
(5) スロット1のファイル名欄をクリックして sample_theaterを選択する
sample_theaterが出てこない場合は (1)-(3)をよく確認してください。
読み込みが終わると 座席等が表示されます。
(6) アセット画面を閉じてサブプレイヤーで動画を再生すると アセット内のスクリーンへ映像が表示されます
なお、メインプレイヤーはアセットの手前、3rdプレイヤーはアセットの後ろ に表示されるようになっています。
アセットと組み合わせて表示できるのはサブプレイヤーのみとなっています。
(7) 元に戻したい場合（アセット機能を終了したい場合）は アセット画面のスロットのアセットメニュー▽から 「Remove Asset」
４．アセット画面
■位置
各項目を左右にドラックすることで アセットワールド内の視点の移動や向きの調整ができます。
また、ボタン設定で各ボタンへ割り当てることもできます。
現状チルトはうまく機能しません。おかしいなと思ったら「向き リセット」してください。
（表示 位置や向きがおかしい、移動物が動かない ズレるなど）
■照明
環境光と平行光源のOn/Offができます。
■スロット
各スロットへ アセットファイルをロードして アセットワールドへ追加します。最大４つのアセットを組み合わせて使うことができます。
■ファイル名
アセットファイルを選択します。
アセットファイルは QuestのDownloadフォルダへassetフォルダを作成し、そのassetフォルダへ転送してください。
■アセットメニュー▽
アセットファイルに含まれるプレハブを選択したり、読み込んだアセットをアセットワールドから削除できます。
また、向きとチルトをリセットできます。
アセットに視点情報が含まれる場合は視点を選択することができます。
■リロード
アセット（プレハブ）を初期状態に戻します。重力により奈落の底に落ちてしまったり コリジョンにより爆発した場合などに位置や状態を回復します。
■アニメーション
アセット内の人型のゲームオブジェクトへアニメーションを適用します。
現状、複数の人が含まれる場合 全員に同じアニメーションが適用されます。
assetフォルダ内にanimatorフォルダを作成し、アニメーション用のアセットファイルを転送して使います。
■照明
アセットに照明が含まれる場合に On/Offします。
■体、顔
アセット内の人型のゲームオブジェクトの体や顔をHMDの方へ向けます。
現状、複数の人が含まれる場合 全員に適用されます。
■位置、向き、チルト
アセット毎にローカル位置を調整します。
現状チルトはうまく機能しません。
アセットメニュー▽で向きとチルトをリセットできます。
■視点
スロット1のアセットに視点情報が含まれる場合に その位置へアセットワールドを移動します。
sample_theaterでは 前の方の席、後ろの方の席、横の席の3か所が選べます。
スロット1以外や 視点が4以上の場合はアセットメニュー▽で選択できます。
■頭コライダー
HMDの当たり判定を有効にします。キャラクターの内部へ侵入したり すり抜けを防止するのに使います。
■プリセットメニュー
現在のアセット構成をAmaRecVR Serverへ保存したり 読み込むことができます。
現状 暫定機能です。とりあえず使っているアセットファイルやプレハブと位置情報を保存するようになっています。
Questの機種を変更した場合に、アセットファイルに差異があると 機能しない可能性があります。
５．その他
５．１．光源とパフォーマンスについて
sample_theaterには点光源が含まれます。
点光源はパフォーマンスの低下（fpsの低下）を招くので、アセット側の光源はOffにして環境光と平行光源だけで使うことをお勧めします。
■Quest1の場合
sample_theaterで点光源を使うと60fpsを下回る場合があります。環境光と平行光源だけで使ってください。
■Quest2の場合
sample_theaterの点光源と環境光、平行光源の３つ全てをOnにすると60fpsを下回る場合があります。点光源か平行光源のどちらか１つで使ってください。
環境光はパフォーマンスに影響しないと思われます。
※ サブプレイヤーはもともと60fpsでの動画再生ができません。60fpsできっちり再生できるのはメインプレイヤーでAmaRec Playerを使った場合だけです。
６．アセットファイルについて
【主な適合条件】
・比較的新しいUnityで作成されたもの（2021.1.1f1 推奨）
・android用に作成されたもの（Windows用は不可）
・Graphics APIs OpenGLES3.2
・VR用に作成されたもの（Stereo Rendering Mode が Multi Pass）
・プレハブのみ対応？（シーンは不可？）
６．１．アセットファイルの作成方法（要点のみ）
ここではUnityを使ったことがある人を対象に要点だけ示します。
Unityのバージョンは2021.1.1f1を使っています。これより新しければ大抵大丈夫だと思いますが、上手くいかない場合は2021.1.1f1を用意してください。
また、ここではUnityのasset bundles browserを使います。インストールされていない場合は Unity Editorを起動してパッケージマネージャからインストールしてください。
新規で3Dプロジェクトを作成しアセット化したいプレハブをassetsフォルダ配下に用意した後
Project SettingsのPlayerとXR Plug-in ManagementのAndroidタブを以下のように設定します。
ツールバーのWindowからAssetBundl browserを表示して
Configureタブで アセット化したいプレハブを登録した後
Buildタブを以下のように設定し Buildします。
AssetBundles\Androidフォルダへ拡張子なしのファイルが作成されます。
拡張子 assetbundleを付けて 完成です。
７．ダウンロード
・アマレコVR Ver2.4.0 アルファ版 for Quest
・アマレコVRサーバー Ver2.21
【アセットファイル】
・アセット asset_sample_theater20230505.zip
動作確認用の映画館
・アセット asset_sample_cube20230505.zip
立方体１つだけの最小構成のアセットファイル
アセットファイルの作成が上手くできない場合に参考にしてください
アマレコVR Ver2.3.4 背景透過微調整 Quest版
年末年始Meta Questを使っていたので今回はQuest版となります。
背景透過処理で輪郭を捕らえる制度が若干向上しました。
１．更新内容
・背景透過処理 輪郭精度向上
・背景透過 「背景をボカす」オプション追加
・メイン画面スケール のプリセット追加
・360度スクリーンにおけるステレオ調整の不具合を修正
２．使い方
■背景をボカす
背景透過処理で背景を透明にする代わりにぼかします。
幽霊モードで使ってください。
■メイン画面スケール のプリセット追加
アマレコVRの設定画面のプレイヤー設定で３つプリセットできます。
３．ダウンロード
・ アマレコVR Ver2.3.4 アルファ版 for Quest
・アマレコVRサーバー Ver2.21
背景透過処理で輪郭を捕らえる制度が若干向上しました。
１．更新内容
・背景透過処理 輪郭精度向上
・背景透過 「背景をボカす」オプション追加
・メイン画面スケール のプリセット追加
・360度スクリーンにおけるステレオ調整の不具合を修正
２．使い方
■背景をボカす
背景透過処理で背景を透明にする代わりにぼかします。
幽霊モードで使ってください。
■メイン画面スケール のプリセット追加
アマレコVRの設定画面のプレイヤー設定で３つプリセットできます。
３．ダウンロード
・ アマレコVR Ver2.3.4 アルファ版 for Quest
・アマレコVRサーバー Ver2.21
アマレコVR Ver2.3.3 背景透過V2 Quest版
先日公開した背景透過V2のQuest版です。
内容は Pico4版と同じ です。
１．更新内容
・アマレコVR Ver2.3.3 for Pico4と同じ
【主な更新内容】
・背景透過処理が背景透過V2になりました
・画像処理のシルエット機能が背景透過EXへ対応しました
・ボタン機能でVRコントローラーのBボタン以外でも「戻る」を選択できるようになりました
・メイン画面設定で位置設定等ができない不具合を修正
【背景透過V2】
・時間方向の平滑化と激しい動きへの追従性を両立しました
・被写体周辺の背景画像も作成するようになりました
・動きの少ない被写体が消え難くなりました
・複数の被写体が一塊になり難くなりました
・マスクパターン整形処理を改善（解像度512x512、エッジ画像等）
・背景透過率
・背景透過EXを3つのモードで整理しました
２．ダウンロード
・ アマレコVR Ver2.3.3 アルファ版 for Quest
・アマレコVRサーバー Ver2.21
内容は Pico4版と同じ です。
１．更新内容
・アマレコVR Ver2.3.3 for Pico4と同じ
【主な更新内容】
・背景透過処理が背景透過V2になりました
・画像処理のシルエット機能が背景透過EXへ対応しました
・ボタン機能でVRコントローラーのBボタン以外でも「戻る」を選択できるようになりました
・メイン画面設定で位置設定等ができない不具合を修正
【背景透過V2】
・時間方向の平滑化と激しい動きへの追従性を両立しました
・被写体周辺の背景画像も作成するようになりました
・動きの少ない被写体が消え難くなりました
・複数の被写体が一塊になり難くなりました
・マスクパターン整形処理を改善（解像度512x512、エッジ画像等）
・背景透過率
・背景透過EXを3つのモードで整理しました
２．ダウンロード
・ アマレコVR Ver2.3.3 アルファ版 for Quest
・アマレコVRサーバー Ver2.21
アマレコVR Ver2.3.3 for Pico4 アルファ版 背景透過V2
今回は背景透過処理自体をアップデートし背景透過V2となりました。
１．更新内容
【主な更新内容】
・背景透過処理が背景透過V2になりました
・画像処理のシルエット機能が背景透過EXへ対応しました
・ボタン機能でVRコントローラーのBボタン以外でも「戻る」を選択できるようになりました
・メイン画面設定で位置設定等ができない不具合を修正
【背景透過V2】
・時間方向の平滑化と激しい動きへの追従性を両立しました
・被写体周辺の背景画像も作成するようになりました
・動きの少ない被写体が消え難くなりました
・複数の被写体が一塊になり難くなりました
・マスクパターン整形処理を改善（解像度512x512、エッジ画像等）
・背景透過率
・背景透過EXを3つのモードで整理しました
２．使い方
インストール等基本的な使い方は アマレコVR ver2.1.8 for Pico4 動作確認版 を参照してください。
２．１．背景透過V2
メイン画面設定の画像処理に関する設定項目が変更されました。
(1) VR動画を再生、メイン画面設定のポジトラON、パススルーON、スケールを被写体の距離（50cmから100cm程度）に調整
(2) 画像処理▽メニューから「背景透過」を選択
(3) 背景透過モードで「モヤっと」を選択
(4) 動きの少ない背景が徐々に消えてきます
なかなか背景が消えないようなら背景透過率を100から下げてみてください（50から80あたりで調整）。
３．背景透過モード
今までは背景透過処理と背景透過EXで構成されていましたが、今回から統合し３つのモードに整理されました。
youtubeサンプル動画
■モヤっとモード
被写体の輪郭をぼかして合成します。
多くの場合で欠点が目立たず、且つ簡単に使えるため このモードを中心に使ってください。
背景透過率で背景に使われている色に近いものを透明にすることができます。通常は100に設定しますが、なかなか背景が消えない場合は50くらいまで下げてみてください。
このモードに「輝度補正」と「色補正」はありません。
画像処理メニューの輪郭ぼかしの設定でぼかす度合いを調整できます。
■キリっとモード
輪郭を鮮明にし合成します。
背景に使われている色が特定しやすいこと、背景の色と被写体の色が明確に区別できることが重要となりますので、使える場面は限られます。
暗がり動画、完全な白背景、クロマキー映像のように背景が単色に近いもので効果を発揮します。
被写体の輪郭部が半透明になってしまう場合は「輝度補正」と「色補正」を0から上げることで不透明にできます。
背景が消えつつ、被写体が消えないように調整してください。
もしくは画像処理メニューから輪郭サイズを一回り大きくしてみてください。
ドット感（処理解像度の低さ）が目立つ場合も「輝度補正」と「色補正」を0から上げてみてください。
※ 輝度補正を100にしても背景透過EXの処理が無効になることはありません。
※ 色補正の数値を上げても画質が悪い印象になることはありません。
■幽霊モード
最も背景を消せて、且つ、輪郭を鮮明にすることができますが、被写体も半透明になります。
キリっとモードが背景を消しつつ、被写体が消えないように働くのに対し、幽霊モードは背景色に近いものを問答無用で透明、半透明にします。
暗がり動画、完全な白背景、クロマキー映像のように背景が単色に近いもので効果を発揮します。
４．設定項目
・画像処理▽メニュー
画像処理に関するメニューを表示します。
・背景透過モード 「モヤっと」、「キリっと」、「幽霊」
上記 背景透過モード参照
・クリア
画像処理で使う背景画像等をクリアします。
・背景確認
動作確認のために背景画像等を表示します。
・画像処理パラメータ「背景透過率」、「輝度補正」、「色補正」
上記 背景透過モード参照
■画像処理メニュー（背景透過処理）
「背景透過」を選択すると背景透過処理に関する設定ができるようになりますが、基本的には初期値(def)のまま使ってください。
・背景閾値
背景画像を作る際の閾値を設定します。
数値を上げると背景画像が作りやすくなります（背景が消えやすくなります）。
その代り動きの少ない被写体も背景と判断されやすくなり消えてしまいます。
「動画にノイズが多い」や「照明が安定しない」などによりなかなか背景が消えない場合は背景閾値を大きくしてみてください。
通常は背景閾値を0にして被写体が消えにくくなるようにしてください。
・輪郭ぼかし
被写体の輪郭をぼかす度合いを設定します。
主にモヤっとモードで意味を持ちます。
・輪郭サイズ
被写体の輪郭を一回り大きくしたり 小さくします。
５．その他
■シルエット機能
今回から背景透過EXの処理（キリっとモード、幽霊モード）でもシルエット機能が使えるようになりました。
幽霊モードでシルエット機能を使うと陰影も反映されます。
シルエットの色と透明度はサーバー側の設定ファイルで指定できます。
６．ダウンロード
・ アマレコVR Ver2.3.3 アルファ版 for Pico4
・アマレコVRサーバー Ver2.21
１．更新内容
【主な更新内容】
・背景透過処理が背景透過V2になりました
・画像処理のシルエット機能が背景透過EXへ対応しました
・ボタン機能でVRコントローラーのBボタン以外でも「戻る」を選択できるようになりました
・メイン画面設定で位置設定等ができない不具合を修正
【背景透過V2】
・時間方向の平滑化と激しい動きへの追従性を両立しました
・被写体周辺の背景画像も作成するようになりました
・動きの少ない被写体が消え難くなりました
・複数の被写体が一塊になり難くなりました
・マスクパターン整形処理を改善（解像度512x512、エッジ画像等）
・背景透過率
・背景透過EXを3つのモードで整理しました
２．使い方
インストール等基本的な使い方は アマレコVR ver2.1.8 for Pico4 動作確認版 を参照してください。
２．１．背景透過V2
メイン画面設定の画像処理に関する設定項目が変更されました。
(1) VR動画を再生、メイン画面設定のポジトラON、パススルーON、スケールを被写体の距離（50cmから100cm程度）に調整
(2) 画像処理▽メニューから「背景透過」を選択
(3) 背景透過モードで「モヤっと」を選択
(4) 動きの少ない背景が徐々に消えてきます
なかなか背景が消えないようなら背景透過率を100から下げてみてください（50から80あたりで調整）。
３．背景透過モード
今までは背景透過処理と背景透過EXで構成されていましたが、今回から統合し３つのモードに整理されました。
youtubeサンプル動画
■モヤっとモード
被写体の輪郭をぼかして合成します。
多くの場合で欠点が目立たず、且つ簡単に使えるため このモードを中心に使ってください。
背景透過率で背景に使われている色に近いものを透明にすることができます。通常は100に設定しますが、なかなか背景が消えない場合は50くらいまで下げてみてください。
このモードに「輝度補正」と「色補正」はありません。
画像処理メニューの輪郭ぼかしの設定でぼかす度合いを調整できます。
■キリっとモード
輪郭を鮮明にし合成します。
背景に使われている色が特定しやすいこと、背景の色と被写体の色が明確に区別できることが重要となりますので、使える場面は限られます。
暗がり動画、完全な白背景、クロマキー映像のように背景が単色に近いもので効果を発揮します。
被写体の輪郭部が半透明になってしまう場合は「輝度補正」と「色補正」を0から上げることで不透明にできます。
背景が消えつつ、被写体が消えないように調整してください。
もしくは画像処理メニューから輪郭サイズを一回り大きくしてみてください。
ドット感（処理解像度の低さ）が目立つ場合も「輝度補正」と「色補正」を0から上げてみてください。
※ 輝度補正を100にしても背景透過EXの処理が無効になることはありません。
※ 色補正の数値を上げても画質が悪い印象になることはありません。
■幽霊モード
最も背景を消せて、且つ、輪郭を鮮明にすることができますが、被写体も半透明になります。
キリっとモードが背景を消しつつ、被写体が消えないように働くのに対し、幽霊モードは背景色に近いものを問答無用で透明、半透明にします。
暗がり動画、完全な白背景、クロマキー映像のように背景が単色に近いもので効果を発揮します。
４．設定項目
・画像処理▽メニュー
画像処理に関するメニューを表示します。
・背景透過モード 「モヤっと」、「キリっと」、「幽霊」
上記 背景透過モード参照
・クリア
画像処理で使う背景画像等をクリアします。
・背景確認
動作確認のために背景画像等を表示します。
・画像処理パラメータ「背景透過率」、「輝度補正」、「色補正」
上記 背景透過モード参照
■画像処理メニュー（背景透過処理）
「背景透過」を選択すると背景透過処理に関する設定ができるようになりますが、基本的には初期値(def)のまま使ってください。
・背景閾値
背景画像を作る際の閾値を設定します。
数値を上げると背景画像が作りやすくなります（背景が消えやすくなります）。
その代り動きの少ない被写体も背景と判断されやすくなり消えてしまいます。
「動画にノイズが多い」や「照明が安定しない」などによりなかなか背景が消えない場合は背景閾値を大きくしてみてください。
通常は背景閾値を0にして被写体が消えにくくなるようにしてください。
・輪郭ぼかし
被写体の輪郭をぼかす度合いを設定します。
主にモヤっとモードで意味を持ちます。
・輪郭サイズ
被写体の輪郭を一回り大きくしたり 小さくします。
【廃止項目】
・ぼかし（時間）
変化量が少ないときはボカし、変化量が大きいときはボカさないよう自動で切り替わります。
これにより 時間方向の平滑化と激しい動きへの追従性の両立ができるようになります。
・背景時間
最短3秒となります。被写体の周辺など条件により自動で長くなります。
・解像度（256、1024）
今回は512x512となります。
５．その他
■シルエット機能
今回から背景透過EXの処理（キリっとモード、幽霊モード）でもシルエット機能が使えるようになりました。
幽霊モードでシルエット機能を使うと陰影も反映されます。
シルエットの色と透明度はサーバー側の設定ファイルで指定できます。
【シルエットの色設定】
AmaRecVRServer.ini
[ImageProcessing]
rw.param_silhouette_color_string=#0000FF7F
６．ダウンロード
・ アマレコVR Ver2.3.3 アルファ版 for Pico4
・アマレコVRサーバー Ver2.21
アマレコVR Ver2.3.2 背景透過EX Quest版
先日公開した背景透過EXのQuest版です。
内容は Pico版と同じ です。
画像処理2ndシーズンはPico4中心で開発し、Quest版は最後に公開するつもりでしたが背景透過EXの反響が思いのほかあり うれしかったので急きょPico版を移植しました。
Quest1/2の白黒パススルーだと背景透過EXの処理の粗さが目立つ気がします。
また、Quest1だと60fpsを下回ります。
QuestProは買えなかったので、QuestProでどうなるか、そもそも使えるのか気になるところです。
１．更新内容
・アマレコVR Ver2.3.1 for Pico4と同じ
・メイン画面設定で位置設定等ができない不具合を修正
２．ダウンロード
・ アマレコVR Ver2.3.2 アルファ版 for Quest
・アマレコVRサーバー Ver2.21
内容は Pico版と同じ です。
画像処理2ndシーズンはPico4中心で開発し、Quest版は最後に公開するつもりでしたが背景透過EXの反響が思いのほかあり うれしかったので急きょPico版を移植しました。
Quest1/2の白黒パススルーだと背景透過EXの処理の粗さが目立つ気がします。
また、Quest1だと60fpsを下回ります。
QuestProは買えなかったので、QuestProでどうなるか、そもそも使えるのか気になるところです。
１．更新内容
・アマレコVR Ver2.3.1 for Pico4と同じ
・メイン画面設定で位置設定等ができない不具合を修正
２．ダウンロード
・ アマレコVR Ver2.3.2 アルファ版 for Quest
・アマレコVRサーバー Ver2.21
アマレコVR Ver2.3.1 for Pico4 アルファ版 背景透過EX
前回の暗闇透過は黒と比較して透明にするか決めていましたが今回は背景色マップと比較して透明にします。
黒以外に白や複数の色でもある程度対応でき従来の背景透過処理の輪郭部を明瞭にする効果があります。
１．使い方
インストール等基本的な使い方は アマレコVR ver2.1.8 for Pico4 動作確認版 を参照してください。
メイン画面設定の暗闇透過オプションが廃止され、代わりに背景透過EXになります。
背景透過EXは単独では使えません。画像処理の背景透過を選択している時だけ機能します。
画像処理メニューから背景透過を選択し、背景透過EXのチェックボックスをON、背景透過EXの透明度を50、色味補正を0にして背景透過処理が安定するまで（背景画像ができるまで）待ちます。
安定したあと被写体の一部が消えるようなら色味補正を少しずつ上げます。色味補正を上げ過ぎると画質の印象が悪くなるので20程度までで調整してください。
背景が残るようなら背景透過EXの透明度を下げてください。それでも背景が残る場合は「被写体も処理する」をONにしてみてください。
２．設定
・背景透過EX 透明度
背景の透明度を設定します。100は処理なし。数値を下げると背景を透明にします。50が標準です。
・背景透過EX 色味補正
透明度を補正して不透明にします。被写体の一部が透明になってしまう場合に使います。
0は透明度を補正しません。数値を大きくするほど不透明になります。
※ 数値を大きくすると画質の印象が悪くなります。
・被写体も処理する
OFFの場合は被写体の輪郭領域だけ処理します。
被写体内部の黒目などの透明化を防ぐことができますが、輪郭領域の背景が残りやすくなります。
背景透過処理を単独で使う場合と比べ 僅かに輪郭が明瞭になるメリットがあります。
ONの場合は輪郭領域と被写体領域の両方を処理します。
背景が消えやすく被写体の輪郭がもっとも明瞭になりますが、被写体領域の背景色と近い箇所も透明になってしまいます。
背景透過処理で上手く輪郭をとらえられる場合はOFF
上手く輪郭をとらえられなかったり、被写体が複数など、領域が大きめに取られてしまう場合にON
・背景透過処理の輪郭に関する設定
輪郭ぼかしと輪郭サイズを大きめに設定してください。
被写体領域の外周から背景色を拾う（被写体から色を拾いたくない）ため、輪郭が被写体より一回り大きくなるように設定してください。
また、ぼかしている範囲が輪郭領域として処理対象になります。
解像度の1024は機能しません。256を選択してください。
３．サンプル
ツイッターでサンプル動画を公開しています。
https://twitter.com/amarectv
youtubeで公開しました。
・サンプル動画のオウムじゃない方
被写体の動きが大きく 輪郭をうまくとらえられない例です。
背景透過処理だけだと 実際の被写体より領域が大きくとられてしまうので、被写体も処理するをONにして被写体も含めて背景色を透明にします。
被写体領域も処理対象にしているため 鳥の体の一部も背景色と一致し透明になっている箇所があります。
・サンプル動画オウム
複雑な背景の例です。
被写体の動きが少ないため 従来の背景透過処理だけでもうまく処理できます。
背景透過EXをON、被写体も処理をOFFにすると残っていた背景がわずかに減り、被写体の半透明になっていた部分を不透明にできます。
共にわずかな差ですが 背景透過EXのチェックボックスをON/OFFすれば瞬時に切り替わりますのでどの程度効果があるか確認してみてください。
・白背景の動画（サンプル動画無し）
背景が被写体より白い場合はうまくいきます。
一見白い背景と思う動画でもクリーム色だったりすると 肌色のどこかしらと一致してしまいうまくいきません。
日本のVR動画だと温かみのある絵造りで 背景の白と肌色が近く ほとんどの場合うまくいきません。
海外のVR動画だと刺さるような白背景だったりするので 極めてうまく処理できます。
白背景の場合は 被写体も処理するをONにして ほぼクロマキー合成のように扱うことができます。
４．ダウンロード
・ アマレコVR Ver2.3.1 アルファ版 for Pico4
・アマレコVRサーバー Ver2.21
2022.11.18追記
メイン画面設定の位置設定など左右にドラッグして設定する分部が全滅しています。
次のバージョンで直します。それまで、メイン画面の位置に関してはボタン機能に割り当てて調整してください。
・メイン画面の位置XYZ
・アルファマップの拡大、位置
黒以外に白や複数の色でもある程度対応でき従来の背景透過処理の輪郭部を明瞭にする効果があります。
【背景色マップ】
背景色マップは被写体領域の外周から多く使われている色を調べて、背景に使われている色の分布を作成します。
クロマキー処理では画面全体から1色だけ拾うようになっていますが、背景色マップではエリア毎に背景色を決めますので、画面の上の方が暗くて、下の方は白いなどの場合も対応できます。
小さいエリア毎に特殊なクロマキー処理をする感じです。
・被写体からは色を拾わない
・被写体の周辺を調べる
・被写体から遠いところからは色を拾わない
・被写体のエリアは調べた色から補完する
・各エリアの境界が判らないように最後にぼかす
１．使い方
インストール等基本的な使い方は アマレコVR ver2.1.8 for Pico4 動作確認版 を参照してください。
メイン画面設定の暗闇透過オプションが廃止され、代わりに背景透過EXになります。
背景透過EXは単独では使えません。画像処理の背景透過を選択している時だけ機能します。
画像処理メニューから背景透過を選択し、背景透過EXのチェックボックスをON、背景透過EXの透明度を50、色味補正を0にして背景透過処理が安定するまで（背景画像ができるまで）待ちます。
安定したあと被写体の一部が消えるようなら色味補正を少しずつ上げます。色味補正を上げ過ぎると画質の印象が悪くなるので20程度までで調整してください。
背景が残るようなら背景透過EXの透明度を下げてください。それでも背景が残る場合は「被写体も処理する」をONにしてみてください。
【背景色マップの初期状態】
最初は黒に設定されていますので、黒目や黒髪が透明になります。
徐々に背景画像が作成され被写体領域が判るとその外周から色を拾って正しい背景色マップが作製されます。
この間は黒や被写体から離れたところの色を拾ってしまう為不安定となります（何色が透明になるか不定）。
２．設定
・背景透過EX 透明度
背景の透明度を設定します。100は処理なし。数値を下げると背景を透明にします。50が標準です。
・背景透過EX 色味補正
透明度を補正して不透明にします。被写体の一部が透明になってしまう場合に使います。
0は透明度を補正しません。数値を大きくするほど不透明になります。
※ 数値を大きくすると画質の印象が悪くなります。
・被写体も処理する
OFFの場合は被写体の輪郭領域だけ処理します。
被写体内部の黒目などの透明化を防ぐことができますが、輪郭領域の背景が残りやすくなります。
背景透過処理を単独で使う場合と比べ 僅かに輪郭が明瞭になるメリットがあります。
ONの場合は輪郭領域と被写体領域の両方を処理します。
背景が消えやすく被写体の輪郭がもっとも明瞭になりますが、被写体領域の背景色と近い箇所も透明になってしまいます。
背景透過処理で上手く輪郭をとらえられる場合はOFF
上手く輪郭をとらえられなかったり、被写体が複数など、領域が大きめに取られてしまう場合にON
・背景透過処理の輪郭に関する設定
輪郭ぼかしと輪郭サイズを大きめに設定してください。
被写体領域の外周から背景色を拾う（被写体から色を拾いたくない）ため、輪郭が被写体より一回り大きくなるように設定してください。
また、ぼかしている範囲が輪郭領域として処理対象になります。
解像度の1024は機能しません。256を選択してください。
３．サンプル
https://twitter.com/amarectv
youtubeで公開しました。
・サンプル動画のオウムじゃない方
被写体の動きが大きく 輪郭をうまくとらえられない例です。
背景透過処理だけだと 実際の被写体より領域が大きくとられてしまうので、被写体も処理するをONにして被写体も含めて背景色を透明にします。
被写体領域も処理対象にしているため 鳥の体の一部も背景色と一致し透明になっている箇所があります。
・サンプル動画オウム
複雑な背景の例です。
被写体の動きが少ないため 従来の背景透過処理だけでもうまく処理できます。
背景透過EXをON、被写体も処理をOFFにすると残っていた背景がわずかに減り、被写体の半透明になっていた部分を不透明にできます。
共にわずかな差ですが 背景透過EXのチェックボックスをON/OFFすれば瞬時に切り替わりますのでどの程度効果があるか確認してみてください。
・白背景の動画（サンプル動画無し）
背景が被写体より白い場合はうまくいきます。
一見白い背景と思う動画でもクリーム色だったりすると 肌色のどこかしらと一致してしまいうまくいきません。
日本のVR動画だと温かみのある絵造りで 背景の白と肌色が近く ほとんどの場合うまくいきません。
海外のVR動画だと刺さるような白背景だったりするので 極めてうまく処理できます。
白背景の場合は 被写体も処理するをONにして ほぼクロマキー合成のように扱うことができます。
４．ダウンロード
・ アマレコVR Ver2.3.1 アルファ版 for Pico4
・アマレコVRサーバー Ver2.21
2022.11.18追記
メイン画面設定の位置設定など左右にドラッグして設定する分部が全滅しています。
次のバージョンで直します。それまで、メイン画面の位置に関してはボタン機能に割り当てて調整してください。
・メイン画面の位置XYZ
・アルファマップの拡大、位置
アマレコVR Ver2.3.0 for Pico4 アルファ版 暗闇透過処理
1年前にMeta Questのパススルー機能に合わせて実験した画像処理の2ndシーズンです。
今回はPico4のカラーパススルーに合わせて実験していきます。
【更新内容】
・暗闇透過処理
・ボリュームボタンを使えるようにした
・HMDのホームポジションリセットに対応
・アルファマップ微修正
・アルファマップBへブラックマスクオプション追加
・ハンドジェスチャー（スクリーン移動、シーク）
【ボタン機能】
・ドラッグ暗闇透過率
・暗闇透過率 UP
・暗闇透過率 DOWN
・アルファマップのON / OFF切替
【ホイール機能】
・暗闇透過率
１．暗闇透過処理
動画内の暗い部分を透明にします。
色を指定して透明にするクロマキー処理に近いですが、黒に特化していることと、彩度※の高い（色味が強い）個所は逆に不透明になるように調整することができます。
照明の当たっている被写体と 照明の当たっていない背景の明度の差および彩度の差を利用して背景を透過させます。
また、背景透過処理とは異なり処理解像度が高く動画の画像サイズをそのまま処理することができますので、被写体の輪郭が明瞭になります。
※彩度・・・実際は彩度ではなく RGB要素の最大値から最小値を引いた値を使います。ここでは色味と記します。
背景が暗いVR動画であれば暗闇透過処理単体でもそれなりの効果が得られますが、
黒い部分が一律透明になりますので 黒目や黒髪も透明になってしまいます。
ですので実際は背景透過処理と組み合わせて使うことになります。
２．背景透過処理と暗闇透過処理を併用した場合
背景透過処理は背景と被写体をある程度区別できますので、背景は透明、被写体は不透明で確定します。
一方、背景透過処理の処理解像度は極めて低いため 被写体と背景の境界領域については（アルファ値を）ボカす必要がありました。
暗闇透過処理は このボカした境界領域（輪郭）に適用されます。
暗い分部は透明になりやすく、明るく且つ色味のある肌などは不透明になりやすい性質があり、さらに処理解像度が高いため
背景透過処理のみの場合と比べ 被写体の輪郭を明瞭にする効果が期待されます。
３．使い方
背景透過と暗闇透過はそれぞれON、OFFして単独か組み合わせて使うことができます。
背景透過処理は画像処理メニューから設定します。
暗闇透過処理はチェックボックスをONにして 暗闇透過率を背景が消えて 被写体が消えないように微調整してください。
彩度補正は最初は0のまま使い、被写体も処理するは好みでON/OFF。
・暗闇透過
暗い部分を透明にします。
100の場合は処理をしません。
数値が小さいほど 暗い部分が透明になります。
・彩度補正
色味の大きい部分を不透明にします。
0の時は処理をしません。
数値が高いほど不透明にします。
・白透過オプション
黒ではなく白い部分を透明にしますが、今のところ上手く機能しません。
・被写体も処理するオプション
背景透過と暗闇透過を組み合わせた際に 被写体の領域へも暗闇透過を適用します。
４．調整方法
・背景透過処理の輪郭サイズ
輪郭サイズが小さいと 被写体の領域が侵食されやすくなります（黒目なども透明になりやすい）。
輪郭サイズを大きくすると 被写体の外側に薄っすら背景が残りやすくなります。
・背景透過処理の輪郭ぼかし
被写体の浸食や背景残りを考慮して調整してください。
・暗闇透過処理の透過率
100だと処理しません。
数値を小さくするほど 暗い部分の透過率が高くなります。
これがメインの調整となります。背景が消えつつ、被写体が侵食されない値に調整してください。
ボタンやマウスのホイールへ割り当てることができますので色々試してみてください。
・暗闇透過処理の彩度補正
0だと処理しません。
数値を上げるほど 色味を強く反映させます。
アルファ値を算出する際に色味が大きい画素ほど不透明になります。
暗がり動画など背景に色味が少ない場合は 彩度補正を大きく設定することで明るい被写体が不透明になりやすくなり有利です。
通常の動画（背景が明るく色味がある場合）では 彩度補正を0にしてください。彩度補正値が大きいと色味のある背景が不透明になってしまいます。
５．その他
背景透過処理の1024モードは工事中です。256モードを使ってください。
アルファマップBへ ブラックマスクオプション追加
アルファマップの連動設定に合わせてアルファマップの位置やスケール、ステレオ調整をするようにした
アルファマップAとBの違い
アルファマップAはメイン画面と3rd画面の両方へ適用されます。
アルファマップBは3rd画面だけ適用されます。（メイン画面へは影響しません）
ダウンロード
・ アマレコVR Ver2.3.0 アルファ版 for Pico4
・ アマレコVRサーバー Ver2.21
新しいバージョン アマレコVR Ver2.3.1 が公開されています。
今回はPico4のカラーパススルーに合わせて実験していきます。
【更新内容】
・暗闇透過処理
・ボリュームボタンを使えるようにした
・HMDのホームポジションリセットに対応
・アルファマップ微修正
・アルファマップBへブラックマスクオプション追加
・ハンドジェスチャー（スクリーン移動、シーク）
【ボタン機能】
・ドラッグ暗闇透過率
・暗闇透過率 UP
・暗闇透過率 DOWN
・アルファマップのON / OFF切替
【ホイール機能】
・暗闇透過率
１．暗闇透過処理
動画内の暗い部分を透明にします。
色を指定して透明にするクロマキー処理に近いですが、黒に特化していることと、彩度※の高い（色味が強い）個所は逆に不透明になるように調整することができます。
照明の当たっている被写体と 照明の当たっていない背景の明度の差および彩度の差を利用して背景を透過させます。
また、背景透過処理とは異なり処理解像度が高く動画の画像サイズをそのまま処理することができますので、被写体の輪郭が明瞭になります。
※彩度・・・実際は彩度ではなく RGB要素の最大値から最小値を引いた値を使います。ここでは色味と記します。
【暗闇透過処理】
・背景 （暗い 色味は低い）
・被写体 （明るい 色味が高い）
この差を利用して背景を透明、被写体を不透明にします。
背景が暗いVR動画であれば暗闇透過処理単体でもそれなりの効果が得られますが、
黒い部分が一律透明になりますので 黒目や黒髪も透明になってしまいます。
ですので実際は背景透過処理と組み合わせて使うことになります。
２．背景透過処理と暗闇透過処理を併用した場合
背景透過処理は背景と被写体をある程度区別できますので、背景は透明、被写体は不透明で確定します。
一方、背景透過処理の処理解像度は極めて低いため 被写体と背景の境界領域については（アルファ値を）ボカす必要がありました。
暗闇透過処理は このボカした境界領域（輪郭）に適用されます。
暗い分部は透明になりやすく、明るく且つ色味のある肌などは不透明になりやすい性質があり、さらに処理解像度が高いため
背景透過処理のみの場合と比べ 被写体の輪郭を明瞭にする効果が期待されます。
【背景透過処理と暗闇透過処理の併用】
・暗闇透過処理 （処理解像度が高い 輪郭綺麗 黒以外の背景消せない 黒目消える）
・背景透過処理 （処理解像度極めて低い 輪郭ぼやける 動きのない背景消せる 動きのある被写体は消えない）
背景透過処理により黒目は被写体に含まれていれば透明とはなりません。
黒以外の背景も動きが無ければ背景と判断され透明になります。
被写体の輪郭は暗闇透過処理により高い処理解像度で綺麗に処理されますのでそれぞれの処理の強みが発揮されます。
３．使い方
背景透過と暗闇透過はそれぞれON、OFFして単独か組み合わせて使うことができます。
背景透過処理は画像処理メニューから設定します。
暗闇透過処理はチェックボックスをONにして 暗闇透過率を背景が消えて 被写体が消えないように微調整してください。
彩度補正は最初は0のまま使い、被写体も処理するは好みでON/OFF。
・暗闇透過
暗い部分を透明にします。
100の場合は処理をしません。
数値が小さいほど 暗い部分が透明になります。
・彩度補正
色味の大きい部分を不透明にします。
0の時は処理をしません。
数値が高いほど不透明にします。
・白透過オプション
黒ではなく白い部分を透明にしますが、今のところ上手く機能しません。
・被写体も処理するオプション
背景透過と暗闇透過を組み合わせた際に 被写体の領域へも暗闇透過を適用します。
【被写体が複数ある場合 胴体と腕の間など】
背景透過処理はなるべく丸い形状になるよう整形する性質がありますので、被写体が複数ある場合はくっついて一つの塊になってしまう場合があります。
そのため、被写体と被写体の間の空間へ暗闇透過処理が適用されません。
被写体も処理するをONにすると 被写体領域へも暗闇透過処理を適用し 暗い部分を透明にできます。
ただし、黒目など被写体に含まれる領域も透明になってしまいます。
４．調整方法
・背景透過処理の輪郭サイズ
輪郭サイズが小さいと 被写体の領域が侵食されやすくなります（黒目なども透明になりやすい）。
輪郭サイズを大きくすると 被写体の外側に薄っすら背景が残りやすくなります。
・背景透過処理の輪郭ぼかし
被写体の浸食や背景残りを考慮して調整してください。
・暗闇透過処理の透過率
100だと処理しません。
数値を小さくするほど 暗い部分の透過率が高くなります。
これがメインの調整となります。背景が消えつつ、被写体が侵食されない値に調整してください。
ボタンやマウスのホイールへ割り当てることができますので色々試してみてください。
・暗闇透過処理の彩度補正
0だと処理しません。
数値を上げるほど 色味を強く反映させます。
アルファ値を算出する際に色味が大きい画素ほど不透明になります。
暗がり動画など背景に色味が少ない場合は 彩度補正を大きく設定することで明るい被写体が不透明になりやすくなり有利です。
通常の動画（背景が明るく色味がある場合）では 彩度補正を0にしてください。彩度補正値が大きいと色味のある背景が不透明になってしまいます。
５．その他
背景透過処理の1024モードは工事中です。256モードを使ってください。
アルファマップBへ ブラックマスクオプション追加
アルファマップの連動設定に合わせてアルファマップの位置やスケール、ステレオ調整をするようにした
アルファマップAとBの違い
アルファマップAはメイン画面と3rd画面の両方へ適用されます。
アルファマップBは3rd画面だけ適用されます。（メイン画面へは影響しません）
【パススルー映像の一部を隠す】
アルファマップBを応用してパススルー映像の一部を隠すことができます。
・ブラックマスクをON
・連動設定を固定
・HMDのホームポジションリセット（ホームボタン長押しまたはHMDリセットボタン）したあとアルファマップBの位置を調整する
ダウンロード
・ アマレコVR Ver2.3.0 アルファ版 for Pico4
・ アマレコVRサーバー Ver2.21
新しいバージョン アマレコVR Ver2.3.1 が公開されています。
