あまラボ

年末年始Meta Questを使っていたので今回はQuest版となります。
背景透過処理で輪郭を捕らえる制度が若干向上しました。


１．更新内容
・背景透過処理 輪郭精度向上
・背景透過 「背景をボカす」オプション追加
・メイン画面スケール のプリセット追加
・360度スクリーンにおけるステレオ調整の不具合を修正


２．使い方
■背景をボカす


背景透過処理で背景を透明にする代わりにぼかします。
幽霊モードで使ってください。


■メイン画面スケール のプリセット追加



アマレコVRの設定画面のプレイヤー設定で３つプリセットできます。





３．ダウンロード
・ アマレコVR Ver2.3.4 アルファ版 for Quest
・アマレコVRサーバー Ver2.21

先日公開した背景透過V2のQuest版です。
内容は Pico4版と同じ です。



１．更新内容
・アマレコVR Ver2.3.3 for Pico4と同じ

【主な更新内容】
・背景透過処理が背景透過V2になりました
・画像処理のシルエット機能が背景透過EXへ対応しました
・ボタン機能でVRコントローラーのBボタン以外でも「戻る」を選択できるようになりました
・メイン画面設定で位置設定等ができない不具合を修正



【背景透過V2】
・時間方向の平滑化と激しい動きへの追従性を両立しました
・被写体周辺の背景画像も作成するようになりました
・動きの少ない被写体が消え難くなりました
・複数の被写体が一塊になり難くなりました
・マスクパターン整形処理を改善（解像度512x512、エッジ画像等）
・背景透過率
・背景透過EXを3つのモードで整理しました



２．ダウンロード
・ アマレコVR Ver2.3.3 アルファ版 for Quest
・アマレコVRサーバー Ver2.21

今回は背景透過処理自体をアップデートし背景透過V2となりました。


１．更新内容
【主な更新内容】
・背景透過処理が背景透過V2になりました
・画像処理のシルエット機能が背景透過EXへ対応しました
・ボタン機能でVRコントローラーのBボタン以外でも「戻る」を選択できるようになりました
・メイン画面設定で位置設定等ができない不具合を修正



【背景透過V2】
・時間方向の平滑化と激しい動きへの追従性を両立しました
・被写体周辺の背景画像も作成するようになりました
・動きの少ない被写体が消え難くなりました
・複数の被写体が一塊になり難くなりました
・マスクパターン整形処理を改善（解像度512x512、エッジ画像等）
・背景透過率
・背景透過EXを3つのモードで整理しました



２．使い方
インストール等基本的な使い方は アマレコVR ver2.1.8 for Pico4 動作確認版 を参照してください。


２．１．背景透過V2
メイン画面設定の画像処理に関する設定項目が変更されました。



(1) VR動画を再生、メイン画面設定のポジトラON、パススルーON、スケールを被写体の距離（50cmから100cm程度）に調整
(2) 画像処理▽メニューから「背景透過」を選択
(3) 背景透過モードで「モヤっと」を選択
(4) 動きの少ない背景が徐々に消えてきます

なかなか背景が消えないようなら背景透過率を100から下げてみてください（50から80あたりで調整）。



３．背景透過モード
今までは背景透過処理と背景透過EXで構成されていましたが、今回から統合し３つのモードに整理されました。

youtubeサンプル動画


■モヤっとモード
被写体の輪郭をぼかして合成します。
多くの場合で欠点が目立たず、且つ簡単に使えるため このモードを中心に使ってください。
背景透過率で背景に使われている色に近いものを透明にすることができます。通常は100に設定しますが、なかなか背景が消えない場合は50くらいまで下げてみてください。
このモードに「輝度補正」と「色補正」はありません。
画像処理メニューの輪郭ぼかしの設定でぼかす度合いを調整できます。

■キリっとモード
輪郭を鮮明にし合成します。
背景に使われている色が特定しやすいこと、背景の色と被写体の色が明確に区別できることが重要となりますので、使える場面は限られます。
暗がり動画、完全な白背景、クロマキー映像のように背景が単色に近いもので効果を発揮します。

被写体の輪郭部が半透明になってしまう場合は「輝度補正」と「色補正」を0から上げることで不透明にできます。
背景が消えつつ、被写体が消えないように調整してください。
もしくは画像処理メニューから輪郭サイズを一回り大きくしてみてください。

ドット感（処理解像度の低さ）が目立つ場合も「輝度補正」と「色補正」を0から上げてみてください。

※ 輝度補正を100にしても背景透過EXの処理が無効になることはありません。
※ 色補正の数値を上げても画質が悪い印象になることはありません。

■幽霊モード
最も背景を消せて、且つ、輪郭を鮮明にすることができますが、被写体も半透明になります。
キリっとモードが背景を消しつつ、被写体が消えないように働くのに対し、幽霊モードは背景色に近いものを問答無用で透明、半透明にします。
暗がり動画、完全な白背景、クロマキー映像のように背景が単色に近いもので効果を発揮します。



４．設定項目
・画像処理▽メニュー
画像処理に関するメニューを表示します。

・背景透過モード 「モヤっと」、「キリっと」、「幽霊」
上記 背景透過モード参照

・クリア
画像処理で使う背景画像等をクリアします。

・背景確認
動作確認のために背景画像等を表示します。

・画像処理パラメータ「背景透過率」、「輝度補正」、「色補正」
上記 背景透過モード参照


■画像処理メニュー（背景透過処理）
「背景透過」を選択すると背景透過処理に関する設定ができるようになりますが、基本的には初期値(def)のまま使ってください。


・背景閾値
背景画像を作る際の閾値を設定します。
数値を上げると背景画像が作りやすくなります（背景が消えやすくなります）。
その代り動きの少ない被写体も背景と判断されやすくなり消えてしまいます。

「動画にノイズが多い」や「照明が安定しない」などによりなかなか背景が消えない場合は背景閾値を大きくしてみてください。
通常は背景閾値を0にして被写体が消えにくくなるようにしてください。

・輪郭ぼかし
被写体の輪郭をぼかす度合いを設定します。
主にモヤっとモードで意味を持ちます。

・輪郭サイズ
被写体の輪郭を一回り大きくしたり 小さくします。

【廃止項目】
・ぼかし（時間）
変化量が少ないときはボカし、変化量が大きいときはボカさないよう自動で切り替わります。
これにより 時間方向の平滑化と激しい動きへの追従性の両立ができるようになります。

・背景時間
最短3秒となります。被写体の周辺など条件により自動で長くなります。

・解像度（256、1024）
今回は512x512となります。

５．その他
■シルエット機能
今回から背景透過EXの処理（キリっとモード、幽霊モード）でもシルエット機能が使えるようになりました。


幽霊モードでシルエット機能を使うと陰影も反映されます。
シルエットの色と透明度はサーバー側の設定ファイルで指定できます。

【シルエットの色設定】
AmaRecVRServer.ini
[ImageProcessing]
rw.param_silhouette_color_string=#0000FF7F

６．ダウンロード
・ アマレコVR Ver2.3.3 アルファ版 for Pico4
・アマレコVRサーバー Ver2.21

先日公開した背景透過EXのQuest版です。
内容は Pico版と同じ です。
画像処理2ndシーズンはPico4中心で開発し、Quest版は最後に公開するつもりでしたが背景透過EXの反響が思いのほかあり うれしかったので急きょPico版を移植しました。

Quest1/2の白黒パススルーだと背景透過EXの処理の粗さが目立つ気がします。
また、Quest1だと60fpsを下回ります。
QuestProは買えなかったので、QuestProでどうなるか、そもそも使えるのか気になるところです。


１．更新内容
・アマレコVR Ver2.3.1 for Pico4と同じ
・メイン画面設定で位置設定等ができない不具合を修正



２．ダウンロード
・ アマレコVR Ver2.3.2 アルファ版 for Quest

・アマレコVRサーバー Ver2.21

前回の暗闇透過は黒と比較して透明にするか決めていましたが今回は背景色マップと比較して透明にします。
黒以外に白や複数の色でもある程度対応でき従来の背景透過処理の輪郭部を明瞭にする効果があります。

【背景色マップ】
背景色マップは被写体領域の外周から多く使われている色を調べて、背景に使われている色の分布を作成します。
クロマキー処理では画面全体から1色だけ拾うようになっていますが、背景色マップではエリア毎に背景色を決めますので、画面の上の方が暗くて、下の方は白いなどの場合も対応できます。
小さいエリア毎に特殊なクロマキー処理をする感じです。


・被写体からは色を拾わない
・被写体の周辺を調べる
・被写体から遠いところからは色を拾わない
・被写体のエリアは調べた色から補完する
・各エリアの境界が判らないように最後にぼかす

１．使い方
インストール等基本的な使い方は アマレコVR ver2.1.8 for Pico4 動作確認版 を参照してください。



メイン画面設定の暗闇透過オプションが廃止され、代わりに背景透過EXになります。
背景透過EXは単独では使えません。画像処理の背景透過を選択している時だけ機能します。

画像処理メニューから背景透過を選択し、背景透過EXのチェックボックスをON、背景透過EXの透明度を50、色味補正を0にして背景透過処理が安定するまで（背景画像ができるまで）待ちます。
安定したあと被写体の一部が消えるようなら色味補正を少しずつ上げます。色味補正を上げ過ぎると画質の印象が悪くなるので20程度までで調整してください。
背景が残るようなら背景透過EXの透明度を下げてください。それでも背景が残る場合は「被写体も処理する」をONにしてみてください。

【背景色マップの初期状態】
最初は黒に設定されていますので、黒目や黒髪が透明になります。
徐々に背景画像が作成され被写体領域が判るとその外周から色を拾って正しい背景色マップが作製されます。
この間は黒や被写体から離れたところの色を拾ってしまう為不安定となります（何色が透明になるか不定）。

２．設定
・背景透過EX 透明度
背景の透明度を設定します。100は処理なし。数値を下げると背景を透明にします。50が標準です。

・背景透過EX 色味補正
透明度を補正して不透明にします。被写体の一部が透明になってしまう場合に使います。
0は透明度を補正しません。数値を大きくするほど不透明になります。
※ 数値を大きくすると画質の印象が悪くなります。

・被写体も処理する
OFFの場合は被写体の輪郭領域だけ処理します。
被写体内部の黒目などの透明化を防ぐことができますが、輪郭領域の背景が残りやすくなります。
背景透過処理を単独で使う場合と比べ 僅かに輪郭が明瞭になるメリットがあります。

ONの場合は輪郭領域と被写体領域の両方を処理します。
背景が消えやすく被写体の輪郭がもっとも明瞭になりますが、被写体領域の背景色と近い箇所も透明になってしまいます。

背景透過処理で上手く輪郭をとらえられる場合はOFF
上手く輪郭をとらえられなかったり、被写体が複数など、領域が大きめに取られてしまう場合にON

・背景透過処理の輪郭に関する設定


輪郭ぼかしと輪郭サイズを大きめに設定してください。
被写体領域の外周から背景色を拾う（被写体から色を拾いたくない）ため、輪郭が被写体より一回り大きくなるように設定してください。
また、ぼかしている範囲が輪郭領域として処理対象になります。
解像度の1024は機能しません。256を選択してください。





３．サンプル
ツイッターでサンプル動画を公開しています。
https://twitter.com/amarectv

youtubeで公開しました。


・サンプル動画のオウムじゃない方


被写体の動きが大きく 輪郭をうまくとらえられない例です。
背景透過処理だけだと 実際の被写体より領域が大きくとられてしまうので、被写体も処理するをONにして被写体も含めて背景色を透明にします。
被写体領域も処理対象にしているため 鳥の体の一部も背景色と一致し透明になっている箇所があります。


・サンプル動画オウム


複雑な背景の例です。
被写体の動きが少ないため 従来の背景透過処理だけでもうまく処理できます。
背景透過EXをON、被写体も処理をOFFにすると残っていた背景がわずかに減り、被写体の半透明になっていた部分を不透明にできます。
共にわずかな差ですが 背景透過EXのチェックボックスをON/OFFすれば瞬時に切り替わりますのでどの程度効果があるか確認してみてください。


・白背景の動画（サンプル動画無し）
背景が被写体より白い場合はうまくいきます。
一見白い背景と思う動画でもクリーム色だったりすると 肌色のどこかしらと一致してしまいうまくいきません。
日本のVR動画だと温かみのある絵造りで 背景の白と肌色が近く ほとんどの場合うまくいきません。
海外のVR動画だと刺さるような白背景だったりするので 極めてうまく処理できます。
白背景の場合は 被写体も処理するをONにして ほぼクロマキー合成のように扱うことができます。



４．ダウンロード
・ アマレコVR Ver2.3.1 アルファ版 for Pico4

・アマレコVRサーバー Ver2.21

---

2022.11.18追記
メイン画面設定の位置設定など左右にドラッグして設定する分部が全滅しています。
次のバージョンで直します。それまで、メイン画面の位置に関してはボタン機能に割り当てて調整してください。
・メイン画面の位置XYZ
・アルファマップの拡大、位置

今回はMeta Quest版の公開となります。
内容はオンラインヘルプを用意しましたのでそちらを見てください。
先日公開したPico4版もほぼ同じ内容となっています（未実装部を除く）のでPico4版を使う場合もオンラインヘルプを参照してください。

アマレコVR Ver2.2.0 オンラインヘルプ

初めて利用される方は Ver2.0.0のオンラインヘルプも合わせて見てください。



１．更新内容
【主な更新内容】
・カメラパススルー機能 (Ver2.1.7)
・チャプタ機能
・画像表示機能
・ハンドジェスチャー機能
・マーカー機能強化
・シーク操作の強化
・曲面スクリーン
・アマレコVR Server Ver2.21


２．既存環境からの移行
アマレコVR Server Ver2.00からVer2.13のマーカーファイルやサムネイル画像を引き継ぐ場合は
既存環境からの移行 を参照してください。




３．アマレコVR Ver2.1.8 Pico4版を使っている場合

３．１．Ver2.1.8から更新された内容
【Ver2.1.8から更新された内容】
・画像ファイルを次々表示していると 違う画像が表示されることがあるのを修正
・画質調整画面の「クリア」と「タグ挿入」を修正


３．２．アマレコVR Server Ver2.21
先日公開したPico4版を利用されている方は サーバー側もわずかに更新されています。

【Ver2.20から更新された項目】
・フォルダにグループ番号が表示されてしまうのを修正
・チャプタフォルダに関連するファイルのファイル捜索を修正
・カタログ機能のレイアウトを調整


３．３．サーバーのアップデート
既にアマレコVR Server Ver2.20を使っている場合はAmaRecVRServer.exeとLayout220フォルダを上書きしてください。
Ver2.20とVer2.21の通信プロトコルは同じ（220）ですのでアマレコVRアプリのPico4版とQuest版 両方で使えます。




４．ダウンロード
・ アマレコVR Ver2.2.0 ベータ版
・ アマレコVRサーバー Ver2.21

アルファ3の公開準備を進めていましたが、Oculus Software v34のアップデートが11月4日あたりから始まり、v34にすると（開発者向けの？）パススルー機能が使えなくなっているようです。
私のことろではQuest1だけv34にアップデートされアマレコVRのパススルー機能が使えなくなっています。
v33でパススルー機能を使っている人はv34のアップデートを暫く待った方がいいかもしれません。
アマレコVRのアルファ3は1週間程度様子を見て進展が無いようなら、パススルー非対応（実験版のまま）な状態で公開します。

v34でアプリのパススルー機能を使えている人もいるのかな？
設定項目があるようなニュアンスの発言もあるし、パススルー機能を使えている人がいたらもう少し具体的な情報が欲しい。v34のアップデートも何段階かあって人によって違いが生じているのか、良く判らない状況です。

可能性を列挙すると
・v34でも開発者向けのパススルー機能が使える（不明、私のQuest1では使えていない）
・v34でパススルー機能が正式対応になったけど 対応するアプリはまだない（不明）
・v34でパススルー機能を使うには アプリのmanifestの変更が必要（不明）
・v34に対応した SDKのリリースを待つ必要がある（この可能性が高い）

数日前にOculusのパススルー機能APIが開発者向けに公開されたので、SDKに含まれるサンプルプログラムとメディアプレイヤー機能を組み合わせてみました。

twitter動画



oculus公式
passthrough API
Mixed Reality with Passthrough

サンプルプログラムの説明はフレームシンセシスさんの
「Unity + Oculus Quest 2 開発メモ」へ解り易くまとめられています。



雑感
プライバシーに配慮されているためか カメラの画像がアプリへ渡されてアプリ内の球面スクリーンへ張り付けるのではなく、
Questのシステムの方でアプリの画面とパススルーの画面を合成して表示する仕組みのようです。
そのため 悪意のあるアプリがカメラの画像を勝手に外部サーバーへアップロードすると言ったことはできないようです。

新しいSDK oculus integration v31でAVProによる動画再生ができませんでした。
調査して使えるようにする必要があります。

Oculusストアで公開される一般的なアプリへのパススルー機能の対応は今年後半とアナウンスされているため、まだまだ先になると思われます。
一方、Oculusストアを通さない野良アプリであれば すでに公開および利用可能となっています。
ただし、この場合でも勝手にパススルー機能が使われないよう、 ADBコマンドを使って自己責任でパススルー機能を有効にしてから アプリを起動する必要があります。

Oculus Questのカメラで撮影した周囲の様子を表示する「パススルー機能」のAPIがUnity開発用にリリースされるようです。
Mixed Reality with Passthrough

このAPIによりVR動画と自分の周囲の様子を半透明で合成して 表示できるようになると思われますので楽しみにしていた機能です。