fc2ブログ
 

アマレコVR3 Ver3.0.1 背景ぼかしEX

1.更新内容
・背景ぼかしEX
・AmaRec Playerが90fps、120fpsへ対応
・Y軸回転追加
・SDKをQuest3対応版へ変更

■背景ぼかしEX
背景透過処理の「背景ぼかし」オプションを更新しました。
被写体と背景を別々のスクリーンへ投影します。
それぞれ位置(距離)が異なるので3D効果が得られます。

※ Quest2では60fpsの維持ができません。
(Quest2では 3K60fps、輪郭0、パススルーOFF、60Hz、ハンドジェスチャーをQuestの設定で無効にする でなんとかといったところです)


■AmaRec Playerが90fps、120fpsへ対応
Quest2で120fps
Quest3で90fpsと120fpsの動画に対応しました。
詳しくは下記を参照してください
アマレコVRでの90fps 120fps動画の再生について


■Y軸回転追加
パススルー映像とVR動画の横の位置関係を調整するのに使います。
以下の3つを追加しています。
・コンソール画面の下方にホームポジションのY軸回転(全体を横に調整する)
・メイン画面設定にメイン画面のY軸回転(メイン画面だけ調整する)
・ボタン機能にメイン画面の「[Drag] 正面リセット : 向き 横」(ドラック操作で直接調整する)



2.ダウンロード
ダウンロードページ


アマレコVRでの90fps 120fps動画の再生について

サンプル動画(krkr.zip)を作ってテストしてみました。
ダウンロードページ


アマレコVR3 Ver3.0.0およびVer3.0.1で内臓ストレージに保存したサンプル動画を再生して目視で確認

アマレコVR3
ディスプレイ動画Ver3.0.0Ver3.0.1
Quest2Quest3Quest2Quest3
60Hz30fps非対応非対応
60fps非対応非対応
72Hz72fps
90Hz90fps
120Hz60fps
120fps


現状Quest3は60Hzを受け付けない

△60Hz30fpsおよび120Hz60fps(動画fpsの整数倍のリフレッシュレート)
動いている物体の輪郭がぼやけたり二重に見える(60fpsの動画なら 120Hzより60Hzのほうが映像としては良いのではないか)

120fpsの動画は再生する能力がないとおもわれる(タイミングが取れない 98fpsくらいが限界?)
アマレコVR3 Ver3.0.1で120fpsの動画に対応しました。


90Hz90fpsはQuest2であれば問題ないように思います。
Quest3ではなぜか80fps強までしか出ない。映像はガクガク、音声ともずれる。
アマレコVR3 Ver3.0.1でQuest3の90fpsの動画再生に対応しました。


アマレコVR3 Ver3.0.0はQuest3に対応する前のSDKで開発しています。
SDKをQuest3に対応したものに差し替えれば解決ならいいけど、それ以外の原因だと対応は難しいかもしれません。


追記 2023.10.26
SDKの更新では改善されませんでした。
AmaRec Playerのタイミング調整を修正して対応しました。
Ver3.0.1は週末の公開を予定しています。





アマレコVR3 Ver3.0.0 背景透過V3 公開

Meta Quest3用に開発していた背景透過処理のアルファ版になります。
SoCの性能向上を念頭にPCのPaythonでテストしていましたが、諸般の事情から今回はPython版の半分程度の実装でまとめました。半分程度ですが背景透過V3の効果を十分体験していただける内容となっています。

000motionmap_v3.png


1.更新内容
画像処理が背景透過V3になりました。
ほかに更新はありません。
アマレコVRサーバーの更新はありません。Ver2.21をご利用ください。

100setting_image_processing.png



2.使い方
インストール等 基本的な使い方はオンラインヘルプを参照してください。
アマレコVR Ver2.0.0 オンラインヘルプ
アマレコVR Ver2.2.0 オンラインヘルプ

既存のアマレコVRとは異なるアプリ「アマレコVR3」としてインストールされますので既存のアマレコVRと共存することができます。




2.1.背景透過処理の使い方
(1) メインプレイヤーでVR動画を再生
(2) メイン画面設定のポジトラON、パススルーON、スケールを被写体の距離(50cmから100cm程度)に調整
(3) 画像処理で「背景透過v3」を選択
(4) 動きのない背景が徐々に消えていきます

人物が小さく感じる場合は メイン画面設定のステレオ調整を+10や+20に増やしてください。
通常の視聴に戻す場合はもう一度「画像処理v3」を押すか「無効」ボタンを押してください。

200setting_v3.png


【プレイヤーの選択】
アマレコVRの設定画面のプレイヤー設定でAmaRec Playerを選択してください。
(初期値でAmaRec Playerになっています)
AVProでは使えません。

【ディスプレイ周波数】
背景透過処理を使う場合は Questの処理能力的にぎりぎりになりますので、リフレッシュレートを最も低く設定してください。
アマレコVRの設定画面のデバイス設定でディスプレイ周波数を次のように設します。

Quest3 72Hz
Quest2 60Hz
(初期値で60Hzとなっています、Quest3では60Hzに対応していないため 60Hzに設定した場合72Hzで動作します)




2.2.そのほか
・背景画像がおかしくなってしまった場合は 「クリア」ボタン
背景透過V3に画像処理メニューはありません。
Ver3.0.2で輪郭サイズの設定が追加されました。
・観たい箇所が凄い下にあるなど視聴しにくい、または背景透過で消えてしまう場合は サブカメラで小窓に写すことができます。
・パススルーに飽きたら、サードプレイヤーで2D動画を再生して メインプレイヤーの登場人物と一緒に映画鑑賞するなど 他のコンテンツと併せて使ってください。
パススルー機能と集約されていますが パススルーやVRコンテンツはどうしても飽きると思うので VR動画の背景を透明にして2D動画をメインに視聴することをお勧めします。
・背景透過V3の背景をボカスをONにすると被写体はくっきり、背景はぼんやりにできます。背景透過が上手くいけば被写体が際立って今まで観てきたVR動画の印象が変わります。
Ver3.0.1で背景ぼかしEXになりました。

2.3.未実装
今回の背景透過V3は未実装な部分があるため次の点に留意してください。

・被写体周辺の背景画像を作成できません
部屋に誰もいない状況から再生するか、被写体が適度に動いて 背景を見せてくれる動画で利用してください。
Ver3.0.2で対応しました。

・画面の端で被写体が見切れるようなシーンが数秒間続くと うまく処理できません
VRカメラへ被写体が近づく場面では 被写体が消えやすいです。

・OU(TB)には対応していません
2DまたはSBS(サイド・バイ・サイド)で使ってください。
Ver3.0.2で対応しました。


3.設定
■背景時間
背景時間を作成する判定時間を設定します。
5なら最低5秒間変化のなかった領域を背景とします。
数値が小さいほど早く背景画像を作成できますが、動きの少ない被写体を背景と誤認する可能性が高まります。
被写体が消えやすい場合は 時間を長めに設定して下い。
通常3秒から5秒くらいで設定してください。
初期値 3秒

■背景閾値
背景を判定する閾値を設定します。
大きくすると背景と判定されやすくなり 早く背景画像を作成できますが、被写体を背景と誤認する可能性が高まります。
背景がなかなか消えない場合は大きめに、被写体が消えやすい場合は小さめに設定してください。
通常10%から20%くらいで設定してください。
初期値 20%

■輪郭調整
輪郭を調整します。
0または 10から20くらいで設定してください。
0以外では負荷が高くなります。
初期値 0 (輪郭調整なし)

■背景透過V3メニュー
v3menu.png

輪郭サイズの設定ができます。
1が標準です。
白い背景の場合などで輪郭が目立つ場合に 輪郭サイズを2や3に設定して小さくしてください。



4.背景透過処理について(動作原理)
背景透過処理は再生中の動画をリアルタイムで解析し背景を透明にすることができます。
動画の動かない部分から背景画像を作成し、背景画像と現在の画像の一致する部分を透明にすることで実現します。

400motion_map.png
背景透過V3 Python版


4.1.適用条件
背景透過処理はVR動画を想定してデザインされていますので、以下の条件を満たす動画で利用してください。

(1) 背景が完全に止まっている(固定カメラで撮影されている)
(2) 被写体は適度に動いている
(3) 照明が安定している(太陽光はNG)
(4) 背景と被写体のコントラスが高い (同じ色や 同じ明るさだと区別できません)
(5) 壁等から被写体が離れていて 影ができない
(6) 被写体が画面端までいかない(カメラに近づきすぎない 画面の大半を被写体が覆わない)


4.2.背景画像作成処理について
縦横16分割した領域(いまのところ1つの領域は32x32画素)ごとに処理する「エリア処理」と
従来の画素単位で処理する「ピクセル処理」の2つにより背景画像を作成します。

■エリア処理
エリア処理は大きな領域(多くの情報)で判断するため ピクセル処理より正確な判断が可能となっています。そのため短い時間で判断しても高い信頼性が得られます。
一方、エリア内に被写体が含まれていると そのエリアの背景画像を作ることができないデメリットがあります。
また、エリア処理はエッジ画像で判定するため 色の変わる照明の影響を受けにくい特徴があります。
壁や天井の色が変わっても輪郭に変化がなければ「変化なし」と判断されます。

410area_map_20231019002922209.png
エリア処理の様子


■ピクセル処理
ピクセル処理は逆に信頼性が低い(少ない情報で判断する)ため時間をかけてじっくり背景画像を作成します。
時間はかかりますが被写体の近くまで背景画像を作ることができます。


4.3.背景透過V3 Ver3.0.0
twitterで公開したオウムのサンプル動画(背景透過V3 Python版)では両方の処理を行っていますが
今回のVer3.0.0ではQuest3の処理能力の関係からエリア処理のみとなっています。
そのため 被写体周辺に四角い領域が残ってしまいます。

411area_map_v300_20231019002920ce0.png 411area_map_v302.png
左:Ver3.0.0 エリア処理のみ            右:Ver3.0.2 エリア処理とピクセル処理

被写体の居ない部屋からはじまる動画を視聴するか、被写体が適度に動いて背景をちゃんと見せてくれるような動画で使って下さい。
Ver3.0.2でピクセル処理を実装しました。被写体の居る状態から再生しても少しずつ背景を消すことができます。


4.4.処理能力(パフォーマンス)について
背景透過V3はQuestの処理能力的にギリギリで動作しています。
そのためアマレコVRの様々な機能と併用すると処理が間に合わなくなる場合があります。
(処理が間に合わないと トラッキングが一瞬固まるなどの症状が発生します)

■Quest3
8KのVR動画+背景透過V3(輪郭調整なし)+パススルーで 72fpsぎりぎりOK
4KのVR動画+背景透過V3(輪郭調整あり)+パススルーで 72fpsすこし余裕
4KのVR動画+背景透過V3(輪郭調整なし)+パススルー+サブカメラ+3rdプレイヤーで 72fpsすこし余裕

8Kの動画再生、輪郭調整、パススルー機能はそれぞれ負荷が大きく 同時に使うと72fpsを下回ります。

■Quest2
Quest2では4KのVR動画でも背景透過V3を使うと50fps程度となります。動作はしますがfpsの低下にご留意ください。



4.5.そのほか
・事前に準備する必要はありません
・高性能なPCは必要ありません
・Meta Quest3またはQuest2単体でも利用できます
・処理はすべてリアルタイムで行われます
・AIはまだ使っていません
・100本程度VR動画を試せば数本、または数シーン これなら使ってもいいかなと思える打率です



5.ダウンロード
ダウンロードページ


 
 
あまラボへようこそ
このブログでは自作ソフトの最新情報やtips、PC動画に関する話題を掲載していきます。各記事へは下にあるカテゴリからアクセスして下さい。

ファイルのダウンロードはホームページの方でお願い致します。

質問・要望・不具合報告はこちら
アマレコTV
アマミキ!
アマレココ
アマレコ・ライト
ファンタジーリモート
AMVコーデック



ホームページ
カテゴリ
最新コメント
カレンダー
09 | 2023/10 | 11
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 31 - - - -
最新記事
最新トラックバック
ブログ内タグ

アマレコTV ビデオキャプチャ アマレコVR AMVコーデック Oculus アマレココ Quest アマミキ! コーデック gQuest SC500 動画配信 Pico GO ファンタジーリモート 4K アマレコライト Unity プラグイン G2 AMV4 oculus SC512 ライブ機能 パススルー機能 Passthrough デスクトップキャプチャ AVX2 リモートソフト FAQ アセット機能 質問コーナー DirectShow HDキャプチャ ニコニコ動画 Asset 120Hz 背景透過 レゴ 遅延 解説動画 組み換え 可変再生速度 MetaQuest LEGO Quest3 Meta VR XL2420T GV-USB2 2 Pico4 背景透過V3 アマステ 液晶モニター デインターレース ベンチマーク 倍速液晶 Pro VRonVR AMV2MT MonsterX3A Intensity PS4 VideoKeeper2 designs インストール Alternate AVX XCAPTURE-1 RDT233WX-Z GV-USB SD-USB2CAP4 31024 32ZP2 31006 ffmpeg 画像処理 60fps Robust Matting RGBキャプチャ Rift Video Shadow Play WindowsMR RYZEN UtVideo T2 HDMI NVEnc HDCP QSV LameACM OBS 音遅延 MP3 Haswell 電源オプション 録画 MonsterXU3.0R オーバーレイ XCapture-1 Kabelake 音ズレ フィギュア ハイパースレッディングテクノロジー HT 31021 MPC 液晶テレビ DirectShowFilter プレビュー 擬似NTSCキャプチャ SD-USB2CUP4 Livetube AtomでHDキャプチャ キャプチャーツール シンクライアント イベント IntensityPro DC-HD1 額縁遅延 REGZA ZP3 倍速補完処理 32ZP32 SSE リプレイ機能 モノステ 倍速駆動 ゲームスムーズモード Preferred Hand Tracking 2.0 ハンドジェスチャー SkyBox ファイルマネージャプラス API python pytorch パカラーススルー機能 AssetBundle アルファ付きVR動画 RVM AI XML アルファ付き動画 クロマキー 物理処理 download ダウンロード APIパススルー機能 passthrough Filter Tweaker SteamVR VR動画 LAVFilters GPU使用率 GV-USB3 キャプチャカード 可逆圧縮 フレーム間圧縮 VRコントローラー AMPlayer 60Hz 検証 新プレイヤー機能 新アマレコVR MR Windows 90Hz SKnet 

ブログ内検索
月別アーカイブ
アマレココに関するリンク
お世話になっているソフトのリンク
RSSリンクの表示
管理画面
  • 管理画面