fc2ブログ
 

アマレコVR3 Ver3.1.0 ユニバーサルエディション

半年くらいかけてAIの研究をしようと思っていましたが国外からのアクセスが増えてきたので急遽マルチランゲージに対応することにしました。
またユーザーによるローカライズも可能となっていますので日本語以外で利用される場合はXMLファイルを使ってローカライズしていただければと思います。


1.更新内容

  • マルチ言語対応
  • サブ,3rdプレイヤーでも滑らかな再生が可能になった
  • ファイル画面にフィルター機能追加
  • 背景透過AI
  • Bluetoothマウス修正
  • ファイル移動等の処理中にファイル画面を閉じると通信がロックされるのを修正
  • リンク機能 廃止
  • TiledMultiResLevel廃止

※ サーバーに変更はありません。

2.説明

マルチ言語対応

日本では設定のLanguageで<Japan>を選択してください(要アプリ再起動)。
language_japan.png
ローカライズ方法はQiitaの記事を見てください。
How To Localize an AmaRecVR



滑らかな再生が可能になった

AmaRec Playerが更新され、同時に複数のプレイヤーを扱えるようになりました。
これにより サブ、3rdプレイヤー共にAVProからAmaRec Playerへ変更したので滑らかな再生が可能となっています。
Meta QuestのExoPlayerを使って60fpsの動画をなめらかに再生する


フィルター機能

filefilter.png
お気に入りリストに動画や画像、音声ファイルが無造作に登録され使いにくくなってきたので
動画ファイルだけ、画像ファイルだけなどフィルタリングできるようにしました。
お気に入りチャンネル以外でも使えますが、多岐にわたるためうまく機能しない場合があるかもしれません。慎重に扱ってください。
ボタンを長押しするとボタンに割り当てるフィルターを変更できます(プリセット)。
ボタンをもう一度押すとフィルターが解除されます。
お気に入りリストではフィルター状態でも項目の移動(一番上とか一つ下とか)が可能です。
この場合表示されている項目の中で一番上になるよう移動します。

以下のフィルターがあります
  • [V] 動画ファイル(拡張子で判断)
  • [A] 音声ファイル(拡張子で判断)
  • [Img] 画像ファイル(拡張子で判断)
  • [Fol] フォルダ
  • [2D] 2D動画(タグで判断)
  • [VR] VR動画(タグで判断)
  • [Fav] お気に入りに登録されているファイル
  • [BM] ブックマークされているファイル


背景透過AI

AIに関してはまだ初期段階で、背景画像を作成するのに使っています。
画像認識AIにより状況に応じて設定値(背景時間)を上げたり、下げたりといった制御を行っています。
背景確認ボタンで確認できます。

AIによる背景判定処理の実験 前編 Python、PyTorch編
AIによる背景判定処理の実験 後編 Meta Quest編

Quest2ではAIが働くと確実に激しい処理落ちが生じます。もしくは余力がなくAIに処理が回ってきません。実質Quest3専用となります。

main_screen_20240405063037f55.png
設定値
背景時間(変更)
背景かどうか判断する判定時間(確定に要する時間)を設定します。
数値が大きいほど長い時間をかけて判断し精度が上がります。
20で使ってください。
簡単に説明するとAIが画像認識により1から設定値の間で自動調整します。設定値を1にするとすべて1(短い時間)で判断することになり精度が下がります。
初期値 20

背景閾値(今までと同じ)
背景を判定する閾値を設定します。
大きくすると背景と判定されやすくなり 早く背景画像を作成できますが、被写体を背景と誤認する可能性が高まります。
背景がなかなか消えない場合は大きめに、被写体が消えやすい場合は小さめに設定してください。
通常10%から20%くらいで設定してください。
初期値 20%

輪郭(今までと同じ)
輪郭を調整します。
今までと同じですが、AIの処理により負荷が増えているので0で使うことをお勧めします。
1以上にすると72fpsを維持できない場合があります。
初期値 0 (輪郭調整なし)

その他

画像処理に関する設定値はすべて初期化されます。クロマキー処理等を使っている場合は再度設定してください。


リンク機能 廃止

ミラー機能を使ってください。


3.ダウンロード

ダウンロードページ


アマレコVR3 Ver3.0.2 背景透過V3 完成版

背景透過V3の実装を一通り終えた完成版となります。
ピクセル処理を実装したので被写体周辺に残った四角いエリアも徐々に消えていきます。
なので、被写体が映ったシーンから再生を開始しても数分視聴しているうちに大体の背景が消えるようになっています。

411area_map_v300_20231019002920ce0.png 411area_map_v302.png
左:Ver3.0.0 エリア処理のみ            右:Ver3.0.2 エリア処理とピクセル処理


1.更新内容
・背景透過V3 実装完了(ピクセル処理など)
・背景透過V3 メニューへ輪郭設定追加
・背景透過V3 OU(Top and Bottom)へ対応


2.使い方
基本的な使い方は下記を見てください
アマレコVR3 Ver3.0.0 背景透過V3 公開
アマレコVR3 Ver3.0.1 背景ぼかしEX




■背景透過V3メニュー
v3menu.png

輪郭サイズの設定ができます。
1が標準です。
白い背景の場合などで輪郭が目立つ場合に 輪郭サイズを2や3に設定して小さくしてください。



3.パフォーマンス
背景透過V3はQuest3でぎりぎり動作するよう調整されています。
8KのVR動画+背景透過V3(輪郭調整なし)+パススルーで 72fpsぎりぎりOK
4KのVR動画+背景透過V3(輪郭調整あり)+パススルーで 72fpsすこし余裕
4KのVR動画+背景透過V3(輪郭調整なし)+パススルー+サブカメラ+3rdプレイヤーで 72fpsすこし余裕

8Kの動画再生、輪郭調整、パススルー機能はそれぞれ負荷が大きく 同時に使うと72fpsを下回ります。

Quest2では4KのVR動画でも背景透過V3を使うと50fps程度となります。動作はしますがfpsの低下にご留意ください。


4.ダウンロード
ダウンロードページ


アマレコVR3 Ver3.0.1 背景ぼかしEX

1.更新内容
・背景ぼかしEX
・AmaRec Playerが90fps、120fpsへ対応
・Y軸回転追加
・SDKをQuest3対応版へ変更

■背景ぼかしEX
背景透過処理の「背景ぼかし」オプションを更新しました。
被写体と背景を別々のスクリーンへ投影します。
それぞれ位置(距離)が異なるので3D効果が得られます。

※ Quest2では60fpsの維持ができません。
(Quest2では 3K60fps、輪郭0、パススルーOFF、60Hz、ハンドジェスチャーをQuestの設定で無効にする でなんとかといったところです)


■AmaRec Playerが90fps、120fpsへ対応
Quest2で120fps
Quest3で90fpsと120fpsの動画に対応しました。
詳しくは下記を参照してください
アマレコVRでの90fps 120fps動画の再生について


■Y軸回転追加
パススルー映像とVR動画の横の位置関係を調整するのに使います。
以下の3つを追加しています。
・コンソール画面の下方にホームポジションのY軸回転(全体を横に調整する)
・メイン画面設定にメイン画面のY軸回転(メイン画面だけ調整する)
・ボタン機能にメイン画面の「[Drag] 正面リセット : 向き 横」(ドラック操作で直接調整する)



2.ダウンロード
ダウンロードページ


アマレコVR3 Ver3.0.0 背景透過V3 公開

Meta Quest3用に開発していた背景透過処理のアルファ版になります。
SoCの性能向上を念頭にPCのPaythonでテストしていましたが、諸般の事情から今回はPython版の半分程度の実装でまとめました。半分程度ですが背景透過V3の効果を十分体験していただける内容となっています。

000motionmap_v3.png


1.更新内容
画像処理が背景透過V3になりました。
ほかに更新はありません。
アマレコVRサーバーの更新はありません。Ver2.21をご利用ください。

100setting_image_processing.png



2.使い方
インストール等 基本的な使い方はオンラインヘルプを参照してください。
アマレコVR Ver2.0.0 オンラインヘルプ
アマレコVR Ver2.2.0 オンラインヘルプ

既存のアマレコVRとは異なるアプリ「アマレコVR3」としてインストールされますので既存のアマレコVRと共存することができます。




2.1.背景透過処理の使い方
(1) メインプレイヤーでVR動画を再生
(2) メイン画面設定のポジトラON、パススルーON、スケールを被写体の距離(50cmから100cm程度)に調整
(3) 画像処理で「背景透過v3」を選択
(4) 動きのない背景が徐々に消えていきます

人物が小さく感じる場合は メイン画面設定のステレオ調整を+10や+20に増やしてください。
通常の視聴に戻す場合はもう一度「画像処理v3」を押すか「無効」ボタンを押してください。

200setting_v3.png


【プレイヤーの選択】
アマレコVRの設定画面のプレイヤー設定でAmaRec Playerを選択してください。
(初期値でAmaRec Playerになっています)
AVProでは使えません。

【ディスプレイ周波数】
背景透過処理を使う場合は Questの処理能力的にぎりぎりになりますので、リフレッシュレートを最も低く設定してください。
アマレコVRの設定画面のデバイス設定でディスプレイ周波数を次のように設します。

Quest3 72Hz
Quest2 60Hz
(初期値で60Hzとなっています、Quest3では60Hzに対応していないため 60Hzに設定した場合72Hzで動作します)




2.2.そのほか
・背景画像がおかしくなってしまった場合は 「クリア」ボタン
背景透過V3に画像処理メニューはありません。
Ver3.0.2で輪郭サイズの設定が追加されました。
・観たい箇所が凄い下にあるなど視聴しにくい、または背景透過で消えてしまう場合は サブカメラで小窓に写すことができます。
・パススルーに飽きたら、サードプレイヤーで2D動画を再生して メインプレイヤーの登場人物と一緒に映画鑑賞するなど 他のコンテンツと併せて使ってください。
パススルー機能と集約されていますが パススルーやVRコンテンツはどうしても飽きると思うので VR動画の背景を透明にして2D動画をメインに視聴することをお勧めします。
・背景透過V3の背景をボカスをONにすると被写体はくっきり、背景はぼんやりにできます。背景透過が上手くいけば被写体が際立って今まで観てきたVR動画の印象が変わります。
Ver3.0.1で背景ぼかしEXになりました。

2.3.未実装
今回の背景透過V3は未実装な部分があるため次の点に留意してください。

・被写体周辺の背景画像を作成できません
部屋に誰もいない状況から再生するか、被写体が適度に動いて 背景を見せてくれる動画で利用してください。
Ver3.0.2で対応しました。

・画面の端で被写体が見切れるようなシーンが数秒間続くと うまく処理できません
VRカメラへ被写体が近づく場面では 被写体が消えやすいです。

・OU(TB)には対応していません
2DまたはSBS(サイド・バイ・サイド)で使ってください。
Ver3.0.2で対応しました。


3.設定
■背景時間
背景時間を作成する判定時間を設定します。
5なら最低5秒間変化のなかった領域を背景とします。
数値が小さいほど早く背景画像を作成できますが、動きの少ない被写体を背景と誤認する可能性が高まります。
被写体が消えやすい場合は 時間を長めに設定して下い。
通常3秒から5秒くらいで設定してください。
初期値 3秒

■背景閾値
背景を判定する閾値を設定します。
大きくすると背景と判定されやすくなり 早く背景画像を作成できますが、被写体を背景と誤認する可能性が高まります。
背景がなかなか消えない場合は大きめに、被写体が消えやすい場合は小さめに設定してください。
通常10%から20%くらいで設定してください。
初期値 20%

■輪郭調整
輪郭を調整します。
0または 10から20くらいで設定してください。
0以外では負荷が高くなります。
初期値 0 (輪郭調整なし)

■背景透過V3メニュー
v3menu.png

輪郭サイズの設定ができます。
1が標準です。
白い背景の場合などで輪郭が目立つ場合に 輪郭サイズを2や3に設定して小さくしてください。



4.背景透過処理について(動作原理)
背景透過処理は再生中の動画をリアルタイムで解析し背景を透明にすることができます。
動画の動かない部分から背景画像を作成し、背景画像と現在の画像の一致する部分を透明にすることで実現します。

400motion_map.png
背景透過V3 Python版


4.1.適用条件
背景透過処理はVR動画を想定してデザインされていますので、以下の条件を満たす動画で利用してください。

(1) 背景が完全に止まっている(固定カメラで撮影されている)
(2) 被写体は適度に動いている
(3) 照明が安定している(太陽光はNG)
(4) 背景と被写体のコントラスが高い (同じ色や 同じ明るさだと区別できません)
(5) 壁等から被写体が離れていて 影ができない
(6) 被写体が画面端までいかない(カメラに近づきすぎない 画面の大半を被写体が覆わない)


4.2.背景画像作成処理について
縦横16分割した領域(いまのところ1つの領域は32x32画素)ごとに処理する「エリア処理」と
従来の画素単位で処理する「ピクセル処理」の2つにより背景画像を作成します。

■エリア処理
エリア処理は大きな領域(多くの情報)で判断するため ピクセル処理より正確な判断が可能となっています。そのため短い時間で判断しても高い信頼性が得られます。
一方、エリア内に被写体が含まれていると そのエリアの背景画像を作ることができないデメリットがあります。
また、エリア処理はエッジ画像で判定するため 色の変わる照明の影響を受けにくい特徴があります。
壁や天井の色が変わっても輪郭に変化がなければ「変化なし」と判断されます。

410area_map_20231019002922209.png
エリア処理の様子


■ピクセル処理
ピクセル処理は逆に信頼性が低い(少ない情報で判断する)ため時間をかけてじっくり背景画像を作成します。
時間はかかりますが被写体の近くまで背景画像を作ることができます。


4.3.背景透過V3 Ver3.0.0
twitterで公開したオウムのサンプル動画(背景透過V3 Python版)では両方の処理を行っていますが
今回のVer3.0.0ではQuest3の処理能力の関係からエリア処理のみとなっています。
そのため 被写体周辺に四角い領域が残ってしまいます。

411area_map_v300_20231019002920ce0.png 411area_map_v302.png
左:Ver3.0.0 エリア処理のみ            右:Ver3.0.2 エリア処理とピクセル処理

被写体の居ない部屋からはじまる動画を視聴するか、被写体が適度に動いて背景をちゃんと見せてくれるような動画で使って下さい。
Ver3.0.2でピクセル処理を実装しました。被写体の居る状態から再生しても少しずつ背景を消すことができます。


4.4.処理能力(パフォーマンス)について
背景透過V3はQuestの処理能力的にギリギリで動作しています。
そのためアマレコVRの様々な機能と併用すると処理が間に合わなくなる場合があります。
(処理が間に合わないと トラッキングが一瞬固まるなどの症状が発生します)

■Quest3
8KのVR動画+背景透過V3(輪郭調整なし)+パススルーで 72fpsぎりぎりOK
4KのVR動画+背景透過V3(輪郭調整あり)+パススルーで 72fpsすこし余裕
4KのVR動画+背景透過V3(輪郭調整なし)+パススルー+サブカメラ+3rdプレイヤーで 72fpsすこし余裕

8Kの動画再生、輪郭調整、パススルー機能はそれぞれ負荷が大きく 同時に使うと72fpsを下回ります。

■Quest2
Quest2では4KのVR動画でも背景透過V3を使うと50fps程度となります。動作はしますがfpsの低下にご留意ください。



4.5.そのほか
・事前に準備する必要はありません
・高性能なPCは必要ありません
・Meta Quest3またはQuest2単体でも利用できます
・処理はすべてリアルタイムで行われます
・AIはまだ使っていません
・100本程度VR動画を試せば数本、または数シーン これなら使ってもいいかなと思える打率です



5.ダウンロード
ダウンロードページ


 
 
あまラボへようこそ
このブログでは自作ソフトの最新情報やtips、PC動画に関する話題を掲載していきます。各記事へは下にあるカテゴリからアクセスして下さい。

ファイルのダウンロードはホームページの方でお願い致します。

質問・要望・不具合報告はこちら
アマレコTV
アマミキ!
アマレココ
アマレコ・ライト
ファンタジーリモート
AMVコーデック



ホームページ
カテゴリ
最新コメント
カレンダー
04 | 2024/05 | 06
- - - 1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31 -
最新記事
最新トラックバック
ブログ内タグ

アマレコTV ビデオキャプチャ アマレコVR AMVコーデック Oculus アマレココ Quest アマミキ! コーデック gQuest SC500 動画配信 Pico GO ファンタジーリモート 4K アマレコライト Unity プラグイン G2 AMV4 oculus SC512 ライブ機能 パススルー機能 Passthrough デスクトップキャプチャ AVX2 リモートソフト FAQ アセット機能 質問コーナー DirectShow HDキャプチャ ニコニコ動画 Asset 120Hz 背景透過 レゴ 遅延 解説動画 組み換え 可変再生速度 MetaQuest LEGO Quest3 Meta VR XL2420T GV-USB2 2 Pico4 背景透過V3 アマステ 液晶モニター デインターレース ベンチマーク 倍速液晶 Pro VRonVR AMV2MT MonsterX3A Intensity PS4 VideoKeeper2 designs インストール Alternate AVX XCAPTURE-1 RDT233WX-Z GV-USB SD-USB2CAP4 31024 32ZP2 31006 ffmpeg 画像処理 60fps Robust Matting RGBキャプチャ Rift Video Shadow Play WindowsMR RYZEN UtVideo T2 HDMI NVEnc HDCP QSV LameACM OBS 音遅延 MP3 Haswell 電源オプション 録画 MonsterXU3.0R オーバーレイ XCapture-1 Kabelake 音ズレ フィギュア ハイパースレッディングテクノロジー HT 31021 MPC 液晶テレビ DirectShowFilter プレビュー 擬似NTSCキャプチャ SD-USB2CUP4 Livetube AtomでHDキャプチャ キャプチャーツール シンクライアント イベント IntensityPro DC-HD1 額縁遅延 REGZA ZP3 倍速補完処理 32ZP32 SSE リプレイ機能 モノステ 倍速駆動 ゲームスムーズモード Preferred Hand Tracking 2.0 ハンドジェスチャー SkyBox ファイルマネージャプラス API python pytorch パカラーススルー機能 AssetBundle アルファ付きVR動画 RVM AI XML アルファ付き動画 クロマキー 物理処理 download ダウンロード APIパススルー機能 passthrough Filter Tweaker SteamVR VR動画 LAVFilters GPU使用率 GV-USB3 キャプチャカード 可逆圧縮 フレーム間圧縮 VRコントローラー AMPlayer 60Hz 検証 新プレイヤー機能 新アマレコVR MR Windows 90Hz SKnet 

ブログ内検索
月別アーカイブ
アマレココに関するリンク
お世話になっているソフトのリンク
RSSリンクの表示
管理画面
  • 管理画面