fc2ブログ
 

アマレコVR Ver2.3.3 for Pico4 アルファ版 背景透過V2

今回は背景透過処理自体をアップデートし背景透過V2となりました。


1.更新内容
【主な更新内容】
・背景透過処理が背景透過V2になりました
・画像処理のシルエット機能が背景透過EXへ対応しました
・ボタン機能でVRコントローラーのBボタン以外でも「戻る」を選択できるようになりました
・メイン画面設定で位置設定等ができない不具合を修正



【背景透過V2】
・時間方向の平滑化と激しい動きへの追従性を両立しました
・被写体周辺の背景画像も作成するようになりました
・動きの少ない被写体が消え難くなりました
・複数の被写体が一塊になり難くなりました
・マスクパターン整形処理を改善(解像度512x512、エッジ画像等)
・背景透過率
・背景透過EXを3つのモードで整理しました



2.使い方
インストール等基本的な使い方は アマレコVR ver2.1.8 for Pico4 動作確認版 を参照してください。


2.1.背景透過V2
メイン画面設定の画像処理に関する設定項目が変更されました。
mainscreen_setting_2022122622412505d.png


(1) VR動画を再生、メイン画面設定のポジトラON、パススルーON、スケールを被写体の距離(50cmから100cm程度)に調整
(2) 画像処理▽メニューから「背景透過」を選択
(3) 背景透過モードで「モヤっと」を選択
(4) 動きの少ない背景が徐々に消えてきます

なかなか背景が消えないようなら背景透過率を100から下げてみてください(50から80あたりで調整)。



3.背景透過モード
今までは背景透過処理と背景透過EXで構成されていましたが、今回から統合し3つのモードに整理されました。

youtubeサンプル動画


■モヤっとモード
被写体の輪郭をぼかして合成します。
多くの場合で欠点が目立たず、且つ簡単に使えるため このモードを中心に使ってください。
背景透過率で背景に使われている色に近いものを透明にすることができます。通常は100に設定しますが、なかなか背景が消えない場合は50くらいまで下げてみてください。
このモードに「輝度補正」と「色補正」はありません。
画像処理メニューの輪郭ぼかしの設定でぼかす度合いを調整できます。

■キリっとモード
輪郭を鮮明にし合成します。
背景に使われている色が特定しやすいこと、背景の色と被写体の色が明確に区別できることが重要となりますので、使える場面は限られます。
暗がり動画、完全な白背景、クロマキー映像のように背景が単色に近いもので効果を発揮します。

被写体の輪郭部が半透明になってしまう場合は「輝度補正」と「色補正」を0から上げることで不透明にできます。
背景が消えつつ、被写体が消えないように調整してください。
もしくは画像処理メニューから輪郭サイズを一回り大きくしてみてください。

ドット感(処理解像度の低さ)が目立つ場合も「輝度補正」と「色補正」を0から上げてみてください。

※ 輝度補正を100にしても背景透過EXの処理が無効になることはありません。
※ 色補正の数値を上げても画質が悪い印象になることはありません。

■幽霊モード
最も背景を消せて、且つ、輪郭を鮮明にすることができますが、被写体も半透明になります。
キリっとモードが背景を消しつつ、被写体が消えないように働くのに対し、幽霊モードは背景色に近いものを問答無用で透明、半透明にします。
暗がり動画、完全な白背景、クロマキー映像のように背景が単色に近いもので効果を発揮します。



4.設定項目
・画像処理▽メニュー
画像処理に関するメニューを表示します。

・背景透過モード 「モヤっと」、「キリっと」、「幽霊」
上記 背景透過モード参照

・クリア
画像処理で使う背景画像等をクリアします。

・背景確認
動作確認のために背景画像等を表示します。

・画像処理パラメータ「背景透過率」、「輝度補正」、「色補正」
上記 背景透過モード参照


■画像処理メニュー(背景透過処理)
「背景透過」を選択すると背景透過処理に関する設定ができるようになりますが、基本的には初期値(def)のまま使ってください。
image_menu_20221226224127fa3.png

・背景閾値
背景画像を作る際の閾値を設定します。
数値を上げると背景画像が作りやすくなります(背景が消えやすくなります)。
その代り動きの少ない被写体も背景と判断されやすくなり消えてしまいます。

「動画にノイズが多い」や「照明が安定しない」などによりなかなか背景が消えない場合は背景閾値を大きくしてみてください。
通常は背景閾値を0にして被写体が消えにくくなるようにしてください。

・輪郭ぼかし
被写体の輪郭をぼかす度合いを設定します。
主にモヤっとモードで意味を持ちます。

・輪郭サイズ
被写体の輪郭を一回り大きくしたり 小さくします。


【廃止項目】
・ぼかし(時間)
変化量が少ないときはボカし、変化量が大きいときはボカさないよう自動で切り替わります。
これにより 時間方向の平滑化と激しい動きへの追従性の両立ができるようになります。

・背景時間
最短3秒となります。被写体の周辺など条件により自動で長くなります。

・解像度(256、1024)
今回は512x512となります。




5.その他
■シルエット機能
今回から背景透過EXの処理(キリっとモード、幽霊モード)でもシルエット機能が使えるようになりました。
image_menu_silhouette.png

幽霊モードでシルエット機能を使うと陰影も反映されます。
シルエットの色と透明度はサーバー側の設定ファイルで指定できます。

【シルエットの色設定】
AmaRecVRServer.ini
[ImageProcessing]
rw.param_silhouette_color_string=#0000FF7F





6.ダウンロード
アマレコVR Ver2.3.3 アルファ版 for Pico4
アマレコVRサーバー Ver2.21



アマレコVR Ver2.3.1 for Pico4 アルファ版 背景透過EX

前回の暗闇透過は黒と比較して透明にするか決めていましたが今回は背景色マップと比較して透明にします。
黒以外に白や複数の色でもある程度対応でき従来の背景透過処理の輪郭部を明瞭にする効果があります。

【背景色マップ】
背景色マップは被写体領域の外周から多く使われている色を調べて、背景に使われている色の分布を作成します。
クロマキー処理では画面全体から1色だけ拾うようになっていますが、背景色マップではエリア毎に背景色を決めますので、画面の上の方が暗くて、下の方は白いなどの場合も対応できます。
小さいエリア毎に特殊なクロマキー処理をする感じです。
bkg_colormap.png

・被写体からは色を拾わない
・被写体の周辺を調べる
・被写体から遠いところからは色を拾わない
・被写体のエリアは調べた色から補完する
・各エリアの境界が判らないように最後にぼかす





1.使い方
インストール等基本的な使い方は アマレコVR ver2.1.8 for Pico4 動作確認版 を参照してください。

mainscreen_setting_2022111700432087b.png

メイン画面設定の暗闇透過オプションが廃止され、代わりに背景透過EXになります。
背景透過EXは単独では使えません。画像処理の背景透過を選択している時だけ機能します。

画像処理メニューから背景透過を選択し、背景透過EXのチェックボックスをON、背景透過EXの透明度を50、色味補正を0にして背景透過処理が安定するまで(背景画像ができるまで)待ちます。
安定したあと被写体の一部が消えるようなら色味補正を少しずつ上げます。色味補正を上げ過ぎると画質の印象が悪くなるので20程度までで調整してください。
背景が残るようなら背景透過EXの透明度を下げてください。それでも背景が残る場合は「被写体も処理する」をONにしてみてください。


【背景色マップの初期状態】
最初は黒に設定されていますので、黒目や黒髪が透明になります。
徐々に背景画像が作成され被写体領域が判るとその外周から色を拾って正しい背景色マップが作製されます。
この間は黒や被写体から離れたところの色を拾ってしまう為不安定となります(何色が透明になるか不定)。




2.設定
・背景透過EX 透明度
背景の透明度を設定します。100は処理なし。数値を下げると背景を透明にします。50が標準です。

・背景透過EX 色味補正
透明度を補正して不透明にします。被写体の一部が透明になってしまう場合に使います。
0は透明度を補正しません。数値を大きくするほど不透明になります。
※ 数値を大きくすると画質の印象が悪くなります。

・被写体も処理する
OFFの場合は被写体の輪郭領域だけ処理します。
被写体内部の黒目などの透明化を防ぐことができますが、輪郭領域の背景が残りやすくなります。
背景透過処理を単独で使う場合と比べ 僅かに輪郭が明瞭になるメリットがあります。

ONの場合は輪郭領域と被写体領域の両方を処理します。
背景が消えやすく被写体の輪郭がもっとも明瞭になりますが、被写体領域の背景色と近い箇所も透明になってしまいます。

背景透過処理で上手く輪郭をとらえられる場合はOFF
上手く輪郭をとらえられなかったり、被写体が複数など、領域が大きめに取られてしまう場合にON

・背景透過処理の輪郭に関する設定
mainscreen_menu.png

輪郭ぼかしと輪郭サイズを大きめに設定してください。
被写体領域の外周から背景色を拾う(被写体から色を拾いたくない)ため、輪郭が被写体より一回り大きくなるように設定してください。
また、ぼかしている範囲が輪郭領域として処理対象になります。
解像度の1024は機能しません。256を選択してください。





3.サンプル
ツイッターでサンプル動画を公開しています。
https://twitter.com/amarectv


youtubeで公開しました。


・サンプル動画のオウムじゃない方
sample_a.png

被写体の動きが大きく 輪郭をうまくとらえられない例です。
背景透過処理だけだと 実際の被写体より領域が大きくとられてしまうので、被写体も処理するをONにして被写体も含めて背景色を透明にします。
被写体領域も処理対象にしているため 鳥の体の一部も背景色と一致し透明になっている箇所があります。


・サンプル動画オウム
sample_ohmu.png

複雑な背景の例です。
被写体の動きが少ないため 従来の背景透過処理だけでもうまく処理できます。
背景透過EXをON、被写体も処理をOFFにすると残っていた背景がわずかに減り、被写体の半透明になっていた部分を不透明にできます。
共にわずかな差ですが 背景透過EXのチェックボックスをON/OFFすれば瞬時に切り替わりますのでどの程度効果があるか確認してみてください。


・白背景の動画(サンプル動画無し)
背景が被写体より白い場合はうまくいきます。
一見白い背景と思う動画でもクリーム色だったりすると 肌色のどこかしらと一致してしまいうまくいきません。
日本のVR動画だと温かみのある絵造りで 背景の白と肌色が近く ほとんどの場合うまくいきません。
海外のVR動画だと刺さるような白背景だったりするので 極めてうまく処理できます。
白背景の場合は 被写体も処理するをONにして ほぼクロマキー合成のように扱うことができます。



4.ダウンロード
アマレコVR Ver2.3.1 アルファ版 for Pico4

アマレコVRサーバー Ver2.21




2022.11.18追記
メイン画面設定の位置設定など左右にドラッグして設定する分部が全滅しています。
次のバージョンで直します。それまで、メイン画面の位置に関してはボタン機能に割り当てて調整してください。
・メイン画面の位置XYZ
・アルファマップの拡大、位置



アマレコVR ver2.1.8 for Pico4 動作確認版

未実装部分が多々あるのとドキュメントはありませんが、内容はVer2.2.0として公開予定のものと同じフルスペック版です。
VR動画視聴、カラーパススルー機能など基本的な部分が使えるようになりましたので動作確認版として公開します。
アマレコVRの使い方をマスターされている方が対象となります。


主な未実装
・ハンドジェスチャーはページめくりとUI表示のみ動作します。他はPICO4の仕様との兼ね合いで使えないかもしれません
・ハンドトラッキングは表示のみ(操作は不可)
・音量ボタンへの機能割り当てはできません
・Bluetoothマウスはつかえません
・ランダム再生は未実装です
・VRコントローラーは右のみ最初のネットワーク設定ができるように簡易実装しましたが、基本的にはPCマウスを使ってください
・スタンドアローンモードでは動画の再生以外ほとんどできません アマレコVRサーバーを必ず使って下さい
・サムネイルを使う場合はFFMPEGを必ず導入してください


既知の不具合
・画像ファイルを次々表示していると 違う画像が表示されることがある
・フォルダにグループ番号が表示されてしまう
・初期設定後サムネイルが自動で作成されないことがある(アプリ再起動かリロードで作成されるようになる)
・シークバーへサムネイルを表示すると アマレコVRが落ちやすくなる
・wavファイルを最後まで再生すると雑音が鳴る



インストール
PICO4のファイルマネージャからapkファイルを選択してインストールできます。
apk2.jpg


アンインストール
PICO4のアマレコVRアプリの横にある・・・からアンインストールできます。


アマレコVR Ver2.0.0 オンラインヘルプ
http://www.amarectv.com/amarecvr2/manual.html
http://www.amarectv.com/amarecvr2/manual/ver220/ver220.html

実行方法
ライブラリの不明アプリからAmaRecVR2を実行できます。
application.jpg


アマレコVRサーバーの運用について
AmaRecVRServer220.zipを解凍してできるフォルダをまるごと使って新規に運用してください。
過去のバージョンから以下の設定ファイルをコピーして設定を引き継げます。
なお、すでに運用しているアマレコVRサーバーへ exeファイルをコピーして運用した場合、元のバージョンへ戻せなくなりますのでお勧めしません。

・AmaRecVRServer.ini(設定ファイル)
・拡張子vrlのファイル(プレイリスト、お気に入りリストなど)
・TagList.txt(タグリスト)
・WordList.txt(ワードリスト)


初期設定
PICO4本体の設定
・ラボにある90Hzリフレッシュモードをonにする
・開発者オプションを有効にする
・開発者オプションからハンドトラッキングを有効にする

サーバー側の設定
・サムネイルを使う場合は必ずFFMPEGを導入してください。
アマレコVRオンラインヘルプ「FFMPEGを導入する」

アプリ側の設定
・ネットワーク設定
・デバイス設定のリフレッシュレートを90Hzにする
・デバイス設定のeyeTextureResolutionScaleを2くらいにしてもいいかもしれない(1.5はほぼディスプレイ解像度と同じなので 一回り大きくする)



リフレッシュレートについて
PICO4の設定のラボにある90HzリフレッシュモードをonにするとアマレコVRの設定で72Hzと90Hzの切り替えができるようになります。

90hz.jpg

PICO4の90Hzリフレッシュモードがoffの場合はアマレコVRで何を選択しても72Hzでしか動作しません。
大抵の動画は30fpsや60fpsなので90Hzで使うことをお勧めします。

device_setting.jpg



ハンドトラッキング、ハンドジェスチャーについて
PICO4自体のハンドトラッキング機能を有効にてください。

PICO4の設定の「一般」にある「デバイス情報」から「ソフトウェアバージョン」の項目を数回クリックすると、「開発者」メニューが追加されます。
再度クリックしていると「開発者」メニューが削除されます。
developer_menu2.jpg


開発者メニューからハンドトラッキングをonにします。
developer_handtracking.jpg


handtracking.png

アマレコVR上のハンドトラッキング機能とハンドジェスチャー機能は別々の機能です。
どちらか一方だけ使ったり、両方同時に使うことができます。
今回ハンドトラッキング機能はグラフィックの表示のみです。
ハンドジェスチャー機能は画像ファイルを表示している場合にページをめくることができます。
コンソール画面の右下にある画像メニューからハンドジェスチャーをonにしたあと各機能を個別にonにしてください。
最初は確認用のUI表示をonにして、操作に慣れてください。
PICO4のハンドトラッキング機能が正式版でないためか 上手く操作できません。
PICO4のハンドトラッキングの精度がMeta Questと同等までいかないと使い物にならないかもしれません。

ハンドジェスチャー



カラーパススルー機能
・メインプレイヤーで固定カメラで撮影されたVR動画を再生する
・メイン画面設定の「ポジトラ」をonにする
・メイン画面設定の「スケール」を カメラから被写体までのおおよその距離に設定する(50cmから100cmくらい)
・メイン画面設定の画像処理メニューから「背景透過」を選択する
・メイン画面設定の「パススルー」をonにする

mainscreen_setting.jpg



ダウンロード
アマレコVR Ver2.1.8 アルファ版 for Pico4
アマレコVRサーバー Ver2.20
アマレコVRサーバー Ver2.21

新しいバージョン アマレコVR Ver2.3.1 が公開されています。


 
 
あまラボへようこそ
このブログでは自作ソフトの最新情報やtips、PC動画に関する話題を掲載していきます。各記事へは下にあるカテゴリからアクセスして下さい。

ファイルのダウンロードはホームページの方でお願い致します。

質問・要望・不具合報告はこちら
アマレコTV
アマミキ!
アマレココ
アマレコ・ライト
ファンタジーリモート
AMVコーデック



ホームページ
カテゴリ
最新コメント
カレンダー
04 | 2023/05 | 06
- 1 2 3 4 5 6
7 8 9 10 11 12 13
14 15 16 17 18 19 20
21 22 23 24 25 26 27
28 29 30 31 - - -
最新記事
最新トラックバック
ブログ内タグ

アマレコTV ビデオキャプチャ アマレコVR AMVコーデック Oculus Quest アマレココ アマミキ! コーデック gQuest SC500 動画配信 Pico GO ファンタジーリモート 4K アマレコライト プラグイン G2 AMV4 oculus Unity SC512 ライブ機能 パススルー機能 デスクトップキャプチャ AVX2 Passthrough FAQ リモートソフト 質問コーナー ニコニコ動画 HDキャプチャ DirectShow 120Hz 背景透過 遅延 可変再生速度 レゴ 解説動画 Meta 組み換え VR LEGO XL2420T GV-USB2 2 アセット機能 液晶モニター 倍速液晶 デインターレース PS4 ベンチマーク アマステ AMV2MT Asset Intensity Pico4 MetaQuest Pro VRonVR MonsterX3A designs VideoKeeper2 AVX Alternate XCAPTURE-1 SD-USB2CAP4 GV-USB インストール RDT233WX-Z 32ZP2 31006 ffmpeg WindowsMR Rift 画像処理 31024 T2 60fps RGBキャプチャ UtVideo Shadow Play RYZEN 電源オプション HDCP Haswell HDMI 音遅延 QSV MonsterXU3.0R LameACM MP3 31021 フィギュア 音ズレ 録画 ゲームスムーズモード HT OBS MPC ハイパースレッディングテクノロジー NVEnc 液晶テレビ DirectShowFilter プレビュー 擬似NTSCキャプチャ SD-USB2CUP4 Livetube AtomでHDキャプチャ キャプチャーツール シンクライアント イベント IntensityPro DC-HD1 額縁遅延 REGZA ZP3 32ZP32 オーバーレイ リプレイ機能 モノステ 倍速駆動 倍速補完処理 キャプチャカード Robust Video Matting API APIパススルー機能 60Hz 検証 passthrough python pytorch ハンドジェスチャー パカラーススルー機能 AssetBundle 2.0 Tracking ファイルマネージャプラス SkyBox Hand AMPlayer 新プレイヤー機能 GPU使用率 LAVFilters Preferred 可逆圧縮 GV-USB3 Kabelake SSE SKnet Filter Tweaker Windows 90Hz 新アマレコVR MR VRコントローラー SteamVR VR動画 フレーム間圧縮 XCapture-1 

ブログ内検索
月別アーカイブ
アマレココに関するリンク
お世話になっているソフトのリンク
RSSリンクの表示
管理画面
  • 管理画面