fc2ブログ
 

液晶テレビの倍速補間処理による遅延について

前回は液晶テレビ・液晶モニター(以下液晶テレビと表記します)の倍速駆動における遅延について説明しました。
今回は倍速駆動と一緒に使われる倍速補間処理(補間処理)の遅延について説明します。 前回の記事「倍速液晶が0.5フレーム遅延するのはどうして? 」と合わせて見てください。



1.概要
倍速液晶のメリットは残像を軽減させたり動きを滑らかにすること(代償として遅延は増える)とされていますがその効果をもたらすのが倍速補間処理です。なので倍速液晶は倍速駆動と倍速補間処理の2つの要素から構成されるのが普通となっています。
しかし、倍速補間処理を行うと大抵の製品で大きな遅延(大抵2フレーム以上、4フレームとかもざらだと思います)が生じてしまうため、ゲームなどのプレイには向かず遅延を抑えたいゲームモードなどは倍速補間処理を行わないのが一般的です(倍速駆動は行うけど倍速補間処理は行わない)。

そんななか東芝のREGZA ZP3などは倍速補間処理を行っても遅延を少なくできるとアピールされており具体的な数値も東芝のサイトに記載されているので、そのあたりについて私なりに考えてみました。

倍速補完01_概要 
図1 倍速補間処理の概要図

今回は横方向に時間をとっています。大文字のA、B、C・・・は60Hzのビデオ信号が液晶テレビに入力されるタイミングを表していてAは1フレーム目の画像、Bは2フレーム目の画像です。
小文字のaやbは入力された画像をそのまま倍の速さで表示することを表しています。図では横軸が時間なので大文字のAやBに比べ横幅が半分になります。
倍速補間処理は様々な方法があると思いますがここでは1フレーム目の画像Aと2フレーム目の画像Bの2つの画像をもとに中間の画像を生成する処理を想定し、図ではa+bと表記します。

倍速補間処理ではa,a+b,b,b+c・・・と入力された画像と補間した画像が交互に表示されることで動きを滑らかにしたり残像を軽減する効果が得られるとされています。
ちなみに倍速補間処理なしの場合の倍速駆動はa,a,b,b,・・・と同じフレームを2回ずつ表示するように動作します。「二度ふり」とか「フレームコピー」と呼ばれていて、動作としては60Hz駆動と変わらないため動きが滑らかになったり、残像が軽減されることはなく、遅延が増えるデメリットがあるだけです。



2.倍速補間処理の遅延について
倍速補完02_遅延その1 
図2 遅延を考慮した倍速補間処理その1

前回の記事で説明したように倍速補間処理でも基本はビデオ信号の入力が終わってから処理を開始しその後、表示となります。 ただしビデオ信号の入力が完全に終わらなくても途中で追い越さないようギリギリのタイミングで処理することができますのでaやbはそれぞれのビデオ信号の入力から0.5フレーム遅らせることで表示可能です。
一方a+bはBのビデオ信号の入力から0.5フレームおくらせないと表示することができません。
さらにa+bとbが同じタイミングになってしまうので、bはさらに0.5フレーム遅らせる必要がでてきます。

このように各処理が入力されるビデオ信号を追い越さないよう制御しつつ、また、各フレームが重ならないよう
スケジューリングすると最終的に図3となります。

倍速補完03_遅延その2 
図3 遅延を考慮した倍速補間処理その2

以上のことから1.0フレーム遅らせて表示するのが倍速補間処理を行った際の最小遅延となります。
これは前後のフレームを参照するタイプの補完処理において絶対に1フレーム以下の遅延で表示することはできないことを意味します。



3.REGZA ZP3のゲームスムーズモードについて
REGZA ZP3(以下ZP3)では倍速補間処理を行いつつ遅延を抑えたモードとして「ゲームスムーズモード」というのが用意されており東芝のサイトで次のように解説されています。
なお、東芝のサイトではa,a,b,b,c,c,と単純なフレームコピーについても倍速補間と呼んでいますのでその点は注意して下さい。私が言う倍速補間処理は東芝のサイトではゲームスムーズモードに該当します。

『ドラゴンズドグマ』公認テレビ〈レグザ〉。圧倒的な映像美の魅力に迫る
「ゲームダイレクトのモードは0.7フレーム遅延。ZP3だけ、ゲームスムーズモードがありまして、1.3フレーム遅延ですね。」
「ZP3では補間フレームを入れながら低遅延を実現しました。ゲームスムーズというモードを入れて、その場合は、プラス0.5フレーム遅延はさらに大きくなる、それは理論的にそうしないとできないということなので、ほぼ理論限界に近い低遅延を実現できているかなと思います。 」

これを私なりに解釈すると
・ゲームダイレクトモードは倍速駆動(0.5遅延)+補間処理なしで全体の処理遅延0.7フレーム。
・ZP3のゲームスムーズモードは倍速駆動(0.5遅延)+補間処理(0.5遅延)で全体の処理遅延1.3フレーム。
・ZP3では補間処理を行いながらも低遅延に抑えた。
・補間処理により0.5フレーム遅延が大きくなるけどこの0.5フレームと言うのは理論上の限界値に近い。

私が示した倍速補間処理の理論上の限界値1.0フレームに対しZP3のゲームスムーズモードは1.3フレームとのことなので「ZP3では補間フレームを入れながら低遅延を実現しました」と言うのは本当のようです。
ただし、あくまで倍速補間処理の目的は残像軽減と動きの滑らかさなので、遅延が少ないから優秀と言うわけではないのでその点はご注意ください。最終的には遅延と残像のトレードオフで価値が見出せるかどうかと言うことになります。


4.まとめ
倍速補完04_まとめ 
図4 倍速液晶、4倍速液晶の遅延

4倍速液晶では補完処理なしで0.75フレーム(前回の記事)、補完処理ありで1.5フレーム最低でも遅延することになります。ただし、4倍速液晶の製品はもともと遅延が大きいと思うので最小遅延はあまり関係ないですね。




テーマ : PC周辺機器     ジャンル : コンピュータ

倍速液晶が0.5フレーム遅延するのはどうして?

今回の検証の中で倍速液晶(60Hzのビデオ信号を120Hzで表示するテレビやモニター)は60Hz駆動の液晶と比べ0.5フレーム遅延すると書いてきました。

実際REGZAの公称値でも60Hz駆動の26ZP2の処理遅延が0.2フレーム、倍速液晶の32ZP2が0.7フレームとなっており倍速液晶の方が0.5フレーム多くなっています。また、東芝のサイトでも
倍速補間のところにかかっていた1フレームの遅延を、0.5フレーム、理論限界まで抑えた。
とありますので倍速液晶における0.5フレーム遅延と言うのは仕組み上避けることのできないものであるということがわかります。
しかし、その理論についての説明はなくネット上を検索してもなかなかでてきませんので私なりの考えを書きたいと思います。


(1) 60Hzのビデオ信号について
まずはビデオ信号について知る必要があります。
60Hzのビデオ信号では1画面分の画像を約16.6ms(話を単純にするため以下16msとします)かけて画像の上から下に向かって転送します。とても速いので一瞬で送っているように感じてしまいますが、実際は16msかけて”ゆっくり”上から順番に送っていると捉えることが重要になります。
PlayStation3、XBox360はもとよりほぼすべてのゲーム機が60Hzのビデオ信号で画像を出力します。また、現在のPCも60Hzをメインで使うようになっています。


(2) 60Hzのビデオ信号を60Hzで表示する場合
60Hz駆動の液晶で表示する場合は、ビデオ信号の初めの方(画像の上端)を受信してすぐに液晶パネルの表示(スキャン)を開始することができます。液晶パネルも画面の上から下に向かって16msかけてスキャンしていきますので、画面の中央や下端でもビデオ信号を受信してすぐに表示することができます。
理論上は遅延を限りなく0にすることができます。
60Hz液晶遅延概要図


(3) 60Hzのビデオ信号を120Hzで表示する場合
一方、120Hz駆動の液晶パネルでは画面の上から下に向かって8msかけて表示します。60Hzの液晶が16msですのでその倍の速さと言う意味で倍速液晶と呼ばれています。
(2)のケースと同様に60Hzのビデオ信号の初めの方を受信してすぐに表示を開始したらどうなるでしょうか。画面の上側はビデオ信号が送られてきてから表示するので問題ありませんが、画面の下に向かうにしたがって液晶の表示位置(スキャン位置)がビデオ信号を追い抜いてしまいます。
例えば、表示を開始して8ms後に液晶パネルは画面の下端を表示しようとしますが、ビデオ信号はまだ画像の半分しか受信できていません。画像の下端のビデオ信号が受信できるのは16ms後です。
これでは表示する画像が無くて困ってしまいますね。

原則は画面の上端でも下端でも入力されるビデオ信号より後に表示処理を行わなければいけません。つまり、入力されるビデオ信号をスキャン位置が追い抜かないように制御する必要があるわけです。
簡単な制御方法としては1フレーム分をメモリーにキャプチャしてからメモリーの内容を液晶パネルに表示することです。液晶テレビでは様々な画像処理を行いたいため、一度メモリーにキャプチャしてからフレーム単位で画像処理するという設計は理にかなっています。ただし、この方法では最低でも1フレーム分の遅延が生じてしまい遅延の点では不利となってしまいます。
実は1フレーム分キャプチャしてから表示を開始しなくても、キャプチャ途中で見切り発車して大丈夫な場合があります。重要なのは「入力されるビデオ信号をスキャン位置が追い抜かない」ですので、この条件を満たすぎりぎりの表示開始タイミングを模索することができます。
考え方としてはビデオ信号の終わり(画像の下端)を受信するタイミングと、液晶パネルの下端を表示するタイミングがそろうように開始時間を逆算します。
結果だけ書くとビデオ信号が入力され始めてから8ms後に表示を開始することで途中で追い抜くことなく画面の下端まで表示することができるようになります。(待ち時間が8msより短いと途中で追い越してしまいます。)
この8ms遅らせる部分が0.5フレームの遅延の正体です。
倍速液晶遅延概要図


同様に4倍速液晶の場合も12ms遅らせて表示開始することでビデオ信号の終端と240Hz液晶パネルの下端を表示するタイミングを揃えます。


n倍速液晶の理論上の最小遅延の計算式

最小遅延 = (n-1) / n   フレーム

例:4倍速液晶の場合
  最短遅延=(4-1)/4=0.75フレーム
  4倍速液晶の場合ビデオ信号を受信してから最低でも0.75フレーム以上遅れて液晶パネルの表示を開始する必要がある。

これは表示速度(スキャン速度、画面の上端から下端まで表示するのにかかる時間)が速くなればなるほど液晶の表示開始タイミングを遅らせる必要があることを意味しています。


(4) ズームによる遅延
REGZA 32ZP2に720pのビデオ信号を入力した場合のズームによる遅延についても今回検証を行いました。
スケーラーでズーム処理を行う「ゲームフル」とスケーラーを使わない「Dot by dot(以下DbD)」ではDbDの方が遅延が少ないと思い込んでいましたが、検証の結果は逆にスケーラーを使った「ゲームフル」の方が4msほど遅延が少ない結果となっています。これも倍速液晶と同じ原理で表示速度(スキャン速度)による避けることのできない遅延が関係しています。
今回倍速液晶で検証したのでここでも倍速液晶を例に説明します。倍速液晶の液晶パネル全体にゲーム画面を表示した場合画面の上から下に向かって8msかけて表示することは先に説明した通りですが、DbDの場合は液晶パネル全体ではなく画面の中央に小さくゲーム画面が表示されます。その表示領域(画面縦方向)は1080分の720なので約66%となります。32ZP2では1080画素を8msかけて表示するようになっていますので、720画素ではその66%の約5msでゲーム画面を表示(スキャン)することになります。
もうピンときたかもしれませんが、表示速度が上がった(表示するのにかかる時間が短くなった)のでその分液晶パネルの表示開始タイミングを遅らせる必要が出てくるわけです。そうしないと液晶に表示する処理が入力されてきたビデオ信号を追い越してしまい破綻します。
ではどの程度表示開始を遅らせるかと言うと画面いっぱいの表示にかかる時間の8msとDbDの表示にかかる時間の5msの差である3ms分DbDは表示開始を遅らせることになります。
こうすることでDbDでもゲーム画面の下端(液晶パネルの下端ではなく額縁の内側)と入力されてくるビデオ信号の終端をそろえます。

考え方としては表示領域が狭くなればなるほど相対的にゲーム画面を表示するのにかかる時間が短くなりその分表示開始タイミングを遅らせる必要が出てきます。
60Hz駆動では(1080p液晶で720p DbD表示)16.6msの33%=約5ms遅延が増えます。
Dot by Dotなどにより表示領域が狭くなる(額縁が大きくなる)→遅延は増える(額縁遅延)

ただし、これらはスケーラーによる処理遅延が0の場合の話です。 例えばスケーラーによる処理遅延が3ms以上であればやはりスケーラーを使わないDot by dotの方が低遅延となります。

32ZP2 ズームによる遅延の検証結果
ズームモードキャプチャとの差
秒間480コマで撮影
遅延
1080p6コマ約12ms0ms(基準)
720pゲームフル4コマ約8ms+4ms
720p DbD2コマ約4ms+8ms
※ 「キャプチャとの差」は基準となるモニターからどれだけ早く32ZP2が表示されたかです。数値が大きいほど32ZP2の遅延が少ないことを意味します。

1080pを基準にみると720pゲームフルはスケーラーにより4ms遅延が増えていることになります。
720p DbDはスケーラーの処理が入らないので理論上は額縁による3ms遅延となるはずですが、検証では8msとやや大きい遅延となっています。推測ですが32ZP2はDbDの場合もスケーラーかなにかの余計な処理を通すようになっているのでしょうか。



まとめ
(1) 倍速液晶はほぼすべての製品において60Hz駆動液晶より0.5フレーム以上遅延が増える。
(2) 「倍速補完をOFFにすることで遅延を軽減」と説明されている場合でも、補完処理にかかる2フレーム程の大きな遅延が軽減されるだけで最低でも0.5フレームの遅延はのこるし、液晶パネル自体が60Hz駆動になるわけではないようです。
(3) 4倍速液晶はさらに遅延が増える(最低0.75フレーム)。
(4) Dot by dotなどの額縁表示では表示領域が小さくなるほど遅延が増える。
(5) BenQ XL2420Tでは60Hzのビデオ信号が入力された場合に液晶パネルも60Hzで駆動し、0.5フレームの遅延はない。


テーマ : PC周辺機器     ジャンル : コンピュータ
 
 
あまラボへようこそ
このブログでは自作ソフトの最新情報やtips、PC動画に関する話題を掲載していきます。各記事へは下にあるカテゴリからアクセスして下さい。

ファイルのダウンロードはホームページの方でお願い致します。

質問・要望・不具合報告はこちら
アマレコTV
アマミキ!
アマレココ
アマレコ・ライト
ファンタジーリモート
AMVコーデック



ホームページ
カテゴリ
最新コメント
カレンダー
04 | 2023/05 | 06
- 1 2 3 4 5 6
7 8 9 10 11 12 13
14 15 16 17 18 19 20
21 22 23 24 25 26 27
28 29 30 31 - - -
最新記事
最新トラックバック
ブログ内タグ

アマレコTV ビデオキャプチャ アマレコVR AMVコーデック Oculus Quest アマレココ アマミキ! コーデック gQuest SC500 動画配信 Pico GO ファンタジーリモート 4K アマレコライト プラグイン G2 AMV4 oculus Unity SC512 ライブ機能 パススルー機能 デスクトップキャプチャ AVX2 Passthrough FAQ リモートソフト 質問コーナー ニコニコ動画 HDキャプチャ DirectShow 120Hz 背景透過 遅延 可変再生速度 レゴ 解説動画 Meta 組み換え VR LEGO XL2420T GV-USB2 2 アセット機能 液晶モニター 倍速液晶 デインターレース PS4 ベンチマーク アマステ AMV2MT Asset Intensity Pico4 MetaQuest Pro VRonVR MonsterX3A designs VideoKeeper2 AVX Alternate XCAPTURE-1 SD-USB2CAP4 GV-USB インストール RDT233WX-Z 32ZP2 31006 ffmpeg WindowsMR Rift 画像処理 31024 T2 60fps RGBキャプチャ UtVideo Shadow Play RYZEN 電源オプション HDCP Haswell HDMI 音遅延 QSV MonsterXU3.0R LameACM MP3 31021 フィギュア 音ズレ 録画 ゲームスムーズモード HT OBS MPC ハイパースレッディングテクノロジー NVEnc 液晶テレビ DirectShowFilter プレビュー 擬似NTSCキャプチャ SD-USB2CUP4 Livetube AtomでHDキャプチャ キャプチャーツール シンクライアント イベント IntensityPro DC-HD1 額縁遅延 REGZA ZP3 32ZP32 オーバーレイ リプレイ機能 モノステ 倍速駆動 倍速補完処理 キャプチャカード Robust Video Matting API APIパススルー機能 60Hz 検証 passthrough python pytorch ハンドジェスチャー パカラーススルー機能 AssetBundle 2.0 Tracking ファイルマネージャプラス SkyBox Hand AMPlayer 新プレイヤー機能 GPU使用率 LAVFilters Preferred 可逆圧縮 GV-USB3 Kabelake SSE SKnet Filter Tweaker Windows 90Hz 新アマレコVR MR VRコントローラー SteamVR VR動画 フレーム間圧縮 XCapture-1 

ブログ内検索
月別アーカイブ
アマレココに関するリンク
お世話になっているソフトのリンク
RSSリンクの表示
管理画面
  • 管理画面