fc2ブログ
 

液晶テレビの倍速補間処理による遅延について

前回は液晶テレビ・液晶モニター(以下液晶テレビと表記します)の倍速駆動における遅延について説明しました。
今回は倍速駆動と一緒に使われる倍速補間処理(補間処理)の遅延について説明します。 前回の記事「倍速液晶が0.5フレーム遅延するのはどうして? 」と合わせて見てください。



1.概要
倍速液晶のメリットは残像を軽減させたり動きを滑らかにすること(代償として遅延は増える)とされていますがその効果をもたらすのが倍速補間処理です。なので倍速液晶は倍速駆動と倍速補間処理の2つの要素から構成されるのが普通となっています。
しかし、倍速補間処理を行うと大抵の製品で大きな遅延(大抵2フレーム以上、4フレームとかもざらだと思います)が生じてしまうため、ゲームなどのプレイには向かず遅延を抑えたいゲームモードなどは倍速補間処理を行わないのが一般的です(倍速駆動は行うけど倍速補間処理は行わない)。

そんななか東芝のREGZA ZP3などは倍速補間処理を行っても遅延を少なくできるとアピールされており具体的な数値も東芝のサイトに記載されているので、そのあたりについて私なりに考えてみました。

倍速補完01_概要 
図1 倍速補間処理の概要図

今回は横方向に時間をとっています。大文字のA、B、C・・・は60Hzのビデオ信号が液晶テレビに入力されるタイミングを表していてAは1フレーム目の画像、Bは2フレーム目の画像です。
小文字のaやbは入力された画像をそのまま倍の速さで表示することを表しています。図では横軸が時間なので大文字のAやBに比べ横幅が半分になります。
倍速補間処理は様々な方法があると思いますがここでは1フレーム目の画像Aと2フレーム目の画像Bの2つの画像をもとに中間の画像を生成する処理を想定し、図ではa+bと表記します。

倍速補間処理ではa,a+b,b,b+c・・・と入力された画像と補間した画像が交互に表示されることで動きを滑らかにしたり残像を軽減する効果が得られるとされています。
ちなみに倍速補間処理なしの場合の倍速駆動はa,a,b,b,・・・と同じフレームを2回ずつ表示するように動作します。「二度ふり」とか「フレームコピー」と呼ばれていて、動作としては60Hz駆動と変わらないため動きが滑らかになったり、残像が軽減されることはなく、遅延が増えるデメリットがあるだけです。



2.倍速補間処理の遅延について
倍速補完02_遅延その1 
図2 遅延を考慮した倍速補間処理その1

前回の記事で説明したように倍速補間処理でも基本はビデオ信号の入力が終わってから処理を開始しその後、表示となります。 ただしビデオ信号の入力が完全に終わらなくても途中で追い越さないようギリギリのタイミングで処理することができますのでaやbはそれぞれのビデオ信号の入力から0.5フレーム遅らせることで表示可能です。
一方a+bはBのビデオ信号の入力から0.5フレームおくらせないと表示することができません。
さらにa+bとbが同じタイミングになってしまうので、bはさらに0.5フレーム遅らせる必要がでてきます。

このように各処理が入力されるビデオ信号を追い越さないよう制御しつつ、また、各フレームが重ならないよう
スケジューリングすると最終的に図3となります。

倍速補完03_遅延その2 
図3 遅延を考慮した倍速補間処理その2

以上のことから1.0フレーム遅らせて表示するのが倍速補間処理を行った際の最小遅延となります。
これは前後のフレームを参照するタイプの補完処理において絶対に1フレーム以下の遅延で表示することはできないことを意味します。



3.REGZA ZP3のゲームスムーズモードについて
REGZA ZP3(以下ZP3)では倍速補間処理を行いつつ遅延を抑えたモードとして「ゲームスムーズモード」というのが用意されており東芝のサイトで次のように解説されています。
なお、東芝のサイトではa,a,b,b,c,c,と単純なフレームコピーについても倍速補間と呼んでいますのでその点は注意して下さい。私が言う倍速補間処理は東芝のサイトではゲームスムーズモードに該当します。

『ドラゴンズドグマ』公認テレビ〈レグザ〉。圧倒的な映像美の魅力に迫る
「ゲームダイレクトのモードは0.7フレーム遅延。ZP3だけ、ゲームスムーズモードがありまして、1.3フレーム遅延ですね。」
「ZP3では補間フレームを入れながら低遅延を実現しました。ゲームスムーズというモードを入れて、その場合は、プラス0.5フレーム遅延はさらに大きくなる、それは理論的にそうしないとできないということなので、ほぼ理論限界に近い低遅延を実現できているかなと思います。 」

これを私なりに解釈すると
・ゲームダイレクトモードは倍速駆動(0.5遅延)+補間処理なしで全体の処理遅延0.7フレーム。
・ZP3のゲームスムーズモードは倍速駆動(0.5遅延)+補間処理(0.5遅延)で全体の処理遅延1.3フレーム。
・ZP3では補間処理を行いながらも低遅延に抑えた。
・補間処理により0.5フレーム遅延が大きくなるけどこの0.5フレームと言うのは理論上の限界値に近い。

私が示した倍速補間処理の理論上の限界値1.0フレームに対しZP3のゲームスムーズモードは1.3フレームとのことなので「ZP3では補間フレームを入れながら低遅延を実現しました」と言うのは本当のようです。
ただし、あくまで倍速補間処理の目的は残像軽減と動きの滑らかさなので、遅延が少ないから優秀と言うわけではないのでその点はご注意ください。最終的には遅延と残像のトレードオフで価値が見出せるかどうかと言うことになります。


4.まとめ
倍速補完04_まとめ 
図4 倍速液晶、4倍速液晶の遅延

4倍速液晶では補完処理なしで0.75フレーム(前回の記事)、補完処理ありで1.5フレーム最低でも遅延することになります。ただし、4倍速液晶の製品はもともと遅延が大きいと思うので最小遅延はあまり関係ないですね。




テーマ : PC周辺機器     ジャンル : コンピュータ

倍速液晶が0.5フレーム遅延するのはどうして?

今回の検証の中で倍速液晶(60Hzのビデオ信号を120Hzで表示するテレビやモニター)は60Hz駆動の液晶と比べ0.5フレーム遅延すると書いてきました。

実際REGZAの公称値でも60Hz駆動の26ZP2の処理遅延が0.2フレーム、倍速液晶の32ZP2が0.7フレームとなっており倍速液晶の方が0.5フレーム多くなっています。また、東芝のサイトでも
倍速補間のところにかかっていた1フレームの遅延を、0.5フレーム、理論限界まで抑えた。
とありますので倍速液晶における0.5フレーム遅延と言うのは仕組み上避けることのできないものであるということがわかります。
しかし、その理論についての説明はなくネット上を検索してもなかなかでてきませんので私なりの考えを書きたいと思います。


(1) 60Hzのビデオ信号について
まずはビデオ信号について知る必要があります。
60Hzのビデオ信号では1画面分の画像を約16.6ms(話を単純にするため以下16msとします)かけて画像の上から下に向かって転送します。とても速いので一瞬で送っているように感じてしまいますが、実際は16msかけて”ゆっくり”上から順番に送っていると捉えることが重要になります。
PlayStation3、XBox360はもとよりほぼすべてのゲーム機が60Hzのビデオ信号で画像を出力します。また、現在のPCも60Hzをメインで使うようになっています。


(2) 60Hzのビデオ信号を60Hzで表示する場合
60Hz駆動の液晶で表示する場合は、ビデオ信号の初めの方(画像の上端)を受信してすぐに液晶パネルの表示(スキャン)を開始することができます。液晶パネルも画面の上から下に向かって16msかけてスキャンしていきますので、画面の中央や下端でもビデオ信号を受信してすぐに表示することができます。
理論上は遅延を限りなく0にすることができます。
60Hz液晶遅延概要図


(3) 60Hzのビデオ信号を120Hzで表示する場合
一方、120Hz駆動の液晶パネルでは画面の上から下に向かって8msかけて表示します。60Hzの液晶が16msですのでその倍の速さと言う意味で倍速液晶と呼ばれています。
(2)のケースと同様に60Hzのビデオ信号の初めの方を受信してすぐに表示を開始したらどうなるでしょうか。画面の上側はビデオ信号が送られてきてから表示するので問題ありませんが、画面の下に向かうにしたがって液晶の表示位置(スキャン位置)がビデオ信号を追い抜いてしまいます。
例えば、表示を開始して8ms後に液晶パネルは画面の下端を表示しようとしますが、ビデオ信号はまだ画像の半分しか受信できていません。画像の下端のビデオ信号が受信できるのは16ms後です。
これでは表示する画像が無くて困ってしまいますね。

原則は画面の上端でも下端でも入力されるビデオ信号より後に表示処理を行わなければいけません。つまり、入力されるビデオ信号をスキャン位置が追い抜かないように制御する必要があるわけです。
簡単な制御方法としては1フレーム分をメモリーにキャプチャしてからメモリーの内容を液晶パネルに表示することです。液晶テレビでは様々な画像処理を行いたいため、一度メモリーにキャプチャしてからフレーム単位で画像処理するという設計は理にかなっています。ただし、この方法では最低でも1フレーム分の遅延が生じてしまい遅延の点では不利となってしまいます。
実は1フレーム分キャプチャしてから表示を開始しなくても、キャプチャ途中で見切り発車して大丈夫な場合があります。重要なのは「入力されるビデオ信号をスキャン位置が追い抜かない」ですので、この条件を満たすぎりぎりの表示開始タイミングを模索することができます。
考え方としてはビデオ信号の終わり(画像の下端)を受信するタイミングと、液晶パネルの下端を表示するタイミングがそろうように開始時間を逆算します。
結果だけ書くとビデオ信号が入力され始めてから8ms後に表示を開始することで途中で追い抜くことなく画面の下端まで表示することができるようになります。(待ち時間が8msより短いと途中で追い越してしまいます。)
この8ms遅らせる部分が0.5フレームの遅延の正体です。
倍速液晶遅延概要図


同様に4倍速液晶の場合も12ms遅らせて表示開始することでビデオ信号の終端と240Hz液晶パネルの下端を表示するタイミングを揃えます。


n倍速液晶の理論上の最小遅延の計算式

最小遅延 = (n-1) / n   フレーム

例:4倍速液晶の場合
  最短遅延=(4-1)/4=0.75フレーム
  4倍速液晶の場合ビデオ信号を受信してから最低でも0.75フレーム以上遅れて液晶パネルの表示を開始する必要がある。

これは表示速度(スキャン速度、画面の上端から下端まで表示するのにかかる時間)が速くなればなるほど液晶の表示開始タイミングを遅らせる必要があることを意味しています。


(4) ズームによる遅延
REGZA 32ZP2に720pのビデオ信号を入力した場合のズームによる遅延についても今回検証を行いました。
スケーラーでズーム処理を行う「ゲームフル」とスケーラーを使わない「Dot by dot(以下DbD)」ではDbDの方が遅延が少ないと思い込んでいましたが、検証の結果は逆にスケーラーを使った「ゲームフル」の方が4msほど遅延が少ない結果となっています。これも倍速液晶と同じ原理で表示速度(スキャン速度)による避けることのできない遅延が関係しています。
今回倍速液晶で検証したのでここでも倍速液晶を例に説明します。倍速液晶の液晶パネル全体にゲーム画面を表示した場合画面の上から下に向かって8msかけて表示することは先に説明した通りですが、DbDの場合は液晶パネル全体ではなく画面の中央に小さくゲーム画面が表示されます。その表示領域(画面縦方向)は1080分の720なので約66%となります。32ZP2では1080画素を8msかけて表示するようになっていますので、720画素ではその66%の約5msでゲーム画面を表示(スキャン)することになります。
もうピンときたかもしれませんが、表示速度が上がった(表示するのにかかる時間が短くなった)のでその分液晶パネルの表示開始タイミングを遅らせる必要が出てくるわけです。そうしないと液晶に表示する処理が入力されてきたビデオ信号を追い越してしまい破綻します。
ではどの程度表示開始を遅らせるかと言うと画面いっぱいの表示にかかる時間の8msとDbDの表示にかかる時間の5msの差である3ms分DbDは表示開始を遅らせることになります。
こうすることでDbDでもゲーム画面の下端(液晶パネルの下端ではなく額縁の内側)と入力されてくるビデオ信号の終端をそろえます。

考え方としては表示領域が狭くなればなるほど相対的にゲーム画面を表示するのにかかる時間が短くなりその分表示開始タイミングを遅らせる必要が出てきます。
60Hz駆動では(1080p液晶で720p DbD表示)16.6msの33%=約5ms遅延が増えます。
Dot by Dotなどにより表示領域が狭くなる(額縁が大きくなる)→遅延は増える(額縁遅延)

ただし、これらはスケーラーによる処理遅延が0の場合の話です。 例えばスケーラーによる処理遅延が3ms以上であればやはりスケーラーを使わないDot by dotの方が低遅延となります。

32ZP2 ズームによる遅延の検証結果
ズームモードキャプチャとの差
秒間480コマで撮影
遅延
1080p6コマ約12ms0ms(基準)
720pゲームフル4コマ約8ms+4ms
720p DbD2コマ約4ms+8ms
※ 「キャプチャとの差」は基準となるモニターからどれだけ早く32ZP2が表示されたかです。数値が大きいほど32ZP2の遅延が少ないことを意味します。

1080pを基準にみると720pゲームフルはスケーラーにより4ms遅延が増えていることになります。
720p DbDはスケーラーの処理が入らないので理論上は額縁による3ms遅延となるはずですが、検証では8msとやや大きい遅延となっています。推測ですが32ZP2はDbDの場合もスケーラーかなにかの余計な処理を通すようになっているのでしょうか。



まとめ
(1) 倍速液晶はほぼすべての製品において60Hz駆動液晶より0.5フレーム以上遅延が増える。
(2) 「倍速補完をOFFにすることで遅延を軽減」と説明されている場合でも、補完処理にかかる2フレーム程の大きな遅延が軽減されるだけで最低でも0.5フレームの遅延はのこるし、液晶パネル自体が60Hz駆動になるわけではないようです。
(3) 4倍速液晶はさらに遅延が増える(最低0.75フレーム)。
(4) Dot by dotなどの額縁表示では表示領域が小さくなるほど遅延が増える。
(5) BenQ XL2420Tでは60Hzのビデオ信号が入力された場合に液晶パネルも60Hzで駆動し、0.5フレームの遅延はない。


テーマ : PC周辺機器     ジャンル : コンピュータ

SC-512N1-L/DVIのスルー出力について検証

SC512のスルー出力(HDMI)について遅延が無いか検証してみました。

SC512スルー出力端子 


■検証方法
同じモニターを2つ用意できれば簡単ですが、持っていないのでSC512を挟まない場合と、挟んだ場合の2回に分けて別々にテストして結果を比較して判断します。
テスト概要図

スルー出力に遅延が無ければSC512を挟まない場合と挟んだ場合とで同じ結果が出るはずです。


■検証用映像
検証には遅延がわかりやすいように「くるくるべんち For DirectDraw」を用意しました。
くるくるベンチDD

くるくるベンチは画面を10分割して右端から1フレームごとに白く塗りつぶしていきます。
10フレーム経つと画面が真っ白になるので今度は10フレームかけて黒く塗りつぶします。
この繰り返しとなっています。
今回のテストでは解像度1920x1080、フレームレート60にして、なるべくモニター側でリサイズなどの余計な処理が入らないようにしています。また、各モニターの設定もできるだけ画像処理をOFFにして余計な遅延が生じないようにしてあります。


■検証に使った機材
検証に使った機材
機材品番等設定など
PCモニター1(左側)BenQ XL2420TAMAオフ
インスタントモードON
PCモニター2(右側)三菱 RDT233WX-ZスルーモードON
CPオフ
超解像OFF
HDMI分配器LKV312 
カメラCASIO EX-ZR300秒間480コマで動画撮影

テストの様子  


■テスト1(SC512を挟まない場合)
HDMI用分配器LKV312を使って2つのPCモニターへ分配した様子をハイスピードカメラ(CASIO EX-ZR300)で動画撮影し、出来上がった動画ファイルから連続したビットマップファイルを作成しています。
動画は秒間480コマで撮影したので1コマあたり約2.08msです。またテストしたビデオ信号は60Hzなので8コマ毎にフレーム(画面)が更新され隣の列へ移動する様子がわかります。

CIMG0226分配[4874-4885]

左のモニターは2コマ目で表示が開始されている(画面の上側がほんの少し白くなったコマが表示開始地点です)のに対し、右のモニターは9コマ目で表示が開始されています。これは右のモニターが7コマ分(約14.5ms)遅れていることになります。
左右のモニターが同じであればおそらく同じタイミングで表示が始まるのだと思いますが、今回は機種が違うためこのような違いが生じてしまいます。


■テスト2(SC512を挟んだ場合)
続いて分配器と左側のモニターの間にSC512を挟んでスルー出力※のテストをします。
※ 左のモニターに映っているのはアマレコTVのプレビュー画面ではなくSC512のスルー出力です。

CIMG0227スルー[7749-7760]

結果はテスト1と同様に右のモニターが7コマ分遅れているので、
「SC512のHDMIスルー出力に遅延は無い(極めて少ない)」と言っていいようです。



■モニターについて
左のモニター(XL2420T)は120Hz入力、120Hz表示が可能な120Hzモニターです。今回のように60Hzのビデオ信号を入力した場合は、その特性を生かせず倍速液晶と同じ挙動をすると思っていましたが、今回の結果では画面の上方が白くなり始めてから8コマかけて画面の下に向かって白くなっています(No.2からNo.9)。このことから120Hzでは駆動しておらず、60Hzで駆動していることがわかります※。
どうやらXL2420Tは60Hzのビデオ信号が入力された場合、液晶の駆動も60Hzと柔軟に対応できるみたいです。
※ 秒間480コマで撮影しているので8コマは60Hz(60fps)に相当します。

一方、右のモニター(RDT233WX-Z)は倍速液晶(倍速駆動)なので60Hzのビデオ信号を入力した場合、問答無用で120Hzに変換され表示(120Hz駆動)されます※1。
今回の結果では画面の上方が白くなり始めて4コマ(No.1からno.4)で画面下まで白くなっているので液晶が120Hzで駆動している様子がわかります※2。その後の4コマ(No.5からNo.8)では同じ画像を上書きしているので変化がありません。
※1 三菱のサイトには「スルーモードをONにすると倍速補完が無効になります。」とありますが、補完処理は無効になるけど同じフレームが複製されて結局120Hz駆動するようです。60Hzでの駆動は無理でした。
※2 秒間480コマで撮影しているので4コマは120Hz(120fps)に相当します。

一般的に60Hzのビデオ信号を120Hzで駆動させる場合、どうしても0.5フレーム(約8.3ms)以上のタイミング待ち(遅延)が仕組み上必要になりますので、60Hzのビデオ信号を扱う場合において倍速液晶などは遅延の点で不利になります。
一方、60Hzのビデオ信号を60Hzで駆動させた場合はそのような遅延を必要としないので、今回のケースでは等速駆動ができたXL2420Tの方がRDT233WX-Z(倍速駆動)より遅延が少ない結果となっています。
120Hzモニターにも関わらず、60Hzのビデオ信号が入力された場合は遅延を伴う倍速駆動とはならず、60Hzで液晶を駆動することができるXL2420Tは遅延の評価として非常に優秀だと感じました。

後々、キャプチャカードSC512の遅延やXL2420Tを120Hz動作させた場合の様子、液晶テレビとして比較的遅延が少ないとされているREGZA 32ZP2などもテストしてみたいと思います。


■ダウンロード
くるくるベンチ For Direct Draw


テーマ : PC周辺機器     ジャンル : コンピュータ
 
 
あまラボへようこそ
このブログでは自作ソフトの最新情報やtips、PC動画に関する話題を掲載していきます。各記事へは下にあるカテゴリからアクセスして下さい。

ファイルのダウンロードはホームページの方でお願い致します。

質問・要望・不具合報告はこちら
アマレコTV
アマミキ!
アマレココ
アマレコ・ライト
ファンタジーリモート
AMVコーデック



ホームページ
カテゴリ
最新コメント
カレンダー
04 | 2023/05 | 06
- 1 2 3 4 5 6
7 8 9 10 11 12 13
14 15 16 17 18 19 20
21 22 23 24 25 26 27
28 29 30 31 - - -
最新記事
最新トラックバック
ブログ内タグ

アマレコTV ビデオキャプチャ アマレコVR AMVコーデック Oculus Quest アマレココ アマミキ! コーデック gQuest SC500 動画配信 Pico GO ファンタジーリモート 4K アマレコライト プラグイン G2 AMV4 oculus Unity SC512 ライブ機能 パススルー機能 デスクトップキャプチャ AVX2 Passthrough FAQ リモートソフト 質問コーナー ニコニコ動画 HDキャプチャ DirectShow 120Hz 背景透過 遅延 可変再生速度 レゴ 解説動画 Meta 組み換え VR LEGO XL2420T GV-USB2 2 アセット機能 液晶モニター 倍速液晶 デインターレース PS4 ベンチマーク アマステ AMV2MT Asset Intensity Pico4 MetaQuest Pro VRonVR MonsterX3A designs VideoKeeper2 AVX Alternate XCAPTURE-1 SD-USB2CAP4 GV-USB インストール RDT233WX-Z 32ZP2 31006 ffmpeg WindowsMR Rift 画像処理 31024 T2 60fps RGBキャプチャ UtVideo Shadow Play RYZEN 電源オプション HDCP Haswell HDMI 音遅延 QSV MonsterXU3.0R LameACM MP3 31021 フィギュア 音ズレ 録画 ゲームスムーズモード HT OBS MPC ハイパースレッディングテクノロジー NVEnc 液晶テレビ DirectShowFilter プレビュー 擬似NTSCキャプチャ SD-USB2CUP4 Livetube AtomでHDキャプチャ キャプチャーツール シンクライアント イベント IntensityPro DC-HD1 額縁遅延 REGZA ZP3 32ZP32 オーバーレイ リプレイ機能 モノステ 倍速駆動 倍速補完処理 キャプチャカード Robust Video Matting API APIパススルー機能 60Hz 検証 passthrough python pytorch ハンドジェスチャー パカラーススルー機能 AssetBundle 2.0 Tracking ファイルマネージャプラス SkyBox Hand AMPlayer 新プレイヤー機能 GPU使用率 LAVFilters Preferred 可逆圧縮 GV-USB3 Kabelake SSE SKnet Filter Tweaker Windows 90Hz 新アマレコVR MR VRコントローラー SteamVR VR動画 フレーム間圧縮 XCapture-1 

ブログ内検索
月別アーカイブ
アマレココに関するリンク
お世話になっているソフトのリンク
RSSリンクの表示
管理画面
  • 管理画面