アマレコTV Win8でオーバーレイを使って遅延軽減
以前の記事で少しふれましたがWindows8ではデスクトップコンポジション（Aeroなど）を有効にしたままオーバーレイレンダラーを使うことができるようです。
オーバーレイレンダラーを使うとアマレコTVのプレビューの表示遅延を減らすことができるので、次のアマレコTVではそのあたりを売りにしようといろいろテストしていましたが、特別なことをしなくても現状のアマレコTVにてオーバーレイレンダラーが利用できることがわかりました。
なので、現行のアマレコTVを使ってオーバーレイレンダラーがどの程度効果あるかテストします。
１．テスト方法
PCを2つ用意して「SC-512N1-L/DVIのスルー出力について検証」で利用した「くるくるベンチ for DirectDraw」を一つ目のPCで実行しHDMI出力を分配器（LKV312）で分配します。
二台目のPC（Windows8.1）にはキャプチャカードを2つ（SC512とSC500）挿して、それぞれ分配したHDMIを接続します。
分配した後のビデオ信号は基本的には同じもののようですし、使用したキャプチャカードも同じような挙動を示すため、アマレコTVを２つ使って次のようにほぼ同じタイミングでプレビューできます。
緑色の数値8092がフレーム番号で1/60秒毎にカウントアップしていきます。
数値がどちらも同じ8092なので分配器やキャプチャカードによる遅延の差はほとんど生じないことがわかります。
ここから、一方をオーバーレイレンダラーに設定してどうなるかテストします。
２．SC500（右）をオーバーレイレンダラーに設定
オーバーレイレンダラーに設定した右側のSC500の方が2114と一つ大きい数値になっています。
これは左のSC512 EVRより1フレーム分（1/60秒）早く表示できていることを示しています。
つまり、「オーバーレイレンダラーを使うとEVRより1フレーム遅延を軽減できる」と言うことがわかります。
これだけだと、たまたま差が出ただけなんじゃないかとか、本当にオーバーレイによる差なのか となるので、今度はSC512の方をオーバーレイに設定してテストします。
３．SC512（左）をオーバーレイレンダラーに設定
今度は左のオーバーレイレンダラーに設定したSC512の方の数値が大きくなりました。
このことから、キャプチャカードや分配器とは関係なくオーバーレイレンダラーにより差が出ていることがわかります。
４．まとめ
今回のテストによりWindows8で遅延を減らしたい人はオーバーレイレンダラーが有効であることがわかりました。
現行のアマレコTVでも高度な設定で「オーバーレイのみを使う」を選択することで利用できますので、プレビューの遅延を減らしたい人はお試しください。
■Windows8にてアマレコTVでオーバーレイレンダラーを使う
現行のアマレコTVでオーバーレイレンダラーを使うにはアマレコTVの高度な設定で「オーバーレイのみを使う」を選択します。
※ Windows7でデスクトップコンポジションが有効な場合、オーバーレイレンダラーは使えません。
※ オーバーレイレンダラーは同時に一つのアプリケーションでしか使えません。
次期アマレコTVではWindows8＋オーバーレイレンダラーをメインとし、Windows7に関しては使えないことは無いけど制限付での動作となる予定です。
オーバーレイレンダラーを使うとアマレコTVのプレビューの表示遅延を減らすことができるので、次のアマレコTVではそのあたりを売りにしようといろいろテストしていましたが、特別なことをしなくても現状のアマレコTVにてオーバーレイレンダラーが利用できることがわかりました。
なので、現行のアマレコTVを使ってオーバーレイレンダラーがどの程度効果あるかテストします。
１．テスト方法
PCを2つ用意して「SC-512N1-L/DVIのスルー出力について検証」で利用した「くるくるベンチ for DirectDraw」を一つ目のPCで実行しHDMI出力を分配器（LKV312）で分配します。
二台目のPC（Windows8.1）にはキャプチャカードを2つ（SC512とSC500）挿して、それぞれ分配したHDMIを接続します。
分配した後のビデオ信号は基本的には同じもののようですし、使用したキャプチャカードも同じような挙動を示すため、アマレコTVを２つ使って次のようにほぼ同じタイミングでプレビューできます。
緑色の数値8092がフレーム番号で1/60秒毎にカウントアップしていきます。
数値がどちらも同じ8092なので分配器やキャプチャカードによる遅延の差はほとんど生じないことがわかります。
ここから、一方をオーバーレイレンダラーに設定してどうなるかテストします。
２．SC500（右）をオーバーレイレンダラーに設定
オーバーレイレンダラーに設定した右側のSC500の方が2114と一つ大きい数値になっています。
これは左のSC512 EVRより1フレーム分（1/60秒）早く表示できていることを示しています。
つまり、「オーバーレイレンダラーを使うとEVRより1フレーム遅延を軽減できる」と言うことがわかります。
これだけだと、たまたま差が出ただけなんじゃないかとか、本当にオーバーレイによる差なのか となるので、今度はSC512の方をオーバーレイに設定してテストします。
３．SC512（左）をオーバーレイレンダラーに設定
今度は左のオーバーレイレンダラーに設定したSC512の方の数値が大きくなりました。
このことから、キャプチャカードや分配器とは関係なくオーバーレイレンダラーにより差が出ていることがわかります。
４．まとめ
今回のテストによりWindows8で遅延を減らしたい人はオーバーレイレンダラーが有効であることがわかりました。
現行のアマレコTVでも高度な設定で「オーバーレイのみを使う」を選択することで利用できますので、プレビューの遅延を減らしたい人はお試しください。
■Windows8にてアマレコTVでオーバーレイレンダラーを使う
現行のアマレコTVでオーバーレイレンダラーを使うにはアマレコTVの高度な設定で「オーバーレイのみを使う」を選択します。
※ Windows7でデスクトップコンポジションが有効な場合、オーバーレイレンダラーは使えません。
※ オーバーレイレンダラーは同時に一つのアプリケーションでしか使えません。
次期アマレコTVではWindows8＋オーバーレイレンダラーをメインとし、Windows7に関しては使えないことは無いけど制限付での動作となる予定です。
液晶テレビの倍速補間処理による遅延について
前回は液晶テレビ・液晶モニター（以下液晶テレビと表記します）の倍速駆動における遅延について説明しました。
今回は倍速駆動と一緒に使われる倍速補間処理（補間処理）の遅延について説明します。 前回の記事「倍速液晶が０．５フレーム遅延するのはどうして？ 」と合わせて見てください。
１．概要
倍速液晶のメリットは残像を軽減させたり動きを滑らかにすること（代償として遅延は増える）とされていますがその効果をもたらすのが倍速補間処理です。なので倍速液晶は倍速駆動と倍速補間処理の2つの要素から構成されるのが普通となっています。
しかし、倍速補間処理を行うと大抵の製品で大きな遅延（大抵2フレーム以上、4フレームとかもざらだと思います）が生じてしまうため、ゲームなどのプレイには向かず遅延を抑えたいゲームモードなどは倍速補間処理を行わないのが一般的です（倍速駆動は行うけど倍速補間処理は行わない）。
そんななか東芝のREGZA ZP3などは倍速補間処理を行っても遅延を少なくできるとアピールされており具体的な数値も東芝のサイトに記載されているので、そのあたりについて私なりに考えてみました。
今回は横方向に時間をとっています。大文字のA、B、C・・・は60Hzのビデオ信号が液晶テレビに入力されるタイミングを表していてAは1フレーム目の画像、Bは2フレーム目の画像です。
小文字のaやbは入力された画像をそのまま倍の速さで表示することを表しています。図では横軸が時間なので大文字のAやBに比べ横幅が半分になります。
倍速補間処理は様々な方法があると思いますがここでは1フレーム目の画像Aと2フレーム目の画像Bの2つの画像をもとに中間の画像を生成する処理を想定し、図ではa+bと表記します。
倍速補間処理ではa,a+b,b,b+c・・・と入力された画像と補間した画像が交互に表示されることで動きを滑らかにしたり残像を軽減する効果が得られるとされています。
ちなみに倍速補間処理なしの場合の倍速駆動はa,a,b,b,・・・と同じフレームを2回ずつ表示するように動作します。「二度ふり」とか「フレームコピー」と呼ばれていて、動作としては60Hz駆動と変わらないため動きが滑らかになったり、残像が軽減されることはなく、遅延が増えるデメリットがあるだけです。
２．倍速補間処理の遅延について
前回の記事で説明したように倍速補間処理でも基本はビデオ信号の入力が終わってから処理を開始しその後、表示となります。 ただしビデオ信号の入力が完全に終わらなくても途中で追い越さないようギリギリのタイミングで処理することができますのでaやbはそれぞれのビデオ信号の入力から0.5フレーム遅らせることで表示可能です。
一方a+bはBのビデオ信号の入力から0.5フレームおくらせないと表示することができません。
さらにa+bとbが同じタイミングになってしまうので、bはさらに0.5フレーム遅らせる必要がでてきます。
このように各処理が入力されるビデオ信号を追い越さないよう制御しつつ、また、各フレームが重ならないよう
スケジューリングすると最終的に図３となります。
以上のことから1.0フレーム遅らせて表示するのが倍速補間処理を行った際の最小遅延となります。
これは前後のフレームを参照するタイプの補完処理において絶対に1フレーム以下の遅延で表示することはできないことを意味します。
３．REGZA ZP3のゲームスムーズモードについて
REGZA ZP3（以下ZP3）では倍速補間処理を行いつつ遅延を抑えたモードとして「ゲームスムーズモード」というのが用意されており東芝のサイトで次のように解説されています。
なお、東芝のサイトではa,a,b,b,c,c,と単純なフレームコピーについても倍速補間と呼んでいますのでその点は注意して下さい。私が言う倍速補間処理は東芝のサイトではゲームスムーズモードに該当します。
『ドラゴンズドグマ』公認テレビ〈レグザ〉。圧倒的な映像美の魅力に迫る
「ゲームダイレクトのモードは0.7フレーム遅延。ZP3だけ、ゲームスムーズモードがありまして、1.3フレーム遅延ですね。」
「ZP3では補間フレームを入れながら低遅延を実現しました。ゲームスムーズというモードを入れて、その場合は、プラス0.5フレーム遅延はさらに大きくなる、それは理論的にそうしないとできないということなので、ほぼ理論限界に近い低遅延を実現できているかなと思います。 」
これを私なりに解釈すると
・ゲームダイレクトモードは倍速駆動（0.5遅延）＋補間処理なしで全体の処理遅延0.7フレーム。
・ZP3のゲームスムーズモードは倍速駆動（0.5遅延）＋補間処理（0.5遅延）で全体の処理遅延1.3フレーム。
・ZP3では補間処理を行いながらも低遅延に抑えた。
・補間処理により0.5フレーム遅延が大きくなるけどこの0.5フレームと言うのは理論上の限界値に近い。
私が示した倍速補間処理の理論上の限界値1.0フレームに対しZP3のゲームスムーズモードは1.3フレームとのことなので「ZP3では補間フレームを入れながら低遅延を実現しました」と言うのは本当のようです。
ただし、あくまで倍速補間処理の目的は残像軽減と動きの滑らかさなので、遅延が少ないから優秀と言うわけではないのでその点はご注意ください。最終的には遅延と残像のトレードオフで価値が見出せるかどうかと言うことになります。
４．まとめ
4倍速液晶では補完処理なしで0.75フレーム（前回の記事）、補完処理ありで1.5フレーム最低でも遅延することになります。ただし、4倍速液晶の製品はもともと遅延が大きいと思うので最小遅延はあまり関係ないですね。
今回は倍速駆動と一緒に使われる倍速補間処理（補間処理）の遅延について説明します。 前回の記事「倍速液晶が０．５フレーム遅延するのはどうして？ 」と合わせて見てください。
１．概要
倍速液晶のメリットは残像を軽減させたり動きを滑らかにすること（代償として遅延は増える）とされていますがその効果をもたらすのが倍速補間処理です。なので倍速液晶は倍速駆動と倍速補間処理の2つの要素から構成されるのが普通となっています。
しかし、倍速補間処理を行うと大抵の製品で大きな遅延（大抵2フレーム以上、4フレームとかもざらだと思います）が生じてしまうため、ゲームなどのプレイには向かず遅延を抑えたいゲームモードなどは倍速補間処理を行わないのが一般的です（倍速駆動は行うけど倍速補間処理は行わない）。
そんななか東芝のREGZA ZP3などは倍速補間処理を行っても遅延を少なくできるとアピールされており具体的な数値も東芝のサイトに記載されているので、そのあたりについて私なりに考えてみました。
 図１ 倍速補間処理の概要図 |
今回は横方向に時間をとっています。大文字のA、B、C・・・は60Hzのビデオ信号が液晶テレビに入力されるタイミングを表していてAは1フレーム目の画像、Bは2フレーム目の画像です。
小文字のaやbは入力された画像をそのまま倍の速さで表示することを表しています。図では横軸が時間なので大文字のAやBに比べ横幅が半分になります。
倍速補間処理は様々な方法があると思いますがここでは1フレーム目の画像Aと2フレーム目の画像Bの2つの画像をもとに中間の画像を生成する処理を想定し、図ではa+bと表記します。
倍速補間処理ではa,a+b,b,b+c・・・と入力された画像と補間した画像が交互に表示されることで動きを滑らかにしたり残像を軽減する効果が得られるとされています。
ちなみに倍速補間処理なしの場合の倍速駆動はa,a,b,b,・・・と同じフレームを2回ずつ表示するように動作します。「二度ふり」とか「フレームコピー」と呼ばれていて、動作としては60Hz駆動と変わらないため動きが滑らかになったり、残像が軽減されることはなく、遅延が増えるデメリットがあるだけです。
２．倍速補間処理の遅延について
 図２ 遅延を考慮した倍速補間処理その１ |
前回の記事で説明したように倍速補間処理でも基本はビデオ信号の入力が終わってから処理を開始しその後、表示となります。 ただしビデオ信号の入力が完全に終わらなくても途中で追い越さないようギリギリのタイミングで処理することができますのでaやbはそれぞれのビデオ信号の入力から0.5フレーム遅らせることで表示可能です。
一方a+bはBのビデオ信号の入力から0.5フレームおくらせないと表示することができません。
さらにa+bとbが同じタイミングになってしまうので、bはさらに0.5フレーム遅らせる必要がでてきます。
このように各処理が入力されるビデオ信号を追い越さないよう制御しつつ、また、各フレームが重ならないよう
スケジューリングすると最終的に図３となります。
 図３ 遅延を考慮した倍速補間処理その２ |
以上のことから1.0フレーム遅らせて表示するのが倍速補間処理を行った際の最小遅延となります。
これは前後のフレームを参照するタイプの補完処理において絶対に1フレーム以下の遅延で表示することはできないことを意味します。
３．REGZA ZP3のゲームスムーズモードについて
REGZA ZP3（以下ZP3）では倍速補間処理を行いつつ遅延を抑えたモードとして「ゲームスムーズモード」というのが用意されており東芝のサイトで次のように解説されています。
なお、東芝のサイトではa,a,b,b,c,c,と単純なフレームコピーについても倍速補間と呼んでいますのでその点は注意して下さい。私が言う倍速補間処理は東芝のサイトではゲームスムーズモードに該当します。
『ドラゴンズドグマ』公認テレビ〈レグザ〉。圧倒的な映像美の魅力に迫る
「ゲームダイレクトのモードは0.7フレーム遅延。ZP3だけ、ゲームスムーズモードがありまして、1.3フレーム遅延ですね。」
「ZP3では補間フレームを入れながら低遅延を実現しました。ゲームスムーズというモードを入れて、その場合は、プラス0.5フレーム遅延はさらに大きくなる、それは理論的にそうしないとできないということなので、ほぼ理論限界に近い低遅延を実現できているかなと思います。 」
これを私なりに解釈すると
・ゲームダイレクトモードは倍速駆動（0.5遅延）＋補間処理なしで全体の処理遅延0.7フレーム。
・ZP3のゲームスムーズモードは倍速駆動（0.5遅延）＋補間処理（0.5遅延）で全体の処理遅延1.3フレーム。
・ZP3では補間処理を行いながらも低遅延に抑えた。
・補間処理により0.5フレーム遅延が大きくなるけどこの0.5フレームと言うのは理論上の限界値に近い。
私が示した倍速補間処理の理論上の限界値1.0フレームに対しZP3のゲームスムーズモードは1.3フレームとのことなので「ZP3では補間フレームを入れながら低遅延を実現しました」と言うのは本当のようです。
ただし、あくまで倍速補間処理の目的は残像軽減と動きの滑らかさなので、遅延が少ないから優秀と言うわけではないのでその点はご注意ください。最終的には遅延と残像のトレードオフで価値が見出せるかどうかと言うことになります。
４．まとめ
 図４ 倍速液晶、4倍速液晶の遅延 |
4倍速液晶では補完処理なしで0.75フレーム（前回の記事）、補完処理ありで1.5フレーム最低でも遅延することになります。ただし、4倍速液晶の製品はもともと遅延が大きいと思うので最小遅延はあまり関係ないですね。
倍速液晶が０．５フレーム遅延するのはどうして？
今回の検証の中で倍速液晶（60Hzのビデオ信号を120Hzで表示するテレビやモニター）は60Hz駆動の液晶と比べ0.5フレーム遅延すると書いてきました。
実際REGZAの公称値でも60Hz駆動の26ZP2の処理遅延が0.2フレーム、倍速液晶の32ZP2が0.7フレームとなっており倍速液晶の方が0.5フレーム多くなっています。また、東芝のサイトでも
「倍速補間のところにかかっていた1フレームの遅延を、0.5フレーム、理論限界まで抑えた。」
とありますので倍速液晶における0.5フレーム遅延と言うのは仕組み上避けることのできないものであるということがわかります。
しかし、その理論についての説明はなくネット上を検索してもなかなかでてきませんので私なりの考えを書きたいと思います。
(1) 60Hzのビデオ信号について
まずはビデオ信号について知る必要があります。
60Hzのビデオ信号では1画面分の画像を約16.6ms（話を単純にするため以下16msとします）かけて画像の上から下に向かって転送します。とても速いので一瞬で送っているように感じてしまいますが、実際は16msかけて”ゆっくり”上から順番に送っていると捉えることが重要になります。
PlayStation3、XBox360はもとよりほぼすべてのゲーム機が60Hzのビデオ信号で画像を出力します。また、現在のPCも60Hzをメインで使うようになっています。
(2) 60Hzのビデオ信号を60Hzで表示する場合
60Hz駆動の液晶で表示する場合は、ビデオ信号の初めの方（画像の上端）を受信してすぐに液晶パネルの表示（スキャン）を開始することができます。液晶パネルも画面の上から下に向かって16msかけてスキャンしていきますので、画面の中央や下端でもビデオ信号を受信してすぐに表示することができます。
理論上は遅延を限りなく0にすることができます。
(3) 60Hzのビデオ信号を120Hzで表示する場合
一方、120Hz駆動の液晶パネルでは画面の上から下に向かって8msかけて表示します。60Hzの液晶が16msですのでその倍の速さと言う意味で倍速液晶と呼ばれています。
(2)のケースと同様に60Hzのビデオ信号の初めの方を受信してすぐに表示を開始したらどうなるでしょうか。画面の上側はビデオ信号が送られてきてから表示するので問題ありませんが、画面の下に向かうにしたがって液晶の表示位置（スキャン位置）がビデオ信号を追い抜いてしまいます。
例えば、表示を開始して8ms後に液晶パネルは画面の下端を表示しようとしますが、ビデオ信号はまだ画像の半分しか受信できていません。画像の下端のビデオ信号が受信できるのは16ms後です。
これでは表示する画像が無くて困ってしまいますね。
原則は画面の上端でも下端でも入力されるビデオ信号より後に表示処理を行わなければいけません。つまり、入力されるビデオ信号をスキャン位置が追い抜かないように制御する必要があるわけです。
簡単な制御方法としては1フレーム分をメモリーにキャプチャしてからメモリーの内容を液晶パネルに表示することです。液晶テレビでは様々な画像処理を行いたいため、一度メモリーにキャプチャしてからフレーム単位で画像処理するという設計は理にかなっています。ただし、この方法では最低でも1フレーム分の遅延が生じてしまい遅延の点では不利となってしまいます。
実は1フレーム分キャプチャしてから表示を開始しなくても、キャプチャ途中で見切り発車して大丈夫な場合があります。重要なのは「入力されるビデオ信号をスキャン位置が追い抜かない」ですので、この条件を満たすぎりぎりの表示開始タイミングを模索することができます。
考え方としてはビデオ信号の終わり（画像の下端）を受信するタイミングと、液晶パネルの下端を表示するタイミングがそろうように開始時間を逆算します。
結果だけ書くとビデオ信号が入力され始めてから8ms後に表示を開始することで途中で追い抜くことなく画面の下端まで表示することができるようになります。（待ち時間が8msより短いと途中で追い越してしまいます。）
この8ms遅らせる部分が0.5フレームの遅延の正体です。
同様に4倍速液晶の場合も12ms遅らせて表示開始することでビデオ信号の終端と240Hz液晶パネルの下端を表示するタイミングを揃えます。
これは表示速度（スキャン速度、画面の上端から下端まで表示するのにかかる時間）が速くなればなるほど液晶の表示開始タイミングを遅らせる必要があることを意味しています。
(4) ズームによる遅延
REGZA 32ZP2に720pのビデオ信号を入力した場合のズームによる遅延についても今回検証を行いました。
スケーラーでズーム処理を行う「ゲームフル」とスケーラーを使わない「Dot by dot（以下DbD）」ではDbDの方が遅延が少ないと思い込んでいましたが、検証の結果は逆にスケーラーを使った「ゲームフル」の方が4msほど遅延が少ない結果となっています。これも倍速液晶と同じ原理で表示速度（スキャン速度）による避けることのできない遅延が関係しています。
今回倍速液晶で検証したのでここでも倍速液晶を例に説明します。倍速液晶の液晶パネル全体にゲーム画面を表示した場合画面の上から下に向かって8msかけて表示することは先に説明した通りですが、DbDの場合は液晶パネル全体ではなく画面の中央に小さくゲーム画面が表示されます。その表示領域（画面縦方向）は１０８０分の７２０なので約６６％となります。32ZP2では１０８０画素を8msかけて表示するようになっていますので、720画素ではその66%の約5msでゲーム画面を表示（スキャン）することになります。
もうピンときたかもしれませんが、表示速度が上がった（表示するのにかかる時間が短くなった）のでその分液晶パネルの表示開始タイミングを遅らせる必要が出てくるわけです。そうしないと液晶に表示する処理が入力されてきたビデオ信号を追い越してしまい破綻します。
ではどの程度表示開始を遅らせるかと言うと画面いっぱいの表示にかかる時間の8msとDbDの表示にかかる時間の5msの差である3ms分DbDは表示開始を遅らせることになります。
こうすることでDbDでもゲーム画面の下端（液晶パネルの下端ではなく額縁の内側）と入力されてくるビデオ信号の終端をそろえます。
考え方としては表示領域が狭くなればなるほど相対的にゲーム画面を表示するのにかかる時間が短くなりその分表示開始タイミングを遅らせる必要が出てきます。
60Hz駆動では（1080p液晶で720p DbD表示）16.6msの33%＝約5ms遅延が増えます。
Dot by Dotなどにより表示領域が狭くなる（額縁が大きくなる）→遅延は増える（額縁遅延）
ただし、これらはスケーラーによる処理遅延が0の場合の話です。 例えばスケーラーによる処理遅延が3ms以上であればやはりスケーラーを使わないDot by dotの方が低遅延となります。
※ 「キャプチャとの差」は基準となるモニターからどれだけ早く32ZP2が表示されたかです。数値が大きいほど32ZP2の遅延が少ないことを意味します。
1080pを基準にみると720pゲームフルはスケーラーにより4ms遅延が増えていることになります。
720p DbDはスケーラーの処理が入らないので理論上は額縁による3ms遅延となるはずですが、検証では8msとやや大きい遅延となっています。推測ですが32ZP2はDbDの場合もスケーラーかなにかの余計な処理を通すようになっているのでしょうか。
まとめ
(1) 倍速液晶はほぼすべての製品において60Hz駆動液晶より0.5フレーム以上遅延が増える。
(2) 「倍速補完をOFFにすることで遅延を軽減」と説明されている場合でも、補完処理にかかる2フレーム程の大きな遅延が軽減されるだけで最低でも0.5フレームの遅延はのこるし、液晶パネル自体が60Hz駆動になるわけではないようです。
(3) 4倍速液晶はさらに遅延が増える（最低0.75フレーム）。
(4) Dot by dotなどの額縁表示では表示領域が小さくなるほど遅延が増える。
(5) BenQ XL2420Tでは60Hzのビデオ信号が入力された場合に液晶パネルも60Hzで駆動し、0.5フレームの遅延はない。
実際REGZAの公称値でも60Hz駆動の26ZP2の処理遅延が0.2フレーム、倍速液晶の32ZP2が0.7フレームとなっており倍速液晶の方が0.5フレーム多くなっています。また、東芝のサイトでも
「倍速補間のところにかかっていた1フレームの遅延を、0.5フレーム、理論限界まで抑えた。」
とありますので倍速液晶における0.5フレーム遅延と言うのは仕組み上避けることのできないものであるということがわかります。
しかし、その理論についての説明はなくネット上を検索してもなかなかでてきませんので私なりの考えを書きたいと思います。
(1) 60Hzのビデオ信号について
まずはビデオ信号について知る必要があります。
60Hzのビデオ信号では1画面分の画像を約16.6ms（話を単純にするため以下16msとします）かけて画像の上から下に向かって転送します。とても速いので一瞬で送っているように感じてしまいますが、実際は16msかけて”ゆっくり”上から順番に送っていると捉えることが重要になります。
PlayStation3、XBox360はもとよりほぼすべてのゲーム機が60Hzのビデオ信号で画像を出力します。また、現在のPCも60Hzをメインで使うようになっています。
(2) 60Hzのビデオ信号を60Hzで表示する場合
60Hz駆動の液晶で表示する場合は、ビデオ信号の初めの方（画像の上端）を受信してすぐに液晶パネルの表示（スキャン）を開始することができます。液晶パネルも画面の上から下に向かって16msかけてスキャンしていきますので、画面の中央や下端でもビデオ信号を受信してすぐに表示することができます。
理論上は遅延を限りなく0にすることができます。
(3) 60Hzのビデオ信号を120Hzで表示する場合
一方、120Hz駆動の液晶パネルでは画面の上から下に向かって8msかけて表示します。60Hzの液晶が16msですのでその倍の速さと言う意味で倍速液晶と呼ばれています。
(2)のケースと同様に60Hzのビデオ信号の初めの方を受信してすぐに表示を開始したらどうなるでしょうか。画面の上側はビデオ信号が送られてきてから表示するので問題ありませんが、画面の下に向かうにしたがって液晶の表示位置（スキャン位置）がビデオ信号を追い抜いてしまいます。
例えば、表示を開始して8ms後に液晶パネルは画面の下端を表示しようとしますが、ビデオ信号はまだ画像の半分しか受信できていません。画像の下端のビデオ信号が受信できるのは16ms後です。
これでは表示する画像が無くて困ってしまいますね。
原則は画面の上端でも下端でも入力されるビデオ信号より後に表示処理を行わなければいけません。つまり、入力されるビデオ信号をスキャン位置が追い抜かないように制御する必要があるわけです。
簡単な制御方法としては1フレーム分をメモリーにキャプチャしてからメモリーの内容を液晶パネルに表示することです。液晶テレビでは様々な画像処理を行いたいため、一度メモリーにキャプチャしてからフレーム単位で画像処理するという設計は理にかなっています。ただし、この方法では最低でも1フレーム分の遅延が生じてしまい遅延の点では不利となってしまいます。
実は1フレーム分キャプチャしてから表示を開始しなくても、キャプチャ途中で見切り発車して大丈夫な場合があります。重要なのは「入力されるビデオ信号をスキャン位置が追い抜かない」ですので、この条件を満たすぎりぎりの表示開始タイミングを模索することができます。
考え方としてはビデオ信号の終わり（画像の下端）を受信するタイミングと、液晶パネルの下端を表示するタイミングがそろうように開始時間を逆算します。
結果だけ書くとビデオ信号が入力され始めてから8ms後に表示を開始することで途中で追い抜くことなく画面の下端まで表示することができるようになります。（待ち時間が8msより短いと途中で追い越してしまいます。）
この8ms遅らせる部分が0.5フレームの遅延の正体です。
同様に4倍速液晶の場合も12ms遅らせて表示開始することでビデオ信号の終端と240Hz液晶パネルの下端を表示するタイミングを揃えます。
最小遅延 ＝ （ｎ－１） ／ ｎ フレーム 例：4倍速液晶の場合 最短遅延＝（４－１）／４＝０．７５フレーム ４倍速液晶の場合ビデオ信号を受信してから最低でも0.75フレーム以上遅れて液晶パネルの表示を開始する必要がある。 |
これは表示速度（スキャン速度、画面の上端から下端まで表示するのにかかる時間）が速くなればなるほど液晶の表示開始タイミングを遅らせる必要があることを意味しています。
(4) ズームによる遅延
REGZA 32ZP2に720pのビデオ信号を入力した場合のズームによる遅延についても今回検証を行いました。
スケーラーでズーム処理を行う「ゲームフル」とスケーラーを使わない「Dot by dot（以下DbD）」ではDbDの方が遅延が少ないと思い込んでいましたが、検証の結果は逆にスケーラーを使った「ゲームフル」の方が4msほど遅延が少ない結果となっています。これも倍速液晶と同じ原理で表示速度（スキャン速度）による避けることのできない遅延が関係しています。
今回倍速液晶で検証したのでここでも倍速液晶を例に説明します。倍速液晶の液晶パネル全体にゲーム画面を表示した場合画面の上から下に向かって8msかけて表示することは先に説明した通りですが、DbDの場合は液晶パネル全体ではなく画面の中央に小さくゲーム画面が表示されます。その表示領域（画面縦方向）は１０８０分の７２０なので約６６％となります。32ZP2では１０８０画素を8msかけて表示するようになっていますので、720画素ではその66%の約5msでゲーム画面を表示（スキャン）することになります。
もうピンときたかもしれませんが、表示速度が上がった（表示するのにかかる時間が短くなった）のでその分液晶パネルの表示開始タイミングを遅らせる必要が出てくるわけです。そうしないと液晶に表示する処理が入力されてきたビデオ信号を追い越してしまい破綻します。
ではどの程度表示開始を遅らせるかと言うと画面いっぱいの表示にかかる時間の8msとDbDの表示にかかる時間の5msの差である3ms分DbDは表示開始を遅らせることになります。
こうすることでDbDでもゲーム画面の下端（液晶パネルの下端ではなく額縁の内側）と入力されてくるビデオ信号の終端をそろえます。
考え方としては表示領域が狭くなればなるほど相対的にゲーム画面を表示するのにかかる時間が短くなりその分表示開始タイミングを遅らせる必要が出てきます。
60Hz駆動では（1080p液晶で720p DbD表示）16.6msの33%＝約5ms遅延が増えます。
Dot by Dotなどにより表示領域が狭くなる（額縁が大きくなる）→遅延は増える（額縁遅延）
ただし、これらはスケーラーによる処理遅延が0の場合の話です。 例えばスケーラーによる処理遅延が3ms以上であればやはりスケーラーを使わないDot by dotの方が低遅延となります。
| ズームモード | キャプチャとの差 秒間480コマで撮影 | 遅延 | |
| 1080p | 6コマ | 約12ms | 0ms（基準） |
| 720pゲームフル | 4コマ | 約8ms | +4ms |
| 720p DbD | 2コマ | 約4ms | +8ms |
1080pを基準にみると720pゲームフルはスケーラーにより4ms遅延が増えていることになります。
720p DbDはスケーラーの処理が入らないので理論上は額縁による3ms遅延となるはずですが、検証では8msとやや大きい遅延となっています。推測ですが32ZP2はDbDの場合もスケーラーかなにかの余計な処理を通すようになっているのでしょうか。
まとめ
(1) 倍速液晶はほぼすべての製品において60Hz駆動液晶より0.5フレーム以上遅延が増える。
(2) 「倍速補完をOFFにすることで遅延を軽減」と説明されている場合でも、補完処理にかかる2フレーム程の大きな遅延が軽減されるだけで最低でも0.5フレームの遅延はのこるし、液晶パネル自体が60Hz駆動になるわけではないようです。
(3) 4倍速液晶はさらに遅延が増える（最低0.75フレーム）。
(4) Dot by dotなどの額縁表示では表示領域が小さくなるほど遅延が増える。
(5) BenQ XL2420Tでは60Hzのビデオ信号が入力された場合に液晶パネルも60Hzで駆動し、0.5フレームの遅延はない。
キャプチャカードによる遅延は映像より音声の方が大きい
ビデオキャプチャカードの遅延について映像のお話を前回しました。今回は音声（ゲーム音）の遅延についてお話します。
１．音声遅延要素
1) ビデオキャプチャカードによるキャプチャ処理（録音）
2) キャプチャソフトによる処理
3) 再生デバイス（サウンドカード）による処理（再生）
1について、例えばIntensity Proでは33ms分の音声データをひと塊として（アマレコTVへ）送ってくるので最低でも33msの遅延が生じます。またSC500の場合は40ms単位なので最低40msの遅延が生じます。
なお、ビデオキャプチャカードの中には500ms単位でデータを送ってくるものがあります。Direct Showの（アロケータの）初期値は500msとなっているのでDirect Showのコンセプトとして500msで動作するビデオキャプチャカードは妥当と言えますが、ゲームなどインタラクティブなシーンでは使い物になりません。
2は遅延0とみなして良いかと思います。再生オーディオデバイスの再生バッファへデータをコピーするだけです。
最後に３ですが、アマレコTVが再生バッファにデータを書き込み、再生命令を発行すると、OS、オーディオドライバ、サウンドカードによりラインアウト等から音声信号が出力されます。
このとき再生サンプリングレートと異なる音はリサンプリングされたり、複数のアプリケーションの音がミキシングされます。
また、プチプチとしたノイズを防ぐために少し多めに再生バッファへデータを蓄える必要があり、その分の遅延が生じます。どの程度バッファリングすれば良いか（ノイズを防げるか）は環境によりマチマチです。アマレコTVでは高度な設定にあるアロケータサイズで調整します。
２．テスト方法
PC1のラインアウトのL（左）・R（右）のうち一方をビデオキャプチャカード→アマレコTV→サウンドカード１と通し最終的にサウンドカード２へ、もう一方はサウンドカード２へ直接接続した状態でサウンドカード２のライン入力を観察します。
３．結果
PC1の出力を直接つないだ場合（グラフ上側）と比べ、キャプチャカード→アマレコTV→サウンドカード２と経由したもの（グラフ下側）は約102ms遅延しました。
設定（アロケータサイズ）や環境（OS、サウンドカード）によりますがアマレコTV初期値の場合なら50ms～100ms程度の遅延となります。
４．まとめ
映像の遅延はオーバーレイやEVRによる表示にて2～3フレーム（33,33ms～50.00ms）でしたが、音声の遅延は50ms～100ms程度となり、音声は映像より大きく遅延することになります。
ビデオキャプチャカードを使ってPC画面でゲームをプレイしようとしたとき映像の遅延に付いて良く訊かれますが、実際は映像より音の遅延の方が深刻で音ゲーや格ゲーで音に頼ってプレイするのが難しいのはこのためではないでしょうか。逆に音に頼らないスタイルであれば映像の遅延と言うのは世間一般で言われているほど大きくはないので満足にプレイできるケースが多いと思います。
同じキャプチャカード（同じジャンルのゲーム）でも問題なくプレイできる（遅延は感じない）という人と、まともにプレイできないと主張する人に分かれるのは、その人の感覚次第でもありますが音に頼っているかどうかもポイントのように思います。
余談になりますが、アマレコTVと他のビデオキャプチャソフトの大きな違いとして、“累積遅延”と“映像と音声の同期”の２つがあります。累積遅延は30分とか1時間使っているとだんだんと音声がずれてきたり、遅延が大きくなる現象です。アマレコTVでは遅れた分を取り戻す仕組みとして“可変再生速度”と言う機能が働くので累積遅延は一定以上生じません。また、映像と音声の同期については遅れている方に合わせて再生するのが一般的となっています。例えば映像が50msの遅延、音声は100msの遅延であるなら映像もわざと100ms遅延させて映像と音声を同じタイミングで再生します。しかし、アマレコTVでは同期を取らないため、映像は50ms、音声は100msとずれたまま再生するようになっています。ビデオキャプチャカード付属のソフトからアマレコTVに替えると遅延が減るのはこのあたりが関係しています。
５．音声遅延の回避策
最後に音声の再生遅延をゼロにする方法を紹介します。
ビデオキャプチャカードの音声入力を使わずサウンドカードのライン入力を使う事で、ライン入力とライン出力の間を直接接続できるので遅延0で音声を聴くことができます（サウンドカードやOSによりできない場合があるかもしれません）。
1) ゲーム機のライン出力とサウンドカードのライン入力を接続します。ビデオキャプチャカードにはS端子など映像系のみ接続します。
2) サウンドカードの録音プロパティでライン入力のミュートを解除します。この時点でゲーム機の音が再生されます。
3) アマレコTVのオーディオキャプチャデバイスでサウンドカードのライン入力を指定します。
4) アマレコTVのプレビューを開始するとゲーム音が二重に聞こえるのでアマレコTVのツールバーでミュートします。
１．音声遅延要素
1) ビデオキャプチャカードによるキャプチャ処理（録音）
2) キャプチャソフトによる処理
3) 再生デバイス（サウンドカード）による処理（再生）
1について、例えばIntensity Proでは33ms分の音声データをひと塊として（アマレコTVへ）送ってくるので最低でも33msの遅延が生じます。またSC500の場合は40ms単位なので最低40msの遅延が生じます。
なお、ビデオキャプチャカードの中には500ms単位でデータを送ってくるものがあります。Direct Showの（アロケータの）初期値は500msとなっているのでDirect Showのコンセプトとして500msで動作するビデオキャプチャカードは妥当と言えますが、ゲームなどインタラクティブなシーンでは使い物になりません。
2は遅延0とみなして良いかと思います。再生オーディオデバイスの再生バッファへデータをコピーするだけです。
最後に３ですが、アマレコTVが再生バッファにデータを書き込み、再生命令を発行すると、OS、オーディオドライバ、サウンドカードによりラインアウト等から音声信号が出力されます。
このとき再生サンプリングレートと異なる音はリサンプリングされたり、複数のアプリケーションの音がミキシングされます。
また、プチプチとしたノイズを防ぐために少し多めに再生バッファへデータを蓄える必要があり、その分の遅延が生じます。どの程度バッファリングすれば良いか（ノイズを防げるか）は環境によりマチマチです。アマレコTVでは高度な設定にあるアロケータサイズで調整します。
２．テスト方法
PC1のラインアウトのL（左）・R（右）のうち一方をビデオキャプチャカード→アマレコTV→サウンドカード１と通し最終的にサウンドカード２へ、もう一方はサウンドカード２へ直接接続した状態でサウンドカード２のライン入力を観察します。
| OS | WindowsXP Professional SP3Windows7 |
| MB | M3N78-EM |
| CPU | AMD Phenom(tm) 8750 Triple-Core Processor 2.4GHz |
| MEMORY | DDR2-800 2GB(2GB*1) |
| HDD | WD10EADS-00M2B0 1TB, 5400rpm |
| サウンドカード１ | CMI8738-6CHLP2 |
| サウンドカード２ | M3N78-EM Realtek HD Audio Input |
| キャプチャカード | SC-500N1/DVI Driver 1.1.0.108.0 |
| アマレコTV | Ver2.20b アロケーターサイズ 40ms |
３．結果
PC1の出力を直接つないだ場合（グラフ上側）と比べ、キャプチャカード→アマレコTV→サウンドカード２と経由したもの（グラフ下側）は約102ms遅延しました。
設定（アロケータサイズ）や環境（OS、サウンドカード）によりますがアマレコTV初期値の場合なら50ms～100ms程度の遅延となります。
４．まとめ
映像の遅延はオーバーレイやEVRによる表示にて2～3フレーム（33,33ms～50.00ms）でしたが、音声の遅延は50ms～100ms程度となり、音声は映像より大きく遅延することになります。
ビデオキャプチャカードを使ってPC画面でゲームをプレイしようとしたとき映像の遅延に付いて良く訊かれますが、実際は映像より音の遅延の方が深刻で音ゲーや格ゲーで音に頼ってプレイするのが難しいのはこのためではないでしょうか。逆に音に頼らないスタイルであれば映像の遅延と言うのは世間一般で言われているほど大きくはないので満足にプレイできるケースが多いと思います。
同じキャプチャカード（同じジャンルのゲーム）でも問題なくプレイできる（遅延は感じない）という人と、まともにプレイできないと主張する人に分かれるのは、その人の感覚次第でもありますが音に頼っているかどうかもポイントのように思います。
余談になりますが、アマレコTVと他のビデオキャプチャソフトの大きな違いとして、“累積遅延”と“映像と音声の同期”の２つがあります。累積遅延は30分とか1時間使っているとだんだんと音声がずれてきたり、遅延が大きくなる現象です。アマレコTVでは遅れた分を取り戻す仕組みとして“可変再生速度”と言う機能が働くので累積遅延は一定以上生じません。また、映像と音声の同期については遅れている方に合わせて再生するのが一般的となっています。例えば映像が50msの遅延、音声は100msの遅延であるなら映像もわざと100ms遅延させて映像と音声を同じタイミングで再生します。しかし、アマレコTVでは同期を取らないため、映像は50ms、音声は100msとずれたまま再生するようになっています。ビデオキャプチャカード付属のソフトからアマレコTVに替えると遅延が減るのはこのあたりが関係しています。
５．音声遅延の回避策
最後に音声の再生遅延をゼロにする方法を紹介します。
ビデオキャプチャカードの音声入力を使わずサウンドカードのライン入力を使う事で、ライン入力とライン出力の間を直接接続できるので遅延0で音声を聴くことができます（サウンドカードやOSによりできない場合があるかもしれません）。
1) ゲーム機のライン出力とサウンドカードのライン入力を接続します。ビデオキャプチャカードにはS端子など映像系のみ接続します。
2) サウンドカードの録音プロパティでライン入力のミュートを解除します。この時点でゲーム機の音が再生されます。
3) アマレコTVのオーディオキャプチャデバイスでサウンドカードのライン入力を指定します。
4) アマレコTVのプレビューを開始するとゲーム音が二重に聞こえるのでアマレコTVのツールバーでミュートします。
SC-500N1/DVI その１３ 録音テスト
SC500の対応状況の中で「・ビデオデータとオーディオデータのタイミングが合わない。」と書きましたが、その原因のひとつがオーディオのサンプリングレートに問題があるのではないかと思われるのでテストしてみました。
なお、ビデオデータとオーディオデータのタイミングが合わないと、アマレコTVで録画したときに映像と音声のズレを補正するためのフレームの増減が生じます（ステータス欄の(+)や(-)）。
１．テスト方法
携帯音楽プレイヤーをビデオキャプチャカードまたはサウンドカードのアナログ音声入力に接続して音楽を再生します。
ビデオ信号はプレイステーション2用のゲームの480iをコンポーネントで接続しキャプチャします。
この状態でアマレコTVで録画します。
録画してできたビデオファイルからAviUtlを使ってwavファイルを作成します。
Audacityを使ってwavファイルの波形を観察して判断します。
２．結果
サウンドカードを使って録音した波形を基準にし各ビデオカードがどの程度ずれているかを見ます。
全体像です。音楽の開始位置（左端）を揃えてあります。
音楽の終了位置を拡大します。
サウンドカードで録音したものは約4分41秒のところで音楽が終わっています。
SC500はサウンドカードと比べて約0.005秒短くなっています。
SD-USB2CUP4はサウンドカードと比べて約0.035秒長くなっています。
※SD-USB2CUP4は音圧が合わず、音楽の開始位置を正確に合わせることができませんでした。そのため誤差が含まれています。
３．まとめ
SD-USB2CUP4の4分41秒あたり0.035秒と言うズレは1時間で約15フレーム（1フレームは0.033秒）のズレとなります。 個人的には1時間で15フレームのズレなら妥当と思っています。
一方、SC500はもっと精度が高いので映像と音声のズレは小さくなるはずですが、実際は4分41秒で 14フレームずれました。これは1時間に換算すると194フレームと非常に大きなズレとなります。
2011.11.6現在のSC500には映像ドロップの不具合がありますので、録画中に映像が不足し、その分が補正されたと見るのが妥当なのですが、映像ドロップが修正されても（補正なしでは）音ズレする動画になってしまう可能性がSC500にはあります。今回その原因が音声のサンプリングレートの僅かな狂いでは？と思いテストを行いましたが、サンプリングレートの異常は見られませんでした。
とりあえずSC500のオーディオキャプチャ周りはうまく機能していると思われるので、映像ドロップが修正され次第、再度検証してみたいと思います。
なお、ビデオデータとオーディオデータのタイミングが合わないと、アマレコTVで録画したときに映像と音声のズレを補正するためのフレームの増減が生じます（ステータス欄の(+)や(-)）。
１．テスト方法
携帯音楽プレイヤーをビデオキャプチャカードまたはサウンドカードのアナログ音声入力に接続して音楽を再生します。
ビデオ信号はプレイステーション2用のゲームの480iをコンポーネントで接続しキャプチャします。
この状態でアマレコTVで録画します。
録画してできたビデオファイルからAviUtlを使ってwavファイルを作成します。
Audacityを使ってwavファイルの波形を観察して判断します。
| デバイス | 品番 | 備考 |
| サウンドカードのライン入力 | CMI8738-6CHLP2 | ビデオキャプチャデバイスはSD-USB2CUP4 オーディオキャプチャデバイスはCMI8738-6CHLP2 としてアマレコTVで録画 |
| キャプチャカード１ | SC-500N1/DVI | |
| キャプチャカード２ | SD-USB2CUP4 |
| OS | WindowsXP Professional SP3 |
| MB | M3N78-EM |
| CPU | AMD Phenom(tm) 8750 Triple-Core Processor 2.4GHz |
| MEMORY | DDR2-800 2GB(2GB*1) |
| HDD | WD10EADS-00M2B0 1TB, 5400rpm |
| キャプチャカード | SC-500N1/DVI Driver 1.1.0.108.0 SD-USB2CUP4 Driver 5.2009.917.0 |
| アマレコTV | Ver2.20b |
２．結果
サウンドカードを使って録音した波形を基準にし各ビデオカードがどの程度ずれているかを見ます。
全体像です。音楽の開始位置（左端）を揃えてあります。
音楽の終了位置を拡大します。
サウンドカードで録音したものは約4分41秒のところで音楽が終わっています。
SC500はサウンドカードと比べて約0.005秒短くなっています。
SD-USB2CUP4はサウンドカードと比べて約0.035秒長くなっています。
※SD-USB2CUP4は音圧が合わず、音楽の開始位置を正確に合わせることができませんでした。そのため誤差が含まれています。
３．まとめ
SD-USB2CUP4の4分41秒あたり0.035秒と言うズレは1時間で約15フレーム（1フレームは0.033秒）のズレとなります。 個人的には1時間で15フレームのズレなら妥当と思っています。
一方、SC500はもっと精度が高いので映像と音声のズレは小さくなるはずですが、実際は4分41秒で 14フレームずれました。これは1時間に換算すると194フレームと非常に大きなズレとなります。
| VT=281491(8449f), Cap= 8787f( 0D), Enc= 1.283ms, Siz= 137KB( 20%) , Drp=0, (+)14, (-)0, o (+)は映像と音声の同期を取るため追加したフレーム（Nullフレーム）数です。 このログから、録画を開始して4分41秒後（281491ms）の段階で14フレーム分映像が不足していることが分かります。（1フレームは0.033秒） |
2011.11.6現在のSC500には映像ドロップの不具合がありますので、録画中に映像が不足し、その分が補正されたと見るのが妥当なのですが、映像ドロップが修正されても（補正なしでは）音ズレする動画になってしまう可能性がSC500にはあります。今回その原因が音声のサンプリングレートの僅かな狂いでは？と思いテストを行いましたが、サンプリングレートの異常は見られませんでした。
とりあえずSC500のオーディオキャプチャ周りはうまく機能していると思われるので、映像ドロップが修正され次第、再度検証してみたいと思います。
