本記事では、スマホカメラやドライブレコーダにもほぼデフォルトで搭載されているHDRとは何かをエンジニア観点で解説していきたいと思います。HDRを語る上で、始めにカメラのダイナミックレンジと露光制御の解説をし、HDRの仕組み、最後にHDRの弱点とそれを克服する為の次世代技術に関しても触れたいと思います。
カメラのダイナミックレンジとは
HDR説明する前に、カメラのダイナミックレンジと露光時間について説明したいと思います。ダイナミックレンジの定義は下記となります。
ダイナミックレンジ：一度の撮影で写せる明るさの範囲
世の中には様々な光があります。最も明るい光は太陽、最も暗い状態は遮光された暗闇、その中間地点に、室内の照明や空、それ以外にも街灯や車のヘッドライト、様々です。人はそれらの光を同時に見た時に、概ねほとんどの明るさを同時に見る事は出来ますが、カメラで撮影した時に、空が真っ白になってしまったり、影が真っ暗で分からなくなってしまうという現象を経験した事があると思います。例えば下の写真ですが、トンネルの中の明るさと出口の明るさに差がある為、出口が真っ白で見えなくなっている事が分かります。
そのようになってしまうのは、カメラのダイナミックレンジが狭い為です。イメージは下の図のようであり、世の中の明るさに対し、一度に識別できる明るさの範囲が、人とカメラで差がある為に、人が目でみた映像よりも、明るい方、暗い方が見えず、明るい方は「白飛び」暗い方は「黒潰れ」という現象が発生します。
もう少しエンジニア観点で説明すると、イメージセンサの各画素に光が照射され、光電変換をするのですが、各画素のキャパを超えると、下の図のように電荷がいっぱいになってしまい、これ以上電荷が蓄えられない状態になります。こうなった状態が「白飛び」状態。逆に、電荷が少なすぎる状態を、「黒潰れ」の状態となります。この電荷の蓄える量をコントロールできる操作を露光制御と言います。
カメラの露光制御とは
カメラは光が照射されると、各画素に電荷が貯まり、それが満杯になると飽和してしまいます。ただ、飽和してしまう明るさが常に一定では、常にある特定の明るさを持った被写体は写せない、といった状態になってしまいます。それを防ぐために、カメラは蓄える量を時間でコントロールする事が可能です。例えば1000luxの明るさの光が照射されたとしましょう。1000luxの光で仮に飽和してしまったとした場合、光を蓄積する時間を半分にすれば、各画素に蓄えられる電荷の量を半分にする事ができ、飽和を抑える事が可能です。結果1000luxの被写体を白飛びなく撮像する事が可能です。
逆に、暗くて電荷が足りない時に、光の蓄積時間を倍に延ばせば、電荷は倍の量を蓄える事が可能となります。よくスマホやデジカメで夜景モードというモードがあり、手振れしやすいモードがあると思いますが、それは、露光時間が非常に長くなっている為、夜の暗い環境でも時間をかけて光を蓄える事が出来る事によって、綺麗に夜景が撮れるのですが、露光時間が長い為、露光中にカメラを動かしたり、被写体が動くとぶれたり残像が残るような見え方をします。
つまり露光時間を任意に変更する事で、世の中の明るさの多くは撮影できるようになりますが、一度の撮影で撮影できる明るさの範囲はどの露光時間の設定をしても変わりませんので、露光時間を早くすれば、より明るい光は白飛びさせずに写す事は出来る一方、逆に暗い方はより暗くなってしまいます。露光時間を長くすれば、暗い部分は黒潰れなく写す事は出来ますが、明るい光はすぐ飽和してしまいます。そこで登場したのがHDRという技術です。
HDRとは
HDRとは、ハイダイナミックレンジの事で、名前の通り意味は下記となります。
HDR（ハイダイナミックレンジ）：ダイナミックレンジを広げる事=
２つ以上の異なる露光時間で撮影した映像を合成し、ダイナミックレンジを広げる技術
今までの説明で露光時間を変更すれば撮影できる明るさの位置を変更できる事が分かりました。。この原理を利用し、露光時間の速い映像と遅い映像を合成し、１回の撮影で写せる範囲を広げる事。これをハイダイナミックレンジの技術と言います。イメージは下の図のようになります。
このように合成する事で、露光時間が早いフレームは明るい場面がしっかり写り、露光時間が遅いフレームは暗い場所がしっかり撮像出来ますので、それらを合成する事で、明るい場面、暗い場面が双方ともしっかり撮像出来るという仕組みです。
ただしここで課題があります。
HDRの課題
HDRは２つの露光時間の異なる映像を合成する技術です。露光時間を時系列で表すと下図のようになり、１回目の露光で画像を残した後、２回目の露光をし、それらを合成するという技術ですが、この図でも分かりますように１回目と２回目の露光時間のタイミングが違う。という事が課題です。
例えば１回目の露光の時間で写っていたものが、２回目の露光時に移動してしまった場合、それらの画像を合成しようとしても、片方の画像には写っており、片方の画像には写っていないわけですので、うまく合成が出来ません。また、被写体が高速に動いている場合も同様、1回目の画像と2回目の画像に違いが出てしまいますので、合成が上手くできなくなります。つまり、早く動く被写体や、高速に点滅しているようなに対しこの技術は有効ではない。という事です。
■課題解決手段
これらの課題の解決手段の１つとして、最近では、１つの画素に２つのフォトダイオードが入っているイメージセンサが現れました。感度の異なる２つのフォトダイオードに同じ明るさの光を照射する事で、露光時間は同じでも、明るさの異なる２つの画像を取得できるようになります。そうする事で、時間差によって発生する、「時間のズレ」の課題を解決できます。イメージは下の図です。各画素に２つのフォトダイオードが入っており、その２つのフォトダイオードの露光時間は同じであり、時間差が生まれない為、早く動く被写体においても、合成できるようになりました。
今までは、２枚の映像の合成と便宜的に記載していますが、それが３枚になったり、その他様々な手法でより広いダイナミックレンジを表現できるように、技術は進化しています。実際にHDRを使った画像例はこんな感じです。
このHDRの技術は、冒頭記載したように、スマホ、デジカメ、ドライブレコーダには最近は標準でついておりますが、それだけでなく、センシング用途に使われる、ロボット向け、監視カメラ向け、車の衝突安全向けのカメラでも活用されています、光が強すぎてセンシング出来なかったり、システムが誤動作してはいけませんので、このように、どのような光でも映像として映し出すという技術は非常に有用な技術です。こういった技術は今後もますます新しい物が出てくると予想されます。
その他、ISPに関する記事は下記参照頂けると幸いです。
参考：カメラの性能を決める、ISP(イメージシグナルプロセッサ)の機能と信号処理
参考：ISP（イメージシグナルプロセッサ）カメラの 黒レベル調整とは
記事が気に入って頂けたら、クリックして頂けると嬉しいです。
コメント