モノづくりエンジニアの為の、CMOSイメージセンサの基本原理

2021.04.282022.08.27

今回の記事ではカメラを構成する部品で欠かせない、CMOSイメージセンサの基本原理について、説明をしていきたいと思います。CMOSイメージャって何？どうやって動いていて光を集めているの？何で色が付けられるの？と思われている方、

そういった疑問にお答えしていきたいと思います。

エンジニアとして仕事を始めたばかりの方、カメラ関係の仕事に初めて就かれた方、もしくは昔からカメラ関連の業務はやっているけど、これまであまり意識して来られなかった方向けに、誰でも分かるように、ＣＭＯＳイメージセンサの種類と基本用語、動作の基本原理、なぜカラー画像が出せるのか？そういった内容を本記事では記載していこうと思います。

目次/Table of contents

CＭＯＳイメージセンサの種類と基本用語
CＭＯＳイメージセンサ、動作の基本原理
ＣＭＯＳイメージセンサで色が表現できる理由

CＭＯＳイメージセンサの種類と基本用語

モノづくりエンジニアの為のカメラモジュールの構造　や　自動運転に必要な車載カメラモジュールの５つ役割【自動運転には必須】の記事で説明をさせていただきましたが、カメラが動作する仕組みは簡単であり、

レンズで光を取り入れて、撮像素子に光を集める。そこで作られた映像を他のデバイスに送信する。

が基本的な仕組みです。下の図のように、レンズ、イメージセンサ、ISP（これは無い場合もある）で構成されています。本項目ではこれら構成の中で、コアな部品である、イメージセンサの基本用語と種類について、初級編として、説明させて頂きたいと思います。

※イメージセンサにはCMOSイメージセンサとCCDイメージセンサがありますが、CCDは2021年時点ではほとんど使われていない為、CMOSイメージセンサに絞ってまずは説明したいと思います。

基本用語

チップサイズ
- CMOSイメージャのチップそのもののサイズ
総画素数
- イメージセンサ上で構成される全領域（有効画素＋オプティカルブラック）の画素の総計
有効画素数
- 総画素数の中で、映像信号として光を集める事が出来る画素の総計
- カタログ表記されている画素数
実効(記録)画素数
- 有効画素の中で、実際に記録される画素数
オプティカルブラック
- 総画素「２」から有効画素「３」を引いた部分の画素。光が入らない様に遮光されており、黒色の基準を規定する為の画素領域
オンチップレンズ
- 各画素の上に取り付けられており、光を各画素に集光する為のレンズ
カラーフィルタ
- オンチップレンズの下に取り付けられており、R,G,Bそれぞれの波長のみを透過する為のフィルタ
フォトダイオード
- 光を蓄える素子。

CMOSイメージャの種類

ローリングシャッタ
- １ラインづつ露光と掃き出しを繰り返すイメージャ（原理は後述します）
グローバルシャッタ
- 前画素同時露光が可能なイメージャ（CCDと同じ動作。原理は後述）

CＭＯＳイメージセンサ、動作の基本原理

それではCMOSイメージャの動作の基本原理を、上のトピックの基本用語を用いて、説明していきたいと思います。まずはじめに、光を集光をする原理を説明し、その後に、少し特長的な光を集光(露光）する時の時系列的なタイミングに関して、CMOSイメージャの種類ごとに説明をしていきたいと思います。

誰でも分かる光の集光原理の基本
1. 有効画素に光を受光
2. オンチップレンズでその光が集光される「６」
3. カラーフィルタを通し、必要な波長のみが透過される。「７」
4. フォトダイオードに光が蓄積される「８」

以上です。すごく簡単ですね。

光の露光方法
- グローバルシャッタ：全画素同時露光
- ローリングシャッタ：ライン毎露光

光を「８」のフォトダイオードで蓄積（露光）する方法は上の通り２種類あります。（CMOSイメージセンサの場合は、ローリングシャッタの方が多い）上に記載した集光原理に従って光が入ってくるのですが、その光を蓄える方法として、全画素同時に露光（光の蓄積）する方式を、グローバルシャッタ方式と言い、ライン単位で露光（光の蓄積）する方式をローリングシャッタ方式と言います。こういった方式の違いにより、メリットとデメリットが生まれます。

グローバルシャッタ方式

メリット：露光時間が同時なので、撮像した画像に同時性があり、歪まない（下図）
デメリット：高価（露光した電荷を吐き出すまでに一定時間保持する必要がある為、その仕組みの導入によりサイズが大きく高価）

ローリングシャッタ方式

メリット：小型で安価（光を露光した物をそのまま吐き出していくため、回路が簡単）
デメリット：露光時間がラインごとになるので、左上の画素と右下の画素を比べると、時間差が大きい。結果早い被写体を写すと、歪んが画像になってしまう。(下図)

ＣＭＯＳイメージセンサで色が表現できる理由

それでは最後に、なぜCMOSイメージセンサでカラーが表現できるのか？について説明していきたいと思います。今までの説明で概ね説明してきましたが、イメージセンサにはカラーフィルタが付いています。そのカラーフィルタは多くは「R」「G」「B」のフィルタが用いられております。(※中には違う物もあります）その「R」「G」「B」のフィルタを通した光はその波長しか含まれていない為、この３原色を使って、様々な色を再現します。

下の図はイメージセンサの各画素に取り付けられているフィルタのイメージです。このまま出力してしまうと、各画素、「R」「G」「B」の色情報しか含まない画像が出力されてしまいますので、これらのRGBの画素「ISP（Image Signal Processor）」を使ってその他の色を作っていきます。

変換の１つの方法として、RGB→YUVへの変換を実施します。YUVとは聞きなれないかもしれませんが、Ｙが輝度信号、ＵＶが色信号で、下の図の黄色やピンクの点線で囲んだ４画素のRGB画素を使って、YUVのデータを生成します。(フォーマットに関しては中級編でまた説明したいと思います。)

具体的な計算式は下記。

　Y =  0.299 x R + 0.587  x G + 0.114  x B
　U = -0.169 x R - 0.3316 x G + 0.500  x B
　V =  0.500 x R - 0.4186 x G - 0.0813 x B

初級編の本記事では、フォーマットに関しては言及しませんが、こうして、RGB画素に蓄えられた、「R」「G」「B」それぞれの波長の光を、イメージセンサの中で光電変換（光を電気に変換）し、その後にISPにより、YUVへ変換し、そのデータを伝送する事で、色を再現する事（カラーの写真を撮る事）を実現しています。

✓まとめ

本記事ではＣＭＯＳイメージセンサの種類と基本用語、動作の基本原理、なぜカラー画像が出せるのか？について記載しました。この仕組みはCMOSイメージセンサが開発されてから、ずっと同じ原理で数十年使われ続けています。原理はものすごく簡単なのに、今だに日本メーカであるソニーが世界シェアNo1である。という事実に関して、私は本当にすごい事だと思います。多くの技術が海外に流れている中で、このイメージセンサの技術は他社の追従を許さず、ずっとトップランナーで走り続けています。このイメージセンサがipnoneにも使われ、Toyotaの車にも使われているのです。

これってすごい事だと思います。

私は日本の技術が好きです。今後も本カメラ技術は日本が世界一のまま走り続けられる事を祈りつつ、私も精進していきたいと思っています。

Youtubeでも解説しています↓