スマホカメラのISPとは?画像処理パイプラインの全体構成と主要ブロックを図解

スマホカメラで撮影した写真は、イメージセンサーのRAWデータをそのまま表示しているわけではありません。では、色や明るさ、ノイズはどこで調整されるのでしょうか?その中心となるのがISPです。本記事では、スマホカメラのISPパイプライン全体を図で示し、BLC・DPC・LSC・デモザイク・色補正・ノイズ低減など、主要ブロックの役割を分かりやすく解説します。

スマホカメラのISPとは?どのような役割があるのか

スマートフォンで写真を撮影すると、色鮮やかでノイズの少ない画像が保存されます。

しかし、イメージセンサーが出力するRAWデータは、そのままでは普段見ているような写真にはなりません。

RAWデータに対して、色の補正やノイズの低減、明るさの調整など、さまざまな画像処理を行う必要があります。

この画像処理を担当しているのが、**ISP(Image Signal Processor)**です。

ISP(Image Signal Processor)とは?

ISPとは、日本語で「画像信号処理プロセッサ」と呼ばれるもので、イメージセンサーから出力された画像データを処理するための回路です。

最近のスマートフォンでは、SnapdragonやDimensityなどのSoCにISPが搭載されています。

ISPでは、主に次のような処理が行われます。

  • 黒レベルや欠陥画素の補正
  • レンズによる周辺減光の補正
  • ノイズの低減
  • RAWデータからRGB画像への変換
  • ホワイトバランスや色の補正
  • 明るさやコントラストの調整
  • 輪郭強調などの画質調整

このように、ISPには非常に多くの画像処理ブロックが搭載されています。

また、最近のスマートフォンでは、HDRや複数フレーム合成、AIによる画質改善なども組み合わされています。

これらはISPだけでなく、CPU・GPU・NPUなどと連携して処理される場合もあります。

イメージセンサーから写真ができるまで

それでは、スマートフォンのカメラで撮影した画像が、どのようにISPへ送られるのかを確認してみましょう。

一般的なスマートフォンでは、次のような構成になっています。

① イメージセンサー

レンズから入射した光を電気信号に変換します。AD変換後、ベイヤー配列などのRAWデータとして出力します。

↓

② MIPI CSI-2

イメージセンサーからSoCへ画像データを高速転送します。物理層にはD-PHYやC-PHYなどが使用されます。

↓

③ ISP(画像信号処理)

RAWデータに対して、ノイズ低減、デモザイク、色補正、階調補正などを行い、表示や記録に適した画像へ変換します。

↓

④ 画像出力・保存

処理された画像は、プレビュー表示に利用されたり、JPEG・HEIFなどの形式に圧縮されて保存されたりします。

この処理を図で表すとこのようなイメージになります。

このように、イメージセンサーが光を電気信号に変換し、MIPIで転送されたRAWデータをISPで処理することで、私たちが普段見ている写真が作られます。

なお、実際のスマートフォンでは、イメージセンサー側でも一部の補正処理が行われることがあります。また、画像の圧縮や保存はISPとは別の回路やソフトウェアが担当する場合もあります。

では、ISPの内部では、具体的にどのような順番で画像処理が行われているのでしょうか。

次の章では、ISPのパイプライン全体をブロック図で確認していきます。

ISPの画像処理パイプラインの全体構成

前の章では、イメージセンサーから出力されたRAWデータが、MIPI CSI-2を経由してISPへ送られることを説明しました。

それでは、ISPの内部ではどのような画像処理が行われているのでしょうか?

ISPには多くの画像処理ブロックが搭載されており、それぞれが役割を分担しながら画像を処理しています。

このように、複数の画像処理ブロックを組み合わせた処理の流れをISPパイプラインと呼びます。

ISPパイプラインの全体ブロック図

まずは、一般的なISPの画像処理パイプラインを確認してみましょう。

ISPの基本的な処理は、大きく分けると次のような流れになります。

① RAW処理

BLC → DPC → LSC → RAW NR → WB Gain

↓

② デモザイク処理

Demosaic(RAW → RGB)

↓

③ RGB処理

CCM → Tone Mapping → Gamma

↓

④ YUV処理・画像仕上げ

CSC(RGB → YUV)→ NR / Sharpening

↓

⑤ 画像出力

プレビュー表示 / JPEG・HEIF保存など

※各ブロックの処理順序は説明用の代表例です。実際のISPでは処理の配置や順序が異なる場合があります。

ここで、BLCやDPCなど、初めて見る専門用語がいくつか出てきました。

これらは画像処理ブロックの名称を英語で表したもので、それぞれ次のような意味になります。

略語正式名称日本語での意味
BLCBlack Level Correction黒レベル補正
DPCDefect Pixel Correction欠陥画素補正
LSCLens Shading Correctionレンズシェーディング補正
RAW NRRAW Noise ReductionRAW画像のノイズ低減
WB GainWhite Balance Gainホワイトバランス用のゲイン調整
CCMColor Correction Matrix色補正マトリクス
CSCColor Space Conversion色空間変換
NRNoise Reductionノイズ低減

それぞれの処理には異なる目的がありますが、ここでは名前と大まかな役割が分かれば十分です。

各ブロックの具体的な機能については、次の章で順番に説明していきます。

RAW処理・RGB処理・YUV処理の3つに分けて理解する

ISPには多くのブロックがありますが、処理する画像データの形式に注目すると、理解しやすくなります。

RAW処理

イメージセンサーから入力されたベイヤーRAWデータに対して、黒レベル、欠陥画素、周辺減光、ノイズなどを補正します。

この段階では、まだ各画素のRGB情報はそろっていません。

RGB処理

デモザイクによって各画素のRGB値を生成し、色補正や階調調整などを行います。

撮影した画像の色合いや明るさを調整する処理です。

YUV処理

RGB画像をYUV形式へ変換し、必要に応じてノイズ低減や輪郭強調などを行います。

YUVは輝度情報と色差情報に分けた画像形式で、動画処理や画像圧縮などにも広く利用されています。

なお、ノイズ低減や輪郭強調は必ずYUV変換後に行われるわけではありません。RAWやRGB段階でも処理される場合があります。

ここまでで、ISPの画像処理パイプラインの全体像が見えてきたと思います。図示すると、このようになります。

次の章では、このパイプラインに登場したBLC、DPC、LSC、Demosaic、CCMなどの主要ブロックについて、それぞれの役割を簡単に説明していきます。

ISPの主要ブロックとその役割を簡単に解説

前の章では、ISPの画像処理パイプラインをRAW処理、RGB処理、YUV処理の3つに分けて説明しました。

それでは、それぞれのブロックでは具体的にどのような処理を行っているのでしょうか?

ISPには多くの画像処理ブロックがありますが、今回は基本的なものに絞って、役割を簡単に紹介していきます。

RAW処理の主要ブロック

RAW処理では、イメージセンサーから出力された画像データに含まれるオフセット、欠陥画素、周辺減光、ノイズなどを補正します。

BLC(Black Level Correction:黒レベル補正)

イメージセンサーから出力されるRAWデータには、光が入っていなくても一定の黒レベルが含まれています。このオフセットを補正し、黒を基準とした適切な信号レベルに調整します。

DPC(Defect Pixel Correction:欠陥画素補正)

イメージセンサーに存在する欠陥画素を補正する処理です。周囲の画素情報などを利用して、白点や黒点として現れる異常な画素値を補正します。

LSC(Lens Shading Correction:レンズシェーディング補正)

レンズの周辺減光や色むらを補正する処理です。画面中心から周辺に向かって変化する光量や色の特性に応じて、画素ごとのゲインを調整します。

RAW NR(RAW Noise Reduction:RAWノイズ低減)

RAWデータに含まれるランダムノイズなどを低減する処理です。ノイズを減らしながら、画像の細かな情報をできるだけ残すことが求められます。

WB Gain(White Balance Gain:ホワイトバランスゲイン)

光源によって生じる色の偏りを補正するため、R・G・Bの信号にそれぞれゲインを掛けます。一般的にはRAW領域で処理されます。

RGB処理の主要ブロック

RAW画像の補正が終わると、次は各画素のRGB値を生成し、色や明るさを調整します。

Demosaic(デモザイク処理)

ベイヤー配列のRAWデータから、各画素のR・G・Bの値を補間して生成する処理です。この処理によって、各画素がRGB情報を持つカラー画像へ変換されます。

CCM(Color Correction Matrix:色補正マトリクス)

イメージセンサー固有の色特性を補正する処理です。一般的には3×3のマトリクス演算によってRGB値を変換し、目標とする色再現に近づけます。

Tone Mapping(トーンマッピング)

画像の明るい部分から暗い部分までの階調を調整する処理です。特にHDR画像では、広いダイナミックレンジを表示や記録に適した階調へ変換する役割があります。

Gamma(ガンマ補正)

画像の階調特性を非線形に変換する処理です。一般的には色補正などの線形処理を終えた後に配置され、表示や記録に適した明るさの特性へ変換します。

画像仕上げ・出力処理の主要ブロック

色や明るさの補正が終わると、ノイズや輪郭などを調整し、表示や保存に適した画像データを生成します。

CSC(Color Space Conversion:色空間変換)

RGB画像をYUVなどの色空間へ変換する処理です。YUVは輝度成分と色差成分に分けて画像を表現する形式で、動画やJPEGなどで広く使用されています。

NR(Noise Reduction:ノイズ低減)

画像に含まれる輝度ノイズや色ノイズを低減する処理です。RAW NRと同様に、ノイズ低減と細部の解像感を両立することが求められます。

Sharpening(シャープネス処理)

画像の輪郭や細部を強調し、解像感を調整する処理です。ただし、強調しすぎると輪郭が不自然になったり、ノイズが目立ったりする場合があります。

JPEG / HEIF(画像圧縮・保存)

ISPで処理された画像は、必要に応じてJPEGやHEIFなどの形式へ圧縮され、保存されます。圧縮処理は、ISPとは別のハードウェアやソフトウェアで行われる場合もあります。

なお、ここで紹介したのは代表的なISPブロックです。実際のISPでは、SoCメーカーや製品によって処理順序や搭載されるブロックが異なります。

また、RAW処理とRGB処理、YUV処理のどの段階でノイズ低減や輪郭強調を行うかも、ISPの構成によって変わります。

今回は各ブロックの役割を簡単に紹介しましたが、それぞれの処理にはさまざまなアルゴリズムがあります。詳しい処理方法については、今後、個別の記事で説明していきたいと思います。

最近のスマホISPに追加される高度な画像処理

ここまで、ISPの基本的な画像処理パイプラインと、それぞれのブロックの役割を紹介してきました。

しかし、最近のスマートフォンでは、これらの基本処理だけでなく、HDRや複数フレーム合成、AIを利用した画像処理など、さらに高度な処理が行われています。

また、撮影時の露出やフォーカスを自動調整する制御機能も重要です。

ここでは、基本的なISPパイプラインと連携する代表的な機能を紹介します。

AE・AWB・AFなどの3A制御

スマートフォンのカメラでは、撮影時に明るさや色、ピントが自動的に調整されます。

これらの自動制御は、まとめて3A制御と呼ばれています。

  • AE(Auto Exposure):自動露出制御。シャッタースピードやゲインなどを調整します。
  • AWB(Auto White Balance):自動ホワイトバランス。光源に応じて色のバランスを調整します。
  • AF(Auto Focus):自動フォーカス。レンズ位置を調整してピントを合わせます。

3A制御は最近追加された機能ではなく、従来から使われているカメラの基本機能です。

ISPなどから得られる画像の統計情報を利用して撮影条件を決定します。そのため、前章で紹介した直列の画像処理ブロックとは少し役割が異なります。

なお、AWBは適切なホワイトバランスを決定する制御処理であり、前章のWB Gainは決定されたゲインを画像に適用する処理です。

HDR・マルチフレーム合成

最近のスマートフォンで重要になっているのが、HDR(High Dynamic Range)とマルチフレーム合成です。

例えば、逆光のシーンでは、空に露出を合わせると人物が暗くなり、人物に合わせると空が白飛びしてしまうことがあります。

HDRでは、露出時間の異なる画像情報などを組み合わせることで、明るい部分と暗い部分の両方を表現できるようにします。

また、複数フレームを位置合わせして合成することで、ノイズを低減し、SNRを改善する処理も利用されています。

ただし、HDRにはイメージセンサー側で異なる露出情報を取得する方式や、複数フレームを合成する方式などがあり、すべてが同じ仕組みではありません。

AIを活用した画像処理

さらに最近のスマートフォンでは、AIを活用した画像処理も取り入れられています。

例えば、AIによるノイズ低減(AI-NR)では、画像の特徴を利用してノイズを抑えながら、細かな模様や輪郭を残す処理が行われます。

また、人物や空などの被写体を認識し、領域ごとに異なる画像処理を行う技術もあります。

これらのAI処理は、ISPだけで実行されるとは限りません。SoCに搭載されたNPU(Neural Processing Unit)やGPUなどと連携して実現する場合もあります。

つまり、最近のスマートフォンでは、基本的なISPパイプラインに、HDRやAIなどの高度な処理を組み合わせることで画質を改善しているというわけです。

ただし、どのような処理が搭載され、どの段階で実行されるかは、SoCやスマートフォンの機種によって異なります。

まとめ|ISPを理解するには全体の処理の流れを知ることが大切

今回は、スマートフォンカメラに搭載されているISP(Image Signal Processor)について、画像処理パイプラインの全体構成と主要ブロックの役割を紹介しました。

ISPには非常に多くの画像処理ブロックがありますが、基本的な流れは次の3つに分けて考えると分かりやすくなります。

  • RAW処理:黒レベル、欠陥画素、周辺減光、ノイズなどを補正する
  • RGB処理:デモザイクによってRGB画像を生成し、色や階調を調整する
  • YUV処理:表示や記録に適した形式へ変換し、ノイズ低減や輪郭強調などを行う

実際のISPでは、処理の順序や搭載されるブロックはSoCによって異なりますが、まずはこの全体の流れを理解しておくことが大切です。

また、最近のスマートフォンでは、基本的なISP処理に加えて、HDRやマルチフレーム合成、AIを利用した高度な画像処理も組み合わされています。

今回は各ブロックの役割を簡単に紹介するにとどめましたが、実際にはそれぞれにさまざまな処理方式やアルゴリズムがあります。

今後は、BLC・DPC・LSC・デモザイク・CCM・ノイズ低減などについて、具体的にどのような演算を行い、画質にどのような影響を与えるのかを、図や具体例を使いながら個別の記事で解説していきたいと思います。

コメント

タイトルとURLをコピーしました