【次世代】RGB-IRイメージセンサ―とAIを活用した、車室内カメラ

近年、多くの自動車メーカから「ドライバーモニタリングシステム」が製品化されてきています。その一歩先をいく、ドライバーだけでなく、特に後部座席の幼児や子供を見守る目的もある、車室内をモニタリングする車室内カメラのシステムについて、本記事では取り上げていきたいと思います。

ドライバモニタリングシステムと何が違うの?という機能面を中心に、その後少し踏み込んで、ものづくりエンジニアの為にこのカメラ独特のRGB-IRというイメージセンサについて触れていきたいと思います。

スポンサーリンク

車室内カメラとは

車室内カメラとは、バックミラー等の少し高い位置に取り付けられ、ドライバーだけでなく、助手席や後部座席すべての乗員をモニターするカメラです。

ドライバーをモニタリングする機能に加え、例えば、後部座席の子供が不注意にシートベルトを外すと、カメラが感知し、ドライバーに警告をしたり、駐車場で子供が車内取り残されないように監視したり、そういった、社会問題を解決する為に、非常に重要なカメラです。

こららの映像情報とAIとの組み合わせで、複雑な身体と顔の分析を行い、搭乗者の行動のモニタリング、物体検知等を実施します。

もちろん昼も夜間も同様モニタリングをしますので、昼は外の明かりを使って、カメラで乗員を撮像するのですが、夜間は照明が無い為、照明が必要です。

ただし、普通の照明を使ってしまうと、車内が明るく照らされてしまう為、下記の2つの記事で説明したように、赤外照明を活用される場合が多いです。

この車室内カメラが、下記の記事で説明させていただいた、ドライバーモニタリングシステムや、静脈認証システムと異なる点は、赤外照明を使って、夜間は映像を写し、昼は太陽の光をつかってカラーの映像を撮像する。といった2つの機能を1つのカメラで持たせる必要があるというところに違いがあります。

->最強のセキュリティをもつ生体認証・静脈認証の仕組みとカメラの仕様

そこで登場するのが、RGB-IRイメージセンサです。下記イメージセンサの記事で説明させて頂いたように、通常イメージセンサーはRGBのカラーフィルタで構成されているのですが、本RGB-IRイメージセンサというのは、RGBのフィルタに追加し、IR(赤外線用)フィルタが付いており、昼間は太陽の光でカラー画像を撮像し、夜間は赤外光を使い、見えない光で車内を照らし撮影する。この1人2役の機能を実現させております。その構造の詳しい説明は、最後のトピックで詳しく説明していきたいと思います。

->モノづくりエンジニアの為の、CMOSイメージセンサの基本原理

スポンサーリンク

車室内カメラとドライバモニタリング用カメラの違い

それでは、ドライバーモニタリングカメラと車室内カメラの代表的な機能の違いを説明していきたいと思います。重複する部分も多くありますが、各代表的な機能は、次の表のようになります。ドライバモニタでできる機能は、ほとんど車室内カメラでできてしまう。という優れものです。

判定の意味は次の通りです。

〇:機能あり

△:機能つけれるが、性能は?

×:機能なし

機能説明ドライバモニタ車室内カメラ
居眠り判定ドライバモニタリングの基本的な機能。ドライバが眠っているかどうかを判定。
眠気判定居眠り判定に近いですが、ドライバがどの位眠そうかを判定。眠るまでの過程を段階的に判断します。
脇見判定ドライバモニタリングの基本機能。ドライバがわき見をしているかどうかを判定。
ドライバ異常状態判定ドライバに異常な状態が発生していないかを判定。
例えば発作が起きて運転出来ない状態になってしまった時、気絶してしまった時、このような異常状態を判断します。
注視方向判定主に視線方向を識別して、ドライバがどこを向いているかを判断します。
例えば顔は正面を向いていて、視線はナビを見ている。といった状況の時、それは運転に注視していない。(脇見)という判定をする事になります
顔認識スマホの顔認識同様。個人の特定をする為に用いられます。
車の場合、個人を特定し、運転席やミラーを自動調整したり、例えば盗難防止で、車のオーナーではない場合はエンジンが始動しない。といった使い方が考えられます。
表情判定こちらは応用機能です。顔の表情を認識し、ストレスのある時は軽減するような音楽をかけたり、暑そうであればエアコンの温度を下げたり。そういった機能です。
ジェスチャ判定これはドライバのモニタリングとは少し変わってしまいますが、応用編として、しぐさを判断する機能です。例えばナビのスクロール時にナビを触らなくてもジェスチャだけで操作。
といった事も出来るようになるかもしれません。
姿勢判定後部座席含めた乗員の姿勢の判定機能。例えば電話をしている、食べ物を食べている。等×
シートベルト判定全席、シートベルトをしているかどうかの判定×
チャイルドシート判定チャイルドシートがあるかどうかの判定(忘れ物判定と類似)×
乗員有無判定乗員の有無判定。上のトピックで書いたように、子供が閉じ込められたような場合に判定し、スマホで知らせる、通報する、扉を開ける。といった救出策も可能。×
忘れ物判定傘、財布、スマホ等の忘れ物検知。特にロボットタクシー等の活用時には、こういった判定機能は重要だと思われる。×

RGB-IRイメージセンサの仕組み

それでは、エンジニアの皆様向けに、この車室内カメラの仕様を深堀していきたいと思います。

基本的な仕組みは、ドライバーモニタリングシステムと似ておりますが、大きく異なる点がRGB-IRイメージセンサとなります。RGB-IRイメージセンサとは、下記図の「3」のように、RGBのフィルタに追加しIR(近赤外の波長のみ透過するフィルタ)が装備されてるイメージセンサとなります。つまり、

  • RGBの画素をつかって、カラー画像を撮像。
  • IR画素を使って、赤外照明の画像を撮像

といったように、カラー画像も、赤外の画像も1つのイメージセンサ―で取得できる優れたイメージセンサとなります。こういった新しい技術を活用して、撮影された画像をAIを用いて、人や物を検知したり、しぐさを検知したりする事が可能となります。

それぞれ1~4について簡単に説明していきたいと思います。

  1. レンズ(カメラ部)
    • レンズに関しては「まずはこれだけで合格点。カメラを設計する為のレンズの基礎知識」の記事で基本的な内容を説明させて頂きました。その内容と概ね同じですが、1点だけ違いがあり、それは可視光も赤外光も撮像可能なハイブリッドなレンズである事です。上の図に示しますように、RGB及びIR(赤外)の双方を撮像する必要がある為、どちらの帯域も収差なく撮像できるレンズが必要となります。
  2. デュアルBPF(デュアルバンドパスフィルター)
    • ドライバーモニタリングシステムの場合は赤外光しか扱わなかった為、赤外線以外光をカットする(透過させず、イメージセンサには取り込まないようにする)ようなBPFをつけますが、このRGB-IRイメージセンサの場合は可視光も透過しなければいけませんので、可視光は透過し、近赤外も透過する。ただし、それ以外は透過しない。といったような、2か所で光を透過できるようなフィルタが必要となります。それをデュアルバンドパスフィルタと呼びます。
  3. イメージセンサ
    • 上記記載の通りですので、ここでの説明は割愛致します。
  4. 赤外照明
    • 赤外照明です。こちらは夜間に目に見えない光で車内を照らすために活用されますが、昼間、光が十分な環境においては、消灯し、明るさが足りない場合に転送する。といった事が必要となります。別途ISP(Image Signal Processor)に関する記事で説明しようと思いますが、RGBの画素をそのまま出力すると、画像のそれぞれの画素が、赤、緑、青の色がそのまま出てしまいます。これらの3原色から、他の色を再現する為に、RGBからYUVにフォーマット変換する必要があり、その時に赤外の光が入ってしまうと、画面が赤っぽくなってしまうという弊害があります。その為、明るさが十分な時は赤外照明を消灯する必要があります。RGB→YUV変換に関しては下記のリンク参照。
    • モノづくりエンジニアの為の、CMOSイメージセンサの基本原理

✓まとめ

ドライバーだけでなく、特に後部座席も見守る事が出来る車室内カメラに関して説明させて頂きました。後部座席の子供が不注意にシートベルトを外した時に、カメラが感知し、ドライバーに警告をしたり、駐車場で子供が車内に取り残されないように監視したり、そういった、社会問題を解決する為に、非常に重要なカメラです。

また本カメラはRGB-IRイメージセンサとAIといった次世代技術が盛りだくさんで、今後社会的な普及を期待されています。こういった、人の為、社会の為となる技術はどんどん進化していってほしいと思います。

類似のドライバーモニタリングカメラの記事は下記。

参考:ドライバーモニタリング用カメラの仕様【自動運転時代には必須】

その他、カメラに関する記事は下記にまとめておりますので、ご覧いただけると嬉しいです。

参考:カメラに関する記事

記事が気に入って頂けたら、クリックして頂けると嬉しいです。

コメント

タイトルとURLをコピーしました