ソニーも狙っている、次世代センサ、ToF（Time of Flight ）センサの原理説明

ToF(Time of Flight)センサってご存知でしょうか？CMOSイメージャの売上高首位のソニーが次の稼ぎがしらとして力を入れているという事で、注目を浴び始めております。もともと民生向け、スマホ等で使われていた技術でしたが、CES2020で発表された、ソニーが提案した「VISION-S」という車にも使われているという事で、自動車業界をはじめ、様々な業界で注目を浴び始めております。

本記事では、ToFってなに？

といった疑問にお答えする為、ToFとはなに？というところから、動作原理、使われているデバイスの解説。といった内容で記載していきたいと思います。

ToF（Time of Flight)センサとは

ToFセンサとは、名前の通り、発した光や超音波が対象物に当たって帰ってくるまでの時間を使って被写体までの距離を測定できるセンサです。

様々な種類の物があり、単に一点の距離を測定する、という物もあれば、x-y平面上のエリア全域の距離を測定する。という物もあり、後者がメジャーになりつつあり、3DToFセンサと呼ばれています。

前者の一点測距は、スマホのフロント面のカメラの近くについており、例えば顔がスマホに近づいたら、その距離を測定し顔認証の為カメラを起動させる。という機能が一例としてあります。

後者のx-y平面上のエリア全域の距離の測定は、メジャーな使われ方としては次の1～４のような物があります。

また、撮像されたイメージは下の図のようであり、右が普通のカメラ（白黒）で撮像された画像、左がToFセンサを用いて撮像した画像です。（実際は生の画像ではなく、加工している）この色がついているのは、距離を視覚で分かるように加工されていますが、赤色が近い方、青色が遠くを表しており、この段ボールが写った画像を奥行方向の情報だけで表しています。

【3DToFセンサの使われ方例】

1. スマホで一眼レフカメラ並みのボケ写真を撮る
   • 写真を撮影する時にToFセンサで画面内の立体を識別し近い被写体と遠い被写体を識別し、遠い被写体を画像処理でボカす事で、一眼レフのようなボケ写真を撮る。
2. カメラAF（オートフォーカス）の高速化を実現する
   • スマホカメラのAFを実行する時、今までは、距離の測定が出来なかったため、レンズをゆっくり動かしながら、ピントが合う位置を自動で探し、一番ピントが合う位置にセットする。という制御をしていました。この方式だと、必ず一度はレンズを上下に動作する必要がある為、ピントを合わせるまでに必ずその時間がかかります。ToFでは距離が一枚の撮像画像で分かる為、ピンチ位置を測距する時にレンズを駆動させる必要が無く、AFが高速に動作可能。
3. 物体の３D測定、３Dスキャンが出来る
   • 工場などのラインで、産業用ロボットがラインに流れて来る大量の製品を搬送する際、物体の形を認識し、その形状に合わせてロボットの位置を合わせる事をする必要がある、通常のカメラの場合、奥行き情報が無い為、ロボットの腕の高さを製品とぴったり合わせる事が困難であり、同じ製品であれば高さは同じであるという前提のもと、コントロールされていた。3DToFセンサを使えば、奥行き情報の含めた３D情報が取得できる為、高さの異なる製品においても自動判別し、運搬が可能となる。
   • 産業ロボットに関する記事は下記も参照
   • もうそこまで未来が来ている！産業用ロボットの市場規模と未来予測
   • 協働ロボットの市場と各メーカの特徴比較。これからの主役は協働ロボット
4. ジェスチャ動作を認識する
   • 意外な使い方かもしれませんが、３DToFはジェスチャ認識が得意です。ジェスチャは上下左右の動きだけでなく、前後方向（奥行）の動きもあり、通常のカメラの2次元方向の情報だけでは精度が出にくいという課題がありました。またステレオカメラで奥行情報を取得する手法もありますが、カメラ２台をつかって演算をする必要がある為、処理が重くなる事と、２つのカメラの位置合わせがシビアで組立にかかるコストもかかっていた課題がありました。そこでこの３DToFセンサを使う事で、x-y-zの情報が1枚の画像で取得できるという事で、非常に軽い処理で「動き」を認識する事が可能になった。という所に非常に可能性を感じています。
   • 使われ方としては、様々な機器の動きを非接触で扱う事が期待されており、例えば、スマホやタブレット、車のナビをタッチせずにジェスチャで操作したり、扉の開け閉めといった部分でも活用可能かと思います。
   • 冒頭に記載したソニーがCES2020で発表した「VISION-S」も、ジェスチャ動作をはじめ、次のような使われ方が想定されているそうです。

カメラセンサーがドライバーの状態をモニタリングするほか、ノイズの多い状況下でもドライバーの発話意図を確実に汲んでコンテンツ表示やナビ操作ができるリップリーディング・システムの開発も目指している。

ドライバモニタリングの機能については次の記事でも触れていますので、ご参考にお願いいたします。

->【次世代】RGB-IRイメージセンサ―とAIを活用した、車室内カメラ

->ドライバーモニタリング用カメラの仕様【自動運転時代には必須】

ToF（Time of Flight)センサの原理

前のトピックで少し説明しましたが、ToFの原理は発した光や超音波が対象物に当たって帰ってくるまでの時間を使って被写体までの距離を測定できるセンサです。

構造を詳しく見ていきたいと思います。下記の図の１はレンズ、２はBPF、３がToF用のイメージセンサ、４がレーザー（VCSEL）で構成される場合が多い為、その構成で説明していきます。

１～４の詳細説明は後述しますが、原理としては、４から発光されたレーザ光線が被写体に当たり戻ってくる光をToFセンサ（3）で受光し、発光した時の光のパルスと受光した時の光のパルスの位相差、時間差を見て（方式によって異なるがここでは割愛）、被写体までの距離を測定します。ToF用のイメージセンサは通常のカメラのイメージセンサと類似構造で、ピクセルと呼ばれる画素があり、その中にあるフォトダイオードが反射光を受光する事で、1つ1つの画素で距離を計測する事が可能となります。

上記の通り、光の時間差、位相差で距離を測定する為、発光源にも特徴があり、レーザの一種である、VCSEL : Vertical Cavity Surface Emitting Laserと言われる垂直共振器面発光型レーザーを使われる事が多いです。本光源は反応速度が速いという特徴を持っているため、高速にONとOFFを繰り返すような光を発光し、常時距離を測定する事を可能とします。

1. レンズ(カメラ部）
   • 通常のカメラのレンズと作りは概ね同じで、「まずはこれだけで合格点。カメラを設計する為のレンズの基礎知識」の記事で基本的なレンズの内容を説明させて頂きました。その内容と１点だけ違いがあり、それは赤外線専用レンズである事です。後述しますが、ToFセンサに使われる光源波長は人の目で見えないように、940nmの波長をもつ光源が使われるため、赤外線専用レンズで形成されます。赤外線専用とは何か？ですが、レンズには様々な収差があると、レンズの基礎知識の記事で説明をさせていただきました。その収差は光の波長が広ければ広いほど抑える事が難しくなる為、通常のレンズは可視光で収差が出ない様にレンズが設計されています。つまりそのレンズを使う場合は赤外線では収差が発生してしまう。という事です。そのままこのToFセンサに通常のレンズを使ってしまうと、ピントが合わない為、各画素で距離の測定がしっかりできなくなるというデメリットがあります。そこで、赤外線の波長に特化した、専用レンズで、赤外の帯域で収差が発生しない専用レンズを用います。レンズに関する記事もご参照お願いします。
2. BPF（バンドパスフィルター）
   • 聞きなれない言葉だと思いますが、簡単に説明していきたいと思います。BPFとは、特定波長の光を透過させ、それ以外をカットするフィルタの事です。ToFセンサは赤外の光しか扱わない為、赤外線以外光をカットする(透過させず、イメージセンサには取り込まないようにする)為に、本フィルタを用います。また光源として上述したようにVCSEL : Vertical Cavity Surface Emitting Laserを使う場合が多く、このVCSELはレーザ光である為、光の波長帯域がものすごく狭い。また環境変化(温度変化)を受けない。という特徴がある為、BFPも非常に狭い帯域の物を活用します。具体的にはVCSELの波長を940nmとした時に、BPFは920nm～960nmくらいのみを透過するように狭めます。(詳しくは後述)
   • 上記BPFの波長帯域を狭める事のメリットとして、外光の影響をその分受けにくくなる、という特長があります。BPFで透過するエリアにVCSELの光を強く照射させ、それ以外の光を遮断する事で、どんな環境でも誤判定する事なく動作可能な製品をつくる事が可能となります。
3. ToF用イメージセンサ
   • これはToF専用イメージセンサです。通常のスマホ等のイメージセンサは通常カラーフィルタという物が付いており、R,G,Bの色を再現し、その３原色から様々な色を作ります。しかしながらToFセンサの場合はこのようなRGBフィルタは必要ありませんので、フィルタの無いモノクロのイメージャを使う事になります。また、受光する波長も限られている事から、940nm近辺の波長に対する感度を上げたり、画素の大きさを上げて感度を上げたり、性能を上げる為に各社工夫を凝らしている所ですイメージセンサに関する記事は下記の記事を参照お願いします。
   • モノづくりエンジニアの為の、CMOSイメージセンサの基本原理
4. 赤外照明　VCSEL : Vertical Cavity Surface Emitting Laser
   • ToFセンサを扱う上で、本光源は非常に重要な役割となります。上記で少し記載したように、本センサは発光した光の波長と対象物に反射して戻ってきた光の時間差、位相差によって距離を判断します。つまり、発光パルスと同時に光が発光できる光源と、受光したその瞬間のタイミングで受光したことを判断できるイメージセンサが必要です。ピンとこないかもしれませんが、この時間差ものすごく短く、その短い時間を正確に測定する為、レーザー光源を使う事が一般的で、小型化する為に、上面から垂直にレーザービームを放射する半導体レーザーである、VCSEL : Vertical Cavity Surface Emitting Laserというデバイスが使われます。VCSELの特徴は次のトピックで解説します。

VCSEL (Vertical Cavity Surface Emitting Laser) とは

VCSELとは、垂直共振器型面発光レーザーの略称で、上面から垂直にレーザービームを放射する半導体レーザーです。VCSEL自体はレーザ光源ですので（下図１）、スポット的に光を出す事しかできません。ToFセンサで使うためには、下の図のように広い範囲に光を照射する必要があり、このように光を拡散すための拡散板をディフューザといいます（下図２）この光源とディフューザを組み合わせてパッケージされたものをToFセンサでは活用される場合が多いです。特徴は次の通りとなります。

【VCSELの特徴】

1. 反応速度
   • レーザの為、高速。ToFのような時間管理が必要なアプリには最適
2. 光分布
   • ディフューザで、照射範囲、光の強度分布がある程度自由に設計可能。ToFセンサ側はレンズを取り付ける為、シェーディングという特性が必ずでて、レンズの周辺は、中心に対し取り込む明るさが暗くなる。という特徴があります。VCSELをその特性をキャンセルする為、周辺の明るさを明るくし、レンズ中心の明るさを暗くするといった、光の分布をつくる事も可能です。
   • シェーディングに関しては下記参照
   • ->カメラの性能を決める、ISP(イメージシグナルプロセッサ)の機能と信号処理
3. 波長特性
   • 波長はものすごく狭い。仮に940nmの波長特性を持つものとすると±10nm暗いの幅しかもっていない。その特徴の為、BFPの透過エリアを狭く出来る為、外光の影響を受けずに、どんな環境でも正しく測距できるという特徴があります。
4. 光強度
   • レーザなので基本的に光強度は強いです。ただし熱により光強度が落ちる事もあるので、注意が必要。
5. 熱による特性変化
   • 波長は熱によりほとんど変化なし、ただし光強度は熱による下がるという特性があります。

✓まとめ

今回はToFセンサについて簡単にまとめてみました。タイトルにも書いたように、ソニーもここに力を入れているとの記事を見る為、今後注目すべきデバイスである事が分かると思います。物流、自動車、スマホと、いろいろな使われ方が想像できて、ワクワクしますね。

その他参考記事は下記↓

参考：【徹底解説】LiDARとは？自動運転、スマホ、あらゆる場面で今後活躍必至。

記事が気に入って頂けたら、クリックして頂けると嬉しいです。