次は「連合」型センサフュージョンの具体例になるが、年末となって切りが良いので、センサフュージョンはしばらく休憩する。新年からは当面の間、これまでとは違った文系の内容を解説する。
２０２０年になった当初は、まさか世界的なパンデミックが広がるとは夢にも思わなかった。２月の時点では、その内収まるだろうと思っていたものが、あれよあれよという間に欧州ロックダウンの流れが日本にも来て、授業もオンラインとなってしまった。
新型コロナウイルスは、サーズが変形して弱毒化した代わりに感染力が強力になったものである。今後も変形と弱毒化を繰り返して広がり、やがて当たり前のウイルスになるのだろう。日本ではインフルエンザ並みの指定ウイルスとなったとき、ニュース価値がなくなり、通常生活に戻るものと思われる。予想外の出来事にせよ、諸君が現代人としての教養で冷静に考えれば予想でき対処できることである。
２０２１年は新型コロナが収まってもっと良くなると信じたいものの、もっと酷いウイルスが流行るかも知れない。どんなときも、諸君は冷静に考え対処して振る舞って欲しい。良いお年を。
カメラを使ってパターン認識を行うときは、アクティブセンサの検出とは独立して画像処理だけでパターン分類が可能である。それは、近年ディプラーニングのコンボリューションニューラルネットワークＣＮＮによるパターン認識が急速に発展したからである。
ＣＮＮが使用し始めた当初は、従来のパターン分類同様、対象物体を切り出す作業が必要だった。その後、パターン認識を行うため２ステージ処理と呼ばれる。
ところが、切り出し作業とパターン認識を一度の行う１ステージ処理の研究が進み、効率よくパターン認識が可能となった。１ステー所処理の基本的な考え方は、画像中で候補となる領域を一度に処理することである。従来のパターン分類手法より、１ステージ処理のＣＮＮを使った方が性能が良さそうに思える。しかし、ＣＮＮの処理過程が基本的にブラックボックスで説明のつかない誤認識を起こすことがあるため、従来型のパターン分類も捨てがたいといえる。
カメラを使ってパターン分類を行うときは、アクティブセンサの検出とは独立に画像処理だけでパターン分類を行い、その結果とアクティブセンサが検出した物体位置を合わせることが考えられる。
画像処理でパターン分類を行う場合、対象物体の切り出し（領域分割）が難しい。そのため、アクティブセンサが検出した物体位置を利用する方が効率的である。
すなわち、トラッキング同様にアクティブセンサが検出した物体領域を中心としてパターン分類を行うとよい。パターン分類の代表的手法は、ＨＯＧとアダブーストを用いた手法である。ＨＯＧによって画像を多次元化し、検出対象を多数のサンプル画像で学習した結果を小領域毎にＳＶＭで分類し、それらの結果をアダブーストで統合して何に分類するかを決める。具体的には、一般交通で重要となる対象物体を大きく分けると自動車、二輪車、歩行者の３種類なので、これら３種類のサンプルと、それ以外のサンプルを多数集め、４種類の平均ＨＯＧパターンを求める。そして、切り出した領域の小領域が４種類のどれに分類されるかをＳＶＭで決定し、最終的にアダブーストで結合して判定する。
カラーカメラとアクティブセンサを組み合わせる場合、アクティブセンサーを補間するためにカラー情報を使う。したがって、ＲＧＢＤのＤは使わず、ＲＧＢだけでトラッキングすることになる。
ＲＧＢで色情報を表すものの、Ｒ、Ｇ、Ｂの分布パターンは似ているため、明確な差が表れにくい。そのため、色情報をより際立たせるためには、ＨＳＶ情報に変換するとよい。
ＲＧＢそれぞれの値をＲＧＢ直交座標系とした成分とし、ＲＧＢベクトルと見なしてみよう。すると、第一象限内での相違をみることになる。ところが、ＨＳＶに変換し、Ｈに着目してみよう。Ｈは３６０°の円周上の値となるため、２次元ベクトルにはなるものの、相違はＲＧＢより明確になる。
カラーカメラを使うと、白黒カメラより計算コストが低いトラッキングが期待できる。白黒カメラの場合は、対象領域の明るさ分布パターンが特徴となるためテンプレートマッチングを使用する。ところが、カラーカメラを使うと、対象領域の明るさ分布だけでなく色分布パターンが使えるため、テンプレートマッチングを使わなくても色分布パターンの類似度を見ればよいからである。
カラー情報はＲＧＢデータが基本となる。画素毎にＲＧＢ値があり、これに距離情報があればＲＧＢＤと呼ばれ、環境センサの値としては理想的なものになる。
テンプレートマッチングの欠点（拡大縮小回転と明るさの変化に弱い）が気になり、ＳＩＦＴほど計算コストを上げたくないときは、対象領域をＨＯＧに変換することが考えられる。ＨＯＧに変換することにより、特に明るさの変化に強くなる。
前方走行車に追従している場合、大量領域の画像が急激に拡大縮小回転することは稀である。しかし、明るさが急激に変化する可能性はある。
例えば、日中なら建造物等の影により画像の明るさパターンが変わり、夜間なら自車他車のライティングで明るさパターンが急変することがある。また、前方走行車がブレーキをかけブレーキランプが点灯したり、ターンシグナルランプが点滅すると明るさパターンが急変する。このようば場合、テンプレートマッチングでは同じモノを見ているにも関わらず、エラー値が高くなる可能性がある。このような明るさパターンの変化に対し、ＨＯＧではブロック毎の整合性を見るため、全体の明るさ変化だけでなく一部の明るさパターンが変化しても、同じモノを見ているという判定が可能となる。
カメラ系の処理コストに余裕がある場合は、より高性能なマッチング手法の適用も考えることができる。例えば、テンプレートマッチングの欠点をなくしたＳＩＦＴの使用が挙げられる。
テンプレートマッチングは、マッチングを取る２フレーム間で、画像の拡大縮小や回転、それに明るさの変化がある場合にマッチングエラーが生じやすい。これに対しＳＩＦＴは画像の拡大縮小回転、明るさの変化に強く、ＳＩＦＴを使えばより正確に２フレーム間のマッチング精度を計算可能となる。
前方走行車に追従している場合を考えよう。アクティブセンサーは通常１００ミリ秒毎に前方車をスキャンするため、カメラが対象とする２フレーム間も１００ミリ秒の間隔となる。１００ミリ秒の間に、テンプレートマッチングができなくなるほど急激に前方走行車の画像が拡大縮小回転することは稀なことであり、変化点が気になるのであれば２フレームだけでなく、その前後の観測結果も合わせて判断すればよい。したがって、トラッキングのカメラ使用は、テンプレートマッチングかオプティカルフローで十分であり、ＳＩＦＴまで使わなくてもよいと思われる。
テンプレートマッチングの他、オプティカルフローもトラッキングに利用できる。テンプレートマッチングでは２フレームの画像が同じかどうかが評価対象で、オプティカルフローを使うと対象画像がどの方向にどの程度移動したかがわかる。
つまり、オプティカルフローを使うと、アクティブセンサーが選択したポイント位置がフレーム間で変動があったとき、それが妥当かどうかを判定できるのである。一般的なアクティブセンサーは縦方向の位置は検出せず横方向だけの位置を検出するものが多いので、オプティカルフローで使う移動情報も横方向だけとなる。
オプティカルフローの適用領域はテンプレートマッチングと同じで、アクティブセンサーが検出した対象物体位置を中心とした領域を画像処理の対象領域とする。この領域と、次フレームでアクティブセンサーが選定した対象物体位置の画像領域間でオプティカルフロー推定の計算を行う。オプティカルフロー計算にはテンプレートマッチングを使わず、時空間勾配法を使用する方がよい。なぜなら、オプティカルフロー推定にテンプレートマッチングを使うと計算コストがかかることと、先に説明したトラッキングにテンプレートマッチングを適用したこととの差別化が付かなくなるからである。また、時空間勾配を使うと、対象となる２フレーム間が同じ領域かどうかも判定できるため、テンプレートマッチングを使う方法より高度な判定を行うことができる。
ただし、時空間勾配法は画像ノイズに敏感なため、屋外で使用する状況では注意が必要である。カメラ系の処理コストに余裕があれば、テンプレートマッチングとオプティカルフローの両方を使うとよい。
トラッキングに使うカメラ画像処理のアルゴリズムで、もっとも簡便な方法はテンプレートマッチングを使用することである。マッチングに使用する画像は、対象時刻の画像と次フレーム画像である。
対象となるテンプレートとマッチング先の領域は、アクティブセンサが検出した対象物体位置とする。すなわち、対象時刻のアクティブセンサが検出した位置をテンプレートとし、次フレームのアクティブセンサが検出した位置でマッチングを行うのである。
すると、アクティブセンサが検出した対象物体位置が、次フレームでも同じ物体の場合、画像側で行ったテンプレートマッチングの結果は低いエラー値となる。ところが、アクティブセンサが検出した物体位置が次フレームで別の物体に変わってしまった場合、画像側のテンプレートマッチングの結果は高いエラー値となる。これによって、アクティブセンサがトラッキングに失敗したことを示すことができる。またこのとき、アクティブセンサが検出した他の物体位置をマッチング対象として計算し、低いエラー値となるものを探して物体位置の補正を行えばトラッキングを継続することができることになる。
この方法では、画像側の計算は常に単純なテンプレートマッチングの計算を行うだけであり、パターン分類や認識のような高度な処理を行う必要はない。つまり、低コストな計算でアクティブセンサの欠点を補正することができる。
カメラを使う融合型センサフュージョンでは、カメラ画像の処理方法が重要となる。すなわち、どの画像処理、画像認識、画像理解（コンピュータービジョン）手法を選ぶかで性能が変わる。
どの手法を選ぶかは目的によって異なる。カメラを使う目的は、カメラが得意な性能との融合であり、カメラが得意な性能とは、トラッキング、パターン分類、パターン認識である。
アクティブセンサだけでトラッキングに問題が生じるときとは、アクティブセンサで検出した対象物体が複数存在し、時間推移でそれらの物体位置が交差するような状況である。物体位置が交差しても、それら物体位置が同じ車両等のポイントなら問題ない。しかし、アクティブセンサの空間解像度と位置精度が低く、２つの物体のポイントが時間変化で交錯することがあり得る。また、カーブ路入り口のガードレールを検出し、先行車両が急停止したように見えてしまう場合もある。アクティブセンサよりトラッキング性能の良いカメラデータを利用することで、これら問題を解決することが可能となる。
「融合」型センサフュージョンの具体例として、LiDARと単眼カメラを使う自動ブレーキを考えてみよう。自動ブレーキで難しいのは、停止しているモノの認識である。
移動しているモノは相対速度や使用環境から、前方走行車であることがわかる。しかし、アクティブセンサだけでは、停止しているモノが停止車両か歩行者かそれ以外の物体か、あるいは道路面のマンホールの蓋かデリニエータかの判定は難しい。
特に、前方に障害物が検知できたとして、それが道路面のマンホールやデリニエータなら自動ブレーキをかけることはできない。そのため、カメラによる高いパターン認識能力を組合わせて、アクティブセンサをサポートすることができる。このセンサフュージョンは、アクティブセンサの検出結果とカメラの認識結果をフュージョンして、３Ｄ情報を含んだ認識結果を出力できるため融合型センサフュージョンになるのである。
「統合」型センサフュージョンの具体例として、同じくLiDARと単眼カメラを使うＡＣＣで紹介しよう。今回は、LiDARとカメラのFOVはほぼ同じとする。
対象となる状況は、自車前方がカーブ路の2車線で、どちらの車線にも先行車が走行している場合にＡＣＣをセットするとき、どのように自車の先行車を決定するかである。一般に、LiDARだけでもカーブ路において、ステアリングの操舵角情報から自車の進行予想軌跡を計算し、前方走行車が自車線上にあるかどうか推定している。
しかし、自車がまだカーブ路に入っていない操舵を入れる直前や、Ｓ字路の場合は原理的にこの方式を適用できない。そこでこのような場合、カメラによる車線認識結果とLiDARによる前方走行車位置を統合することにより、前方走行車が自車と同一車線にあるかどうか判定可能となる。すなわち、車線認識しているので、前方の2台の先行車のうち、どちらの先行車が自車線上を走行しているかが判定できるということである。
「複合」型センサフュージョンの具体例をもう少し詳しく紹介しよう。センサフュージョンする２つのセンサはLiDARと単眼カメラで、使用用途はＡＣＣである。
LiDARのFOVがカメラのFOVよりも狭いものの、遠距離までセンシングできるような仕様とする。LiDARはFOVを狭めると、遠距離でもセンシングの解像度を高く保つことが可能である。
逆にカメラのFOVはLiDARのFOVより広く設定され、短距離しかセンシングできないとしよう。これら仕様では、自車線の前方走行車の車間距離をLiDARで計測し、自車線よりも幅広い左右の他社線の車両はカメラで認識することになる。すると、カメラは割り込み車の検出を行うことになり、FOVの狭いLiDARの機能を補う形となる。このシステムは、LiDARとカメラの役割が独立しており、複合型センサフュージョンシステムといえる。
LiDARだけでは検知できなかった、割り込もうとする他車を検知できるため、ＡＣＣの制御をスムーズに行うことができる。カメラがなければ割り込んだ時からしか割込みが検知できず、急ブレーキをかけることしかできない。
これらセンサフュージョンの複合、統合、融合、連合を、運転支援システムや自動運転用のアクティブセンサとパッシブセンサのフュージョンに当てはめた場合、次のようなものが考えられる。
パッシブセンサの視野角がアクティブセンサよりも広いものとすると、渋滞時の追従走行時に前方走行車の認識はアクティブセンサで行い、アクティブセンサでは見えない割込車の検出をパッシブセンサで行うシステム複合型センサフュージョンと考えられる。
アクティブセンサで前方走行車両を認識し、パッシブセンサで車線を認識した結果から前方走行車両が同一車線に存在するかどうかを判断するシステムは、複合型センサフュージョンと考えられる。
アクティブセンサでは前方走行車両を認識せずアクティブセンサがある場所の距離だけを計測し、パッシブセンサによる画像認識で車両形状かどうかを判断して、反射波を返した物体が前方走行車かどうか認識するシステムが融合型センサフュージョンに相当する。
アクティブセンサとパッシブセンサ情報間の関係を理解することにより対象を認識し、更には予測や学習・記憶等も目的となり、相互の関係が記憶と異なっていればセンサ異常と判断する走行環境認識を行えば、これが連合型センサフュージョンとなる。
センサフュージョンを、複合、統合、融合、連合の４種類に分類した場合、ＡセンサとＢセンサを使用した場合のイメージは次のようになる。
複合センサの場合は、ＡセンサとＢセンサを単純に加えたことになるので、ＡＢセンサとしてふるまうことになる。
統合センサの場合は、ＡセンサとＢセンサにある演算ｆを施したｆ(Ａ,Ｂ)センサとしてふるまうことになる。
融合センサの場合は、ＡセンサとＢセンサが融合して、新たにＣセンサとしてふるまうことになる。
連合センサの場合は、ＡセンサとＢセンサの相互関係が抽出されるＡ⇔Ｂセンサとしてふるまうことになる。
複数センサのデータのフュージョン方法として、最も単純な方法は各センサデータを相補的・加法的に組み合わせた出力を得ることである。すなわち、「複合」的処理ということになる。
複合的処理よりも複雑な処理方法として、センサデータにある乗法的・演算処理を施したまとまった情報を得る「統合」的処理も考えられる。例えば、前記で紹介した複数のセンサで得た信頼性に重みを付けて平均化する方法はこれにあたる。
そして、センサフュージョンとして最も期待される方法が、各センサデータを協調・競合的処理を施し、個々のデータからは得られなかった新たな知覚表象を得る「融合」的処理である。例えば、ステレオカメラで得る距離情報は、２つの単眼カメラのデータを融合した結果であり、単眼カメラのデータが２Ｄで、ステレオカメラとしては３Ｄという新たな知覚表象を出力している。
さらに、センサデータ間に処理を施して結果を得る一方向の処理だけでなく、センサデータ相互の関係も利用する「連想」的処理も考えられる。人間の感覚情報処理で行われるセンサフュージョンは連想的処理である。
単眼カメラをモデルとして導いたカメラ座標系と世界座標系の変換式は、電波レーダーやLiDARも同様に考えることができる。つまり、各センサ間の校正は、各センサの xC = R･XW + t を用いて行うことになる。
各センサで世界座標を共通とし、世界座標が既知のものを見てRとtの未知数を解くことになる。回転行列Rは３軸回りの回転になるため未知数が３、並進ベクトルtは３軸での並進のため未知数が３で合計６つの未知数を解くことになる。
そのため、世界座標で既知の点が６つあれば解けることになる。しかし、実際は設置や観測誤差があるため多数の既知点を用意し、最小二乗法や最尤推定を用いて誤差を最小化する。キャリブレーションに用いる対象物体としては、通常チェスボード（例えば１００ｍｍ平方の白黒の正方形を交互に配置）を用いる。
次に、カメラ座標系Cでの座標値XC=(XC,YC,ZC)がカメラ座標系Z=1での正規画像座標系Nで、
XN = (XC/ZC, YC/ZC) = (xN,yN)
になるとしよう。すると、（^Tは転置を表す）
[XN,1]^T = (1/ZC)[XC,YC,ZC]^T ≂XC
となり、画像座標系Iと正規画像座標系Nの関係は、３×３の内部パラメータ行列をKとすると
[XI,1]^T = K[XN,1]^T
と表せる。Kは画像座標系Iと正規画像座標系Nの各要素は内部パラメータ定数をfx,x0,fv,y0として
xI = fx･xN + x0
yI = fy･yN + y0
で表現できるため、
fx 0 x0
K = [ 0 fy y0 ]
0 0 1
となる。よって、画像座標系Iと世界座標系Wの関係は、投影行列PをK,R,tで表現して、
[XI,1]^T ≂ K[R,t][XW,1]^T
となる。つまり、単眼カメラの校正は、内部パラメータKと外部パラメータR,tの推定問題となる。
座標系の校正は次のように考えて行う。まず、単眼カメラの座標系を基本形として考える。
単眼カメラをピンホールレンズ系と考え、ピンホールを原点とした世界座標系Wを直交座標X,Y,Zとする。光学中心をZ軸に取り焦点距離をfとしてカメラ座標系Cとしてその画像座標系Iとすると、対象物体XW（ベクトル）=(XW,YW,ZW）は画像座標xI（ベクトル）=(xI,yI)=(f･XW/ZW,f･YW/ZW)に写像される。
ここで、世界座標系Wは画像座標系Iに投影行列Pで写像されると考え次式とする。
xI（ベクトル）≂ P･XW（ベクトル）
世界座標系Wからカメラ座標系Cへの投影を考えると、その変換は回転成分と並進成分で構成されるので、回転行列（３×３）Rと並進行列（３×１）tを用いて次の様に表現できる。
xC = R･XW + t
ステレオカメラでは両単眼カメラの組付け精度を保証しある程度の誤差を許容すれば、両単眼カメラ座標の校正が不要になることもある。しかし、LiDARと単眼カメラのように異種類の二つのセンサの組合せでは、両センサ座標の校正は必須である。
異種類のセンサの組合せでは、両センサからのデータの類似性は期待できないため、両センサ座標の校正が必須になるのである。要は両センサとも同じ物体を見ているという保証が必要になるということである。
センサフュージョンをセンサデータフュージョンする前に重要なことは、センサ間の座標系の統一である。いわゆる座標系の校正が必要なのである。
一つのセンサでアルゴリズムを変えて複数のデータを得る場合は、当然のことながら座標系の校正は不要である。しかし、一つのセンサでもステレオカメラは座標系の校正が必要である。
ステレオカメラは二つの単眼カメラを使うため、両カメラ座標系の校正が必要である。ステレオカメラの距離計算方法は、二つのカメラに映る物体上の点の対応点を求めたあと、三角測量の原理を適用することである。このとき、両カメラ光軸は平行であることが前提になる。ところが、ステレオカメラの両単眼カメラの光軸は、組付け誤差等により平行ではない。そこで、両単眼カメラ座標の校正が必要になるのである。
センサフュージョンの目的は、対象物体の検知性能を向上させることである。ただし、検知性能の種類があることに注意しよう。
検知するものは、最低でも対象物体が存在するかどうか、対象物体の属性は何か、対象物体の形状（３Ｄ情報）はどうなっているか、対象物体までの距離はどれくらいか等の種類がある。つまり、センシングの目的によって多彩なのである。
これらの検知項目それぞれで、センサフュージョンのやり方が異なってよい。例えば、LiDARと単眼カメラの組合せでは、対象物体の存在性はLiDARの信頼性を高く置き、属性は単眼カメラが高め、形状は基本的にLiDARを高くするものの距離によって変化、距離はLiDARが高いという具合である。当然ながら、電波レーダーと単眼カメラの組合せでは、LiDARと単眼カメラの組合せとは検知項目の係数は違ったものになる。
また、特にカメラの検知性能は採用した計算アルゴリズムに依存するため、上記の設定例は決まったものではない。使用条件によって異なることはいうまでもない。
実際のセンサフュージョンの組み合わせ例としては、電波レーダーと単眼カメラ、LiDARと単眼カメラ、電波レーダーとステレオカメラ、LiDARとステレオカメラが考えられる。それぞれどのような特徴があるか見てみよう。
電波レーダーと単眼カメラの組合せでは、電波レーダーの低い空間解像度を単眼カメラが補うことになる。その上で、電波レーダーの苦手なパターン解析を単眼カメラが行う。
LiDARと単眼カメラの組合せでは、LiDARが生成するポイントクラウドは遠方で密度が低下するため、単眼カメラが低下したポイントクラウド密度を補うことになる。そして、近傍も含めてポイントクラウドで包含される物体の見えのパターンを単眼カメラが解析する。
電波レーダーとステレオカメラの組合せでは、単眼カメラとの組合せと同様の効果が期待できる。ただし、ステレオカメラも測距が可能なため、この組合せでは電波レーダーで車間距離を検出し、ステレオカメラで電波レーダーで検出しづらい歩行者等を検出することが多い。したがって、この組合せではシンプルな加算やＯＲ的な使い方をすることがある。
LiDARとステレオカメラの組合せでは、単眼カメラとの組合せと同様の効果が期待できる。しかし、検出対象の類似性やステレオカメラの処理コストが高いため、わざわざステレオカメラを組合わせる必然性は低いといえる。
二つの異なるセンサを組み合わせたときの、基本的なセンサデータフュージョンは単純にＡＮＤやＯＲでは単独センサより性能が落ちることがわかった。そこで、二つのセンサのより良い組み合わせ方法を考えてみよう。
基本的には、二つのセンサの長所同士を組み合わせたい。二つのセンサの機能の選択的結合ということで、重み付き結合が考えられる。
センサフュージョンの認識結果を、使用状況や条件によって、それぞれの認識結果の信頼性に可変重みを掛けた結果を結合センサフュージョンの出力として採用する。例えば、電波レーダーと単眼カメラの組み合わせでは、通常時は電波レーダーの出力がない状況では単眼カメラの重みは小さく設定し、電波レーダーから出力があれば単眼カメラがパターンを解析し物体毎に重みを設定する。これは、単眼カメラの認識手法は物体によって得意や不得意があり、さらに物体によって信頼性の指標が異なるからである。また、霧では電波レーダーの重みを大きく単眼カメラの重みを小さく、電波レーダー単独使用との性能差をなくす。
このように、使用条件・状況や認識対象によって細かく重みの設定を変更する。重みが変わる条件は、ある微小時間内での繰り返し出現率等も考慮する。
アクティブセンサとパッシブセンサ共に、同じ対象物体が見えているときは問題ない。ところが、どちらかのセンサしか見えていないときはどう考えればよいだろうか。
例えば、電波レーダーと単眼カメラのセンサフュージョンを考えよう。電波レーダーで距離を測り、単眼カメラで距離を測った地点のパターンを解析する役割分担である。
このセンサフュージョンが霧に遭遇したとしよう。すると、電波レーダーは前方物体の距離を返しくるものの、単眼カメラには何も映っていないためその物体のパターンを解析することができない。この状態では単眼カメラは無用の長物となり、電波レーダー単独と同じ状態になっている。このとき、単眼カメラがセンシング不能なため電波レーダーの検出結果も採用しないとすると、電波レーダー単独のときより性能が落ちてしまう。それでは、片方でもセンシングしているときはそれを採用することにしたとしよう。すると、電波レーダーは何も検出していないのに、単眼カメラだけが前方に停止車両があるという結果を出せば自動ブレーキを作動させることになる。この場合、カメラがイルージョンを見て誤認識している可能性が高く、電波レーダー単独よりも性能が落ちることになる。
つまり、センサフュージョンでは、個々のセンサ結果を単純にＡＮＤやＯＲするだけでは不十分ということがわかる。もっとも、状況やフュージョンの仕方によってはＡＮＤやＯＲだけで性能向上することもあり、全ての場合を包含する統一的な考え方が必要といえる。
アクティブセンサは、一般的に対象物体までの距離検出が得意といえる。そして、パッシブセンサは対象物体が何かというパターン検出が得意である。
逆に、アクティブセンサは、対象物体の属性を認識することは不得意である。パッシブセンサは、ステレオ手法を除いて対象物体までの距離検出が不得意である。
したがって、アクティブセンサとパッシブセンサを組み合わせれば、両者の欠点が補え合えるセンサフュージョンが実施できることになる。具体的には、前方監視用として、LiDARと単眼カメラを組み合わせ、前方の物体までの距離をLiDARで計測し、その物体の属性を単眼カメラで解析すれば、信頼性高く前方にある物体までの距離と属性が検出できるものと考えられる。もちろん、LiDARは電波レーダーでもよい。ただし、電波レーダーは空間解像度がLiDARよりも低いため、前方物体の距離を電波レーダーで検出したとき、画像中のどの範囲を対象としたのかが曖昧になるため、画像処理の計算負荷がLiDARを使用したときよりも高くなることに注意が必要である。
アクティブセンサの代わりにステレオカメラで距離検出を行い、物体の属性検出もステレオカメラで得られた画像で行うことも可能である。ただし、ステレオカメラはパッシブなので、信頼性が落ちることに注意しよう。
パッシブ手法の最大の欠点は、だまされやすいことである。パッシブ手法は対象が発する情報だけが手がかりなため、対象がだまそうと思えば容易にだますことが可能である。
例えば、単眼カメラは実際に対象物体が存在するシーンと、その対象を撮影した写真との区別を付けることはできない。ステレオカメラなら大丈夫だろうか。
ステレオカメラなら、実際に対象物体が存在するシーンと、その対象を撮影した写真とは違う結果を出力することができる。ところが、ステレオカメラの左右のレンズに、実際の対象物体が存在するシーンとつじつまが合うように撮影された左目用と右目用の写真をそれぞれ左右のカメラに見せれば、実際のシーンと同じ結果を出力する。つまり、ステレオカメラでも容易にだますことができるのである。人間の視覚系もパッシブなので、常にだまされている。実際のシーンとＴＶモニタに映るシーンの区別は容易に区別することは可能なものの、液晶ゴーグルを付けた状態でカメラ映像とビデオ映像の区別を付けることはできない。
アクティブ手法もだませないことはないものの、かなり巧妙な仕組みを考えないと難しい。したがって、アクティブ手法とパッシブ手法によるセンサフュージョンが、相補的に欠点を補う良い組み合わせと考えられる。
ステレオカメラもパッシブ方式である。ステレオカメラは、最初から同じ単眼カメラ２つ以上の画像データをセンサデータフュージョンすることが前提となっている。
人間も両眼でステレオペアを発見することにより、対象物体までの距離感を得ている。もっとも人間の場合は努力して両眼のステレオペアを発見するのではなく、意識しなくても自動的に働く脳の機能によってステレオペアがマッチングするようになっている。
ステレオカメラは人間の距離感を得る方式をそのまま人工化したかというと、そうではない。人間の場合は、両眼のステレオペアのマッチング以外にも距離感を得る方法を持っている。まず、生理的な構造として対象物体の距離に応じて目のピントが自動的に調整されるようになっており、網膜の調整は眼球回りの筋肉で行われるので、その筋肉の感覚で距離感を得る。また、対象物体を見つめると、両眼球の対象物体に向かう光軸が対象物体に向かうため、距離が近い物体ほど両眼の光軸の角度が大きくなる。つまり、輻輳角が大きく(より目に）なり、その感覚で距離感を得ることができる。そして、対象物体の知識により、見える大きさで距離感を図ることができる。あとは、遠くにあるほど空間周波数が落ちる（霞がかかり暈けてくる）現象で距離感を得ることや、大地のテクスチャが遠くにいくと密度が高くなり（先ほどとは逆に空間周波数が高くなる）、距離感を得ることができる。
人間は両眼ステレオというセンサフュージョンを含めて、６つものデータをセンサフュージョンして距離感を得ているのである。ステレオカメラはまだまだ改良の余地があるといえる。
パッシブ手法の利点は、送信するものがないため受信側に資源を特化することができることである。可視光のパッシブセンサ（カメラ）はレンズで対象シーンを受光面に結像し、受光面を多数の受光センサで２次元配列化している。
受光側を正方アレイとすることにより、計算機で取り扱い易い構造が実現できている。画像は縦横の２次元配列に均等に分割され、プログラム上の２次元配列にそのまま格納することが可能である。
１画素を正方形にすることにより、縦横２次元の計算は容易ではあるものの、斜め隣りの画素を考えると問題も生じる。正方１画素の一片の長さを１とすると、上下左右の隣接する画素間の距離も１となり、何ら問題は生じない。ところが、斜めに隣接する画素との距離は√２となり、およそ１．４倍も長さが異なることになる。そのため、同じ対象物体を撮像しても、対象物体をカメラ光軸周りに４５°回転させるか、カメラを同様に４５°回転させると、厳密には違う画像になってしまう。
この現象は、アナログデータをデジタルデータに変換したときの丸め誤差のような問題である。したがって、本質的にこの問題が画像を扱うことに支障を来すということではない。
最近のコメント