HADAR が「幽霊のような」熱画像に深みと質感をもたらす

自動運転車やロボットが安全かつ効率的になるためには、周囲を認識する必要があります。 また、他のロボット、車両、さらには人間など、周囲のものの動作を予測し、それに応じて進路を計画し、意思決定を行う必要もあります。 言い換えれば、マシンビジョンが必要なのです。

従来、マシンビジョンはカメラとレーダー、ソナー、ライダーなどのセンサーを組み合わせて実現されていました。 しかし、マシンビジョンは熱に依存することもよくあります。 「熱放射は、ゼロ以外の温度を持つすべての物体から発生します」と、パデュー大学の電気工学およびコンピューター工学教授のズービン・ジェイコブは言います。 「木の葉、木、植物、建物、それらはすべて熱放射を発していますが、これは目に見えない赤外線放射であるため、私たちの目や従来のカメラでは見ることができません。」 しかし、熱波は常に散乱しているため、赤外線カメラで生成された画像には物質的な特異性が欠けており、その結果、奥行きや質感のないぼんやりとした「幽霊のような」画像が生成されます。

「ゴースト」画像の代替として、パデュー大学とミシガン州立大学のジェイコブ氏らは、乱雑な熱信号を解決して質感と奥行きを「見る」熱支援検出測距（HADAR）技術を開発した。 概念実証実験で、彼らは夜間の HADAR 測距が日中の RGB 立体視と同じくらい優れていることを実証しました。 彼らの研究は、7 月 26 日に Nature 誌に掲載されました。

人間は、日中や十分な光が与えられた環境で、さまざまな色、質感、奥行きを認識しますが、薄暗い状況や暗い状況でも、たくさんの熱光子が飛び跳ねています。 人間には見えませんが、「この制限を機械に適用する必要はありません。しかし、その情報を活用するには、新しいセンサーと新しいアルゴリズムを開発する必要がありました。」とジェイコブ氏は言います。

研究者らは実験のために、道路や都市部の照明から遠く離れた湿地帯の屋外空間を選択した。 彼らは、ほぼ 100 の異なる周波数にわたる赤外線スペクトルの熱画像を収集しました。 そして、RGB 画像の各ピクセルが 3 つの可視周波数 (R は赤、G は緑、B は青) でエンコードされるのと同じように、実験の各ピクセルは 3 つの熱物理属性、TeX、温度 (T)、材料の指紋でラベル付けされました。または放射率 (e)、およびテクスチャまたは表面形状 (X)。 「T と e はかなりよく理解されていますが、テクスチャに関する重要な洞察は実際には X にあります」とジェイコブは言います。 「X は実際には、シーン内の特定の関心領域を照らしている多数の小さな太陽です。」

研究者らは、収集したすべての TeX 情報を機械学習アルゴリズムに入力して、奥行きと質感のある画像を生成しました。 彼らは、TeX 分解と呼ばれるものを使用して、温度と放射率のもつれを解き、熱信号からテクスチャを復元しました。 次に、整理された T、e、および X 属性を使用して、人間が色を見るのと同じ方法で色相、彩度、明度の観点から色を解決しました。 「夜間、真っ暗闇の中でも、昼間に戻って RGB カメラで測距と検出を行ったときと精度は同じでした」とジェイコブ氏は言います。

HADAR の最大の利点は、受動的であることだとジェイコブ氏は付け加えます。 「つまり、レーザー、音波、電磁波でシーンを照らす必要がないということです。 また、ライダー、ソナー、レーダーなどのアクティブなアプローチでは、現場に多数のエージェントがいる場合、エージェント間で多くのクロストークが発生する可能性があります。」

新しいテクノロジーとして、HADAR はかなり初期段階にあるとジェイコブ氏は言います。 現時点では、データ収集には 1 分近くかかります。 これと比較すると、たとえば夜間に走行する自動運転車は、周囲の状況をミリ秒単位で画像化する必要があります。 また、データ収集に必要なカメラは大きく、高価で、電力を多く消費します。ジェイコブ氏によると、「科学的なデモンストレーションには最適ですが、実際には広く普及するには適していません」とのことです。 研究者らは現在、これらの問題に取り組んでおり、ジェイコブ氏は、これらの問題に対処するためにさらに数年間の研究が費やされるだろうと予測している。