什么是人類視覺(jué)能做到而計(jì)算機(jī)視覺(jué)所不能的？人類從三個(gè)維度感知世界，而深度傳感器是實(shí)現(xiàn)更高級(jí)別機(jī)器視覺(jué)并釋放自動(dòng)駕駛功能的關(guān)鍵。
在傳感技術(shù)最新發(fā)展的助力之下，越來(lái)越多的機(jī)器被賦予了感知、行動(dòng)及與環(huán)境交互的能力。EE Times Europe團(tuán)隊(duì)對(duì)當(dāng)前3D視覺(jué)格局進(jìn)行了研究，以期更清晰地了解其市場(chǎng)驅(qū)動(dòng)因素、元器件供應(yīng)商面臨的機(jī)遇和挑戰(zhàn)，以及實(shí)現(xiàn)更高級(jí)別深度敏感度的新興技術(shù)。
往縱深發(fā)展
根據(jù) Yole Développement 的數(shù)據(jù)，在模塊層面，3D 傳感市場(chǎng)目前市值為 68億美元，將以 15% 的復(fù)合年增長(zhǎng)率增長(zhǎng)，到 2026 年預(yù)計(jì)達(dá)到 150 億美元。
由于華為被禁，而且安卓陣營(yíng)事實(shí)上放棄了3D傳感技術(shù)，因此在移動(dòng)和消費(fèi)這類主要驅(qū)動(dòng)市場(chǎng)的增長(zhǎng)將有暫時(shí)的中斷，Yole Développement 光學(xué)和傳感部門(mén)首席分析師Pierre Cambou告訴EE Times Europe。但另一方面，他又補(bǔ)充道，蘋(píng)果通過(guò)在 iPad 和 iPhone 中添加LiDAR 傳感器又加速了這一趨勢(shì)。
3D在汽車領(lǐng)域的應(yīng)用也在加速。LiDAR 傳感器和座艙內(nèi) 3D 攝像頭越來(lái)越多地被采用，我們對(duì)汽車市場(chǎng)的 3D 傳感發(fā)展非常樂(lè)觀，未來(lái)五年其市值應(yīng)該會(huì)翻四倍。(如圖1)
圖1：Yole預(yù)計(jì)汽車市場(chǎng)的3D傳感市值將在未來(lái)五年內(nèi)翻四倍。（來(lái)源：Yole Développement）
截至目前，較為流行的3D成像技術(shù)包括立體視覺(jué)、結(jié)構(gòu)光和飛行時(shí)間（ToF）。
Cambou指出，立體視覺(jué)在10米以外的遠(yuǎn)程傳感應(yīng)用中表現(xiàn)極佳，例如大疆等公司提供的消費(fèi)級(jí)無(wú)人機(jī)和梅賽德斯、捷豹和斯巴魯?shù)溶囆椭械那耙旳DAS 攝像頭。
結(jié)構(gòu)光技術(shù)一直是1米以內(nèi)短距離傳感的首選方案。典型應(yīng)用案例如蘋(píng)果iPhone將其用于前置面部識(shí)別。該技術(shù)也用于某些工業(yè)應(yīng)用中，如被Photoneo等公司采用。
Cambou還提到，TOF系統(tǒng)主要用于中程測(cè)距，目前主要有兩種方法。一種是間接 ToF，2019 年和 2020 年，間接 ToF 被應(yīng)用于來(lái)自華為、三星和 LG 等廠商的Android 手機(jī)的背面，主要用于拍照。另一種是直接ToF，蘋(píng)果在其最先進(jìn)的智能手機(jī)中采用了直接ToF方法。Cambou 指出，直接ToF是LiDAR 中已經(jīng)采用的技術(shù)（如Velodyne、Innoviz、Ibeo、Hesai 和 RoboSense等公司的產(chǎn)品），但最終可能會(huì)在接收側(cè)使用矩陣形傳感器。這類傳感器由于來(lái)自自動(dòng)駕駛市場(chǎng)的激勵(lì)，正在取得進(jìn)展。
EELs 還是 VCSELs?
LiDAR 技術(shù)捕捉整個(gè)場(chǎng)景的能力使其在機(jī)器視覺(jué)應(yīng)用中極具價(jià)值。獲取三維點(diǎn)云最常用的兩種系統(tǒng)為閃光LiDAR和掃描LiDAR。Ams-Osram全球營(yíng)銷經(jīng)理 Matthias Hoenig 表示，在掃描 LiDAR 系統(tǒng)中，聚焦脈沖激光束通過(guò)機(jī)械旋轉(zhuǎn)鏡或微機(jī)電系統(tǒng) (MEMS) 鏡定向到某個(gè)小的立體角。由于高功率激光束可以被控制發(fā)射到很小的立體角，因此與使用 3D 閃光系統(tǒng)可達(dá)到的距離相比，使用光學(xué)功率器件可達(dá)到的距離要遠(yuǎn)得多。邊緣發(fā)射激光器 [EEL] 是這種系統(tǒng)架構(gòu)的理想產(chǎn)品，它通過(guò)一個(gè)很小的發(fā)射區(qū)域在極小空間內(nèi)提供大量的光，因此在功率和射程方面均表現(xiàn)出色。Hoenig指出。
現(xiàn)在已成為Ams子公司的歐司朗宣布，隨著封裝溫度在應(yīng)用過(guò)程中上升，其激光器在波導(dǎo)穩(wěn)定性方面最近取得了不少進(jìn)展，該公司目前正在探索面向LiDAR 應(yīng)用的具有更多波長(zhǎng)的產(chǎn)品。
Yole 預(yù)測(cè)，就激光二極管而言，EEL是目前最大的市場(chǎng)機(jī)會(huì)，但垂直腔面發(fā)射激光器 (VCSEL) 將會(huì)在未來(lái)迅速趕上。VCSEL可以將紅外 LED 的高功率密度和簡(jiǎn)單封裝優(yōu)點(diǎn)與激光器的光譜寬度和速度結(jié)合起來(lái)。
這項(xiàng)技術(shù)的優(yōu)勢(shì)包括出色的光束質(zhì)量、簡(jiǎn)單的設(shè)計(jì)和小尺寸，這也解釋了 VCSEL市場(chǎng)增長(zhǎng)的原因，Hoenig說(shuō)。雖然它們比 EEL 發(fā)射器需要更多的板載空間，但在某些應(yīng)用領(lǐng)域又具有優(yōu)勢(shì)。他解釋到，例如，VCSEL所具有的輻射特性使其尤其適用于閃光 LiDAR 系統(tǒng)以及工業(yè)應(yīng)用（如機(jī)器人和物流車輛等）中的主動(dòng)立體視覺(jué)。
至于VCSEL相關(guān)的技術(shù)挑戰(zhàn)，Hoenig 表示，Ams-Osram 正在研究更高的光輸出。繼2018 年收購(gòu) Vixar 之后，歐司朗相繼展示了比單結(jié) VCSEL 效率更高、速度更快的雙結(jié)和三結(jié)VCSEL技術(shù)。在今年的美國(guó)西部光電展（Photonics West）上，又推出了基于多結(jié)技術(shù)的 PowerBoost VCSEL 產(chǎn)品組合。該公司表示，他們還在探索改善散熱的各種方法，例如，從頂部發(fā)射組件改為底部發(fā)射組件。
Ams-Osram高級(jí)營(yíng)銷經(jīng)理 Lei Tu 表示，所有常見(jiàn)的 3D 傳感方法都依賴于各種系統(tǒng)構(gòu)建模塊之間的順暢交互。通常，這些系統(tǒng)由光源、特殊光學(xué)器件、檢測(cè)器和相應(yīng)處理檢測(cè)信號(hào)的下游軟件組成。她還說(shuō)，未來(lái)，對(duì)Ams-Osram這樣的元件制造商來(lái)說(shuō)，重點(diǎn)將在以最佳方式滿足客戶的要求。這包括組件的小型化、光學(xué)性能和使用壽命的優(yōu)化，當(dāng)然還有易用性。 Tu補(bǔ)充道，有些客戶喜歡現(xiàn)成的即插即用解決方案，而另一些客戶則更傾向于自己組裝單個(gè)元件，或借助第三方將它們組裝成完整的解決方案。
用于盲點(diǎn)檢測(cè)的深度和側(cè)面感應(yīng)
深度感知是指從三個(gè)維度看物體并測(cè)量物體距離的能力。LiDAR無(wú)疑充當(dāng)了自動(dòng)駕駛汽車的眼睛，許多汽車制造商都利用它來(lái)構(gòu)建車輛周圍環(huán)境的 3D 地圖。不過(guò)，開(kāi)發(fā)工作主要還是集中在具有較長(zhǎng)檢測(cè)范圍（超過(guò) 200 米）但視野相對(duì)狹窄（約 20°至30°）的前置 LiDAR 系統(tǒng)。
2019年從德國(guó)Fraunhofer硅技術(shù)研究所 (ISIT) 獨(dú)立出來(lái)的OQmented 公司正在努力改變這種狀況。該公司表示，他們已開(kāi)發(fā)出一種 MEMS 鏡技術(shù)，可以使側(cè)面 LiDAR 具有 180°視野。
OQmented 創(chuàng)始人兼董事總經(jīng)理 Ulrich Hofmann 表示，側(cè)視 LiDAR 系統(tǒng)主要針對(duì)短距離盲點(diǎn)檢測(cè)。盲點(diǎn)檢測(cè)是一項(xiàng)重要的安全功能，它使短距離側(cè)掃系統(tǒng)比遠(yuǎn)視系統(tǒng)更有意義。例如，在進(jìn)入一個(gè)十字路口時(shí)，您需要這些LiDAR觀察系統(tǒng)在短距離范圍進(jìn)行觀察，因?yàn)檫@種環(huán)境中的行人、騎自行車的人和汽車都很多，很容易混亂并發(fā)生意外。出于這個(gè)原因，不僅在廣角上有清晰的視角很重要，較高的橫向分辨率也很重要，它可以區(qū)分不同的物體，包括靜態(tài)和移動(dòng)的物體。
與平面玻璃蓋不同，OQmented 在其 MEMS 鏡器件頂部放置了一個(gè)曲面玻璃蓋，用來(lái)實(shí)現(xiàn)激光束出入的封裝，并實(shí)現(xiàn) 180°激光掃描。（見(jiàn)圖2）Hofmann稱，這種Bubble MEMS專利技術(shù)不僅提供了密封真空封裝和保護(hù)，可以免受環(huán)境污染物的影響，而且還確保了激光束成功地傳入和傳出封裝，因?yàn)榧す馐c玻璃的角度始終垂直。而使用平面玻璃蓋時(shí)，情況就并非總是理想了。當(dāng)掃描角度較大時(shí)，部分光線會(huì)在蓋子處反射回封裝中。Hofmann指出，這對(duì)于任何類型的LiDAR 解決方案都是不可接受的。
圖2：Bubble MEME 技術(shù)的命名來(lái)源于OQmented MEMS 鏡器件上方的曲面玻璃蓋（來(lái)源：OQmented）
更接近數(shù)據(jù)源
圖像傳感器會(huì)生成大量的數(shù)據(jù)。盡管目前大部分處理都在云端或中央處理單元完成，但其發(fā)展趨勢(shì)是使計(jì)算更接近數(shù)據(jù)源，并將智能因素嵌入傳感器內(nèi)部或附近。
Yole 公司的 Cambou 表示，通常情況下，數(shù)據(jù)采用H264技術(shù)壓縮，這意味著它可以通過(guò) 100 Mbps 的帶寬傳輸。但在傳感領(lǐng)域，數(shù)據(jù)流通常要大 10 到 100 倍——典型機(jī)器視覺(jué)數(shù)據(jù)流可達(dá)到1 Gbps ——而且，如果同時(shí)使用 10 個(gè)攝像頭，則很快會(huì)達(dá)到 10 Gbps 甚至更高。由于CPU 不堪重負(fù)，靠近傳感器進(jìn)行數(shù)據(jù)處理的必要性越來(lái)越大。如果需要，所有預(yù)處理、清理和 AI 增強(qiáng)都必須在更靠近傳感器的位置進(jìn)行，以減輕 CPU 的負(fù)擔(dān)。
但是，目前還幾乎沒(méi)有計(jì)算能夠在傳感器本身進(jìn)行，因?yàn)檫@會(huì)產(chǎn)生熱量，Cambou指出。
前景展望
圖像傳感器是推動(dòng)自動(dòng)駕駛的一個(gè)關(guān)鍵因素，但卻不能無(wú)限制地添加；因?yàn)樗枰挠?jì)算能力也會(huì)激增。Yole的分析師表示，有一種解決方案是提高數(shù)據(jù)質(zhì)量。但如果真的想解決自動(dòng)駕駛問(wèn)題，我們很快就會(huì)需要更多樣化的解決方案。
新技術(shù)不斷涌現(xiàn)，用以提高靈敏度并構(gòu)建可以看得更清楚的機(jī)器。Cambou 指出了兩個(gè)方向：神經(jīng)擬態(tài)感知，即每個(gè)像素都充當(dāng)神經(jīng)元并嵌入一定程度的智能；以及量子成像，即單獨(dú)檢測(cè)每個(gè)光子。
總部位于法國(guó)的神經(jīng)擬態(tài)初創(chuàng)公司 Prophesee 推出了基于事件的工業(yè)級(jí)視覺(jué)傳感器：第三代 Metavision 傳感器。Prophesee 產(chǎn)品營(yíng)銷和創(chuàng)新總監(jiān) Simone Lavizzari 表示：如果將Metavision 傳感器與 VCSEL 投影儀或其它可以投射合適圖案的投影儀結(jié)合使用，就可以實(shí)現(xiàn)基于事件的結(jié)構(gòu)光傳感器。 也就是說(shuō)，當(dāng)今最先進(jìn)的深度傳感技術(shù)在曝光時(shí)間、精確度和穩(wěn)健性之間取得了平衡。
Lavizzari 說(shuō)，將 IR 投影儀與 Prophesee 的 Metavision 傳感器相結(jié)合，可為每個(gè)獨(dú)立像素提供快速響應(yīng)時(shí)間，進(jìn)而允許直接在傳感器內(nèi)部進(jìn)行時(shí)間模式識(shí)別和提取。如果采用基于事件的傳感器來(lái)做結(jié)構(gòu)光，響應(yīng)會(huì)非?？?。我們可以將掃描時(shí)間提高 50 倍，只需1 毫秒就能獲得完整的 3D 掃描，而傳統(tǒng)基于幀的方法則需要10 到 33 毫秒。其精確度也是最高標(biāo)準(zhǔn)的，但軟件復(fù)雜度已降至最低，因?yàn)椴恍枰诤筇幚碇凶銎ヅ涔ぷ鳌?/p>
匹配不是在事件發(fā)生后在幀上完成，而是在傳感器級(jí)逐個(gè)像素完成。Lavizzari說(shuō)，其中一個(gè)優(yōu)勢(shì)是，它沒(méi)有運(yùn)動(dòng)模糊，因?yàn)榭梢苑浅？焖俚夭东@點(diǎn)云，而且與戶外應(yīng)用兼容。 超快脈沖檢測(cè)不僅可以提高功率，同時(shí)還能保持該技術(shù)的人眼安全等級(jí)。
圖3：（圖片來(lái)源：Yole Développement）
在量子成像方面，Cambou 提到了 Gigajot Technology 的 Quanta Image Sensors (QIS)，這是一款具有光子計(jì)數(shù)能力的單光子圖像傳感器。Gigajot是一家總部位于美國(guó)加州的初創(chuàng)公司，他們聲稱可以每幀每像素 1個(gè)光子的光子級(jí)別從一系列幀中重建動(dòng)態(tài)場(chǎng)景。
（參考原文：Depth Sensing Takes Machine Vision into Another Dimension）
—版權(quán)聲明—
來(lái)源：電子工程專輯
僅用于學(xué)術(shù)分享，版權(quán)屬于原作者。
若有侵權(quán)，請(qǐng)聯(lián)系微信號(hào):yiyang-sy 刪除或修改！
—THE END—
北京中科飛龍傳感技術(shù)有限責(zé)任公司
