三維傳感技術(shù)從感知方式上分類可以分為接觸式測(cè)量和非接觸式測(cè)量。
接觸式測(cè)量主要依靠標(biāo)定 的被動(dòng)機(jī)械臂直接接觸物體表面，逐點(diǎn)對(duì)物體輪廓數(shù)據(jù)進(jìn)行釆集，對(duì)其形態(tài)信息進(jìn)行三維測(cè)量。這種方法的優(yōu)點(diǎn)是測(cè)量精度高，可達(dá)到微米級(jí)別。但是其缺點(diǎn)也包括了測(cè)量效率低，不適合形態(tài)復(fù)雜物體測(cè)量，對(duì)測(cè)量環(huán)境要求較高等。
非接觸式測(cè)量主要指依靠光、 聲、電磁學(xué)等方式接觸物體表面以獲取物體三維信息的方法。而其中基于光學(xué)的三維測(cè)量技術(shù)是目前最典型也是應(yīng)用最廣泛的三維傳感技術(shù)。如圖 1所示， 典型的光學(xué)三維傳感技術(shù)主要包括光度立體視覺、 雙 (多) 目立體視覺、飛行時(shí)間法、激光線掃法、散焦恢復(fù)形狀法、結(jié)構(gòu)光投影法等，而結(jié)構(gòu)光投影又包括條紋投影與散斑投影法等。
1、光度立體視覺法
光度立體視覺技術(shù)最早由 Woodham提出，其假設(shè)了一個(gè)已知的重構(gòu)函數(shù)，即理想的朗伯體反射模型。采用一個(gè)相機(jī)和幾個(gè)發(fā)光強(qiáng)度相同的光源，保持相機(jī)和拍攝物體靜止，通過(guò)改變光源方向，同時(shí)拍攝 物體在不同光源照射條件下的一組圖像，然后根據(jù)這 些圖像計(jì)算出物體的表面法向，再由法向求解出物體 表面三維形狀，圖 2 給出了光度立體法對(duì)斯坦福兔的 三維測(cè)量結(jié)果。隨后一系列方法被提出以解決光度立體法模型、對(duì)高光物體測(cè)量及標(biāo)定等問(wèn)題。光度立體法的設(shè)備較簡(jiǎn)單，但對(duì)環(huán)境要求嚴(yán)格，并需要待 測(cè)物表面為嚴(yán)格平滑的漫反射朗伯體，對(duì)于具有陡變或者反射特性較為復(fù)雜的物體難以適用。
圖 2 光度立體法對(duì)斯坦福兔子的測(cè)量結(jié)果。(a) 斯坦福兔子模型; (b) 法線圖; (c) 重建圖
2、(被動(dòng)) 立體視覺法
立體視覺是一種模擬人類視覺原理的被動(dòng)深度感知方法。測(cè)量系統(tǒng)基于三角測(cè)距原理，用兩個(gè)或多個(gè)相機(jī)從不同角度獲取同一場(chǎng)景的多幅圖像，通過(guò)對(duì)同一物點(diǎn)在各幅圖像上檢測(cè)和匹配，根據(jù)立體視差進(jìn)行測(cè)距，得到物體該點(diǎn)的深度信息。其原理如圖 3 所示。立體視覺測(cè)量系統(tǒng)硬件結(jié)構(gòu)簡(jiǎn)單，易實(shí)現(xiàn)。其主要難點(diǎn)在于立體匹配，實(shí)際應(yīng)用中由于遮擋或陰影的影響，可能會(huì)產(chǎn)生視覺信息不足的問(wèn)題，導(dǎo)致誤匹配。另外，對(duì)于無(wú)明顯表面特征的物體，也難以從多個(gè)視角中找到對(duì)應(yīng)點(diǎn)，因而無(wú)法進(jìn)行準(zhǔn)確的三維重建。但值得提及的是，立體視覺法的基本三維重建原理和后面所介紹的結(jié)構(gòu)光投影法是一致的。
圖 3 立體視覺法示意圖
3、飛行時(shí)間法 (ToF)ToF 技術(shù)通過(guò)記錄光束傳播時(shí)間來(lái)計(jì)算被測(cè)物體表面的深度距離。其原理如圖 4所示，系統(tǒng)發(fā)射裝置發(fā)射脈沖信號(hào)，經(jīng)被測(cè)物體反射后被探測(cè)器接收，通過(guò)光信號(hào)從發(fā)出到接收的時(shí)間與光速便可以計(jì)算出深度值。該方法可避免陰影和遮擋帶來(lái)的問(wèn)題，但由于設(shè)備裝置的限制，測(cè)量精度一般在毫米級(jí)。若想達(dá)到更高的精度，就需要更加復(fù)雜、昂貴的設(shè)備。雖然許多學(xué)者嘗試將飛行時(shí)間法與多視幾何相結(jié)合來(lái)提高測(cè)量空間分辨率與測(cè)量精度，但與高精度測(cè)量方法相比，飛行時(shí)間法還存在一定的差距。
圖 4 飛行時(shí)間法原理圖
4、激光線掃法
激光線掃法的原理如圖 5 所示，它是一種最簡(jiǎn)單的結(jié)構(gòu)光三維測(cè)量技術(shù)。該技術(shù)利用線激光器投射一維線激光到物體表面，圖像采集裝置采集到物體表面變形的線激光，然后根據(jù)三角測(cè)量原理得到物體表面相應(yīng)位置的三維信息。線激光掃描方法的優(yōu)點(diǎn)是 其數(shù)據(jù)采集不依賴外部光照環(huán)境，對(duì)目標(biāo)場(chǎng)景要求低，操作簡(jiǎn)單直觀，自動(dòng)化程度高。但由于激光掃描儀本身技術(shù)的限制，它也存在以下不足：掃描速度較慢，激光掃描儀造價(jià)高；其最高精度和最大掃描距離是固定的，無(wú)法像攝影測(cè)量那樣通過(guò)方案設(shè)計(jì) 來(lái)得到提高;無(wú)法獲取高質(zhì)量紋理數(shù)據(jù)等。寬泛意義上來(lái)說(shuō)，激光線掃法其實(shí)是結(jié)構(gòu)光投影法的一種極端特例。但由于投影圖案就是一條直線，所以測(cè)量效率要比全場(chǎng)結(jié)構(gòu)光技術(shù)低得多。
圖 5 激光線掃法原理圖
5、散焦恢復(fù)形狀法
散焦恢復(fù)形狀法 (Shape-from-defocus, SfD) 的原理如圖 6 所示，散焦恢復(fù)形狀是通過(guò)處于不同深度方向物體在圖像中離焦的程度來(lái)恢復(fù)物體的深度值，測(cè)量過(guò)程中需要移動(dòng)被測(cè)物或是相機(jī)，拍攝至少兩張不同聚焦程度的圖像。1995年，哥倫比亞大學(xué)的Nayer首次實(shí)現(xiàn)基于離焦投影恢復(fù)的三維面型測(cè)量法，其向被測(cè)物體投射設(shè)計(jì)好的圖案，經(jīng)被測(cè)物體反射后，通過(guò)分束棱鏡將光線分離，由兩個(gè)相機(jī)在同一個(gè)方向分別采集，由于兩幅圖像具有不同的離焦信息，因此可以計(jì)算出相機(jī)圖像中每個(gè)像素的深度值， 如圖 7 所示。測(cè)量過(guò)程中，投影與采集方向幾乎一 致，因此測(cè)量時(shí)很少會(huì)受到遮擋與陰影的影響，并且計(jì)算過(guò)程較為簡(jiǎn)單，在不依賴于高性能硬件條件下便可以實(shí)現(xiàn)實(shí)時(shí)動(dòng)態(tài)三維面形測(cè)量。1998 年，Nayer 等 人在不使用主動(dòng)光源的情況下，實(shí)現(xiàn)了具有紋理表面物體的三維測(cè)量。然而，該方法的深度測(cè)量精度還有待進(jìn)一步提升。
圖 6 散焦恢復(fù)形狀法測(cè)量原理圖
圖 7 散焦恢復(fù)形狀法測(cè)量結(jié)果
6、結(jié)構(gòu)光投影法
結(jié)構(gòu)光投影法是一種非常流行的非接觸式三維形貌測(cè)量技術(shù)，其具有硬件配置簡(jiǎn)單、測(cè)量精度高、 點(diǎn)密度高、速度快、成本低等優(yōu)點(diǎn)，已在工業(yè)和科學(xué)研究中得到廣泛應(yīng)用。從本質(zhì)上講，結(jié)構(gòu)光投影法可以看作是立體視覺法的一種改進(jìn)形式，其通過(guò)將立體視覺中一個(gè)攝像機(jī)替換成光源發(fā)生器 (如投影儀) 而 實(shí)現(xiàn)，原理如圖 8 所示。光源向被測(cè)物體投影按一定規(guī)則和模式編碼的圖像，編碼圖案受到物體表面形狀的調(diào)制而產(chǎn)生形變。帶有形變的結(jié)構(gòu)光被另外位置的相機(jī)拍攝到，通過(guò)相機(jī)與投影光源之間的位置關(guān)系和結(jié)構(gòu)光形變的程度可以確定出物體的三維形貌。
相比于立體視覺法，其最大優(yōu)點(diǎn)在于投影儀將結(jié)構(gòu)光圖像投射到物體上，由于物體表面被編碼圖案所覆蓋，可以很容易地克服立體視覺中的立體匹配問(wèn)題。此外求解物體初相位時(shí)是點(diǎn)對(duì)點(diǎn)的運(yùn)算，即在原理上某點(diǎn)的相位值不受相鄰點(diǎn)光強(qiáng)值的影響，從而避免了物面反光率不均勻或觀察視角的偏差引起的誤差，測(cè)量精度可以達(dá)到幾十分之一到幾百分之一個(gè)等效波 長(zhǎng)。有關(guān)結(jié)構(gòu)光投影法的基本原理可見 Geng 等的結(jié)構(gòu)光教學(xué)論文。
圖 8 結(jié)構(gòu)光投影法示意圖
在過(guò)去的幾十年中，基于結(jié)構(gòu)光投影法的三維形狀測(cè)量技術(shù)在計(jì)算機(jī)視覺和光學(xué)測(cè)量領(lǐng)域得到了迅速發(fā)展。在計(jì)算機(jī)視覺領(lǐng)域中，結(jié)構(gòu)光投影技術(shù)通常被稱為 3D 掃描，且所使用的結(jié)構(gòu)光投影圖案主要集中于基于離散強(qiáng)度方案。它們可進(jìn)一步分為空間編 碼 (單次拍攝) 和時(shí)間編碼 (多次拍攝) 的方案?？臻g 編碼方法有 De Bruijn編碼，非正規(guī)碼和M-array 碼。這些方法的關(guān)鍵思想是保證局部編碼在全局圖像中的唯一性。時(shí)間編碼方法是將有一定編碼的圖案連續(xù)投影到物體表面上，方法包括時(shí)間二進(jìn)制碼、時(shí)間 n 元碼和格雷碼。此外，還有學(xué)者提出使用紅、綠、藍(lán)三通道的彩色圖案或彩色多路復(fù)用結(jié)構(gòu)光投影法來(lái)提高編碼效率并減少三維重建 所需的結(jié)構(gòu)光圖案。關(guān)于這些編碼方案的基本原理和實(shí)際性能的更多細(xì)節(jié)，可見 Salvi 等人的綜述文章。由于數(shù)字光學(xué)投影儀的快速發(fā)展，使得所投影的面結(jié)構(gòu)光可以通過(guò)計(jì)算機(jī)編程更為靈活地進(jìn)行選擇， 并最大限度地提高測(cè)量精度和速度，這些優(yōu)點(diǎn)使結(jié)構(gòu)光投影技術(shù)成為最具潛力的三維面形測(cè)量技術(shù)之一。
6.1、條紋投影輪廓術(shù)
在光學(xué)測(cè)量領(lǐng)域，最具代表性的結(jié)構(gòu)光投影技術(shù)被稱為條紋投影輪廓術(shù) (Fringe Projection Profilometry，F(xiàn)PP)。FPP 具有結(jié)構(gòu)簡(jiǎn)單、精度高、速度快、成本低、 易實(shí)現(xiàn)等優(yōu)點(diǎn)，其在工業(yè)和科學(xué)研究領(lǐng)域都有較廣泛的應(yīng)用。當(dāng)代條紋投影輪廓術(shù)主要采用數(shù)字光柵投影技術(shù)，該技術(shù)通過(guò)利用數(shù)字設(shè)備取代機(jī)械裝置生成與投影面結(jié)構(gòu)光光柵，使得編碼過(guò)程更加靈活準(zhǔn)確。此外由于現(xiàn)代電子設(shè)備的高速發(fā)展，數(shù)字投影設(shè)備和采集設(shè)備的速度越來(lái)越快，結(jié)構(gòu)光條紋投影技術(shù)的應(yīng)用可完全滿足三維面形的高速實(shí)時(shí)測(cè)量 要求?；跅l紋投影輪廓術(shù)的三維測(cè)量系統(tǒng)和結(jié)構(gòu)光投影法的硬件系統(tǒng)相一致，一般由一個(gè)投影儀和一個(gè)或多個(gè)相機(jī)組成，如圖 8 所示。在測(cè)量過(guò)程中，投影儀將光柵條紋投向物體，條紋圖案經(jīng)物體調(diào)制后變形，再由相機(jī)采集。從采集到的條紋圖中可獲取物體 相位信息，相位圖中可以找出相機(jī)在投影儀中的對(duì)應(yīng)點(diǎn)，然后根據(jù)三角關(guān)系可求出物體的深度信息。在此過(guò)程中存在三個(gè)重要步驟：相位測(cè)量，相位展開，相位-深度映射。
FPP 中兩種主要的相位測(cè)量技術(shù)是 (時(shí)域) 相移輪廓術(shù) (Phase Shifting Profilometry， PSP)和(空域) 傅里葉變換輪廓術(shù) (Fourier Transform Profilometry, FTP)。FTP 是一種基于空間濾波的單幀光柵投影法，其最初于1982 年被 Takeda 等首先提出，之后Su，Zhang 等針對(duì)此方法開展了系統(tǒng)深入的研究工 作。此外，加窗傅里葉變換 (Windowed Fourier Transform, WFT)和小波變換 (Wavelet Transform, WT)也可用于單幀條紋圖的相位解調(diào)。有關(guān)傅里葉變換輪廓術(shù)的更多詳細(xì)的技術(shù)細(xì)節(jié)及其在動(dòng)態(tài)三維測(cè)量方面的應(yīng)用，可見參考文獻(xiàn)。不同于 FTP，PSP 需要至少三幅相移條紋圖案以實(shí)現(xiàn)逐像素的高精度相位測(cè)量。PSP 源于激光干涉技術(shù)，Srinivasan 等首先將相移干涉技術(shù)引入三維形貌測(cè)量領(lǐng)域。
相比于 FTP，PSP 具有更高的空間分辨率和相位測(cè)量精度， 并對(duì)環(huán)境光和物體表面反射率的變化更加魯棒。由于其多幀測(cè)量特性，當(dāng)測(cè)量動(dòng)態(tài)場(chǎng)景時(shí)，尤其當(dāng)幀間間隔內(nèi)的物體運(yùn)動(dòng)不可忽略時(shí)將導(dǎo)致相位誤差。嚴(yán)格來(lái)說(shuō)，運(yùn)動(dòng)引起的相位誤差是 PSP 固有且不可避免的問(wèn)題。但近年來(lái)，隨著高幀率圖像傳感器、高性能處理器和高速數(shù)字投影技術(shù)的發(fā)展，PSP 已逐漸應(yīng)用于動(dòng)態(tài)場(chǎng)景的高速實(shí)時(shí)三維測(cè)量。筆者所在課題組自 2011 年起針對(duì)相移輪廓術(shù)及其快速三維測(cè)量應(yīng)用方面也開展了系統(tǒng)性的研究工作，有關(guān)更多 PSP 的 技術(shù)細(xì)節(jié)及其相位誤差分析的內(nèi)容可見參考文獻(xiàn)。
無(wú)論是 PSP 和 FTP，與目標(biāo)高度所對(duì)應(yīng)的相位分布都由反正切函數(shù)得出，其范圍限制在-π 和 π 之間， 這樣的相位稱為截?cái)嘞辔换虬辔?。為了建立相機(jī)和投影儀之間一對(duì)一的像素對(duì)應(yīng)關(guān)系，并正確重建三維形貌，需對(duì)相位進(jìn)行展開/相位去包裹。
常見的相位展開法分為空間相位展開和時(shí)間相位展開兩大類。
空間相位展開通常只需一幅單獨(dú)的相位圖，依據(jù)像素鄰域內(nèi)的相位值實(shí)現(xiàn)相位展開。代表性的空間相位展開法主要包括可靠度引導(dǎo)的相位展開法、剪枝法、多網(wǎng)格法、最小LP范數(shù)法、掩膜切割法、p最小二乘相位展開法等。但對(duì)于孤立物體和不連續(xù)表面的相位分布，利用空間相位展開法理論上是無(wú)法無(wú)歧義地實(shí)現(xiàn)可靠的相位展開的，如圖 9 所示。
圖 9 孤立物體和不連續(xù)表面的包裹相位存在條紋級(jí)次歧義
時(shí)間相位展開方法通過(guò)采用多個(gè)包裹相位分布或添加額外的黑白編碼圖案來(lái)提供關(guān)于條紋級(jí)次的額外信息，以解決相位歧義問(wèn)題。與空間相位展開相比，時(shí)間相位展開中的每個(gè)像素的條紋級(jí)次都是獨(dú)立計(jì)算，無(wú)需參考鄰近像素，因此可以展開任意復(fù)雜形狀表面的包裹相位分布。其中常用的算法包括格雷編碼法與多頻時(shí)間相位展開法。有關(guān)于時(shí)域相位展開的基本原理和各類算法的技術(shù)對(duì)比可見參考文獻(xiàn)。
通過(guò)解算出的物體的絕對(duì)相位信息，就可以找出相機(jī)所拍攝圖像在投影儀圖像中的對(duì)應(yīng)點(diǎn)，然后根據(jù)三角關(guān)系可求出物體的深度信息。這種三角測(cè)量與立體視覺的三維重建原理是立體視覺與所有結(jié)構(gòu)光 三維測(cè)量技術(shù)的基礎(chǔ)，在第三章進(jìn)行了詳細(xì)討論。
6.2、散斑結(jié)構(gòu)光投影法
與條紋投影輪廓術(shù)類似，散斑結(jié)構(gòu)光投影法也屬于結(jié)構(gòu)光投影技術(shù)。其三維重建的基本流程為:
首先，對(duì)物體投射隨機(jī)散斑圖案，利用提前標(biāo)定好的雙目相機(jī)同時(shí)拍攝物體獲取左右原始散斑圖；其次，對(duì)原始散斑圖像進(jìn)行極線校正和散斑區(qū)域提取，在此基礎(chǔ)上利用數(shù)字散斑相關(guān)方法搜索整像素對(duì)應(yīng)點(diǎn)并根 據(jù)視差約束剔除誤匹配；然后通過(guò)合適的亞像素搜索方法得到準(zhǔn)確的亞像素對(duì)應(yīng)點(diǎn)；最后，利用三角測(cè)量原理重建出物體的三維形貌。
數(shù)字散斑相關(guān)測(cè)量技術(shù)具有系統(tǒng)簡(jiǎn)單，單幀重建，測(cè)量范圍大等諸多優(yōu)點(diǎn)。散斑結(jié)構(gòu)光投影法是文中所要討論的主要內(nèi)容。文章的后續(xù)章節(jié)將對(duì)其基本原理、關(guān)鍵技術(shù)、典型應(yīng)用等進(jìn)行了詳細(xì)分析與討論，因此這里只做簡(jiǎn)單介紹。
內(nèi)容節(jié)選自《紅外與激光工程》第 49 卷第 3 期。如有侵權(quán)，請(qǐng)通知?jiǎng)h除。
作者：左超1,2，張曉磊3，胡巖1,2,3，尹維1,2,3，沈德同3，鐘錦鑫1,2,3，鄭晶3，陳錢2*
(1. 南京理工大學(xué) 電子工程與光電技術(shù)學(xué)院 智能計(jì)算成像實(shí)驗(yàn)室 (SCILab)，江蘇 南京 210094;
2. 南京理工大學(xué) 江蘇省光譜成像與智能感知重點(diǎn)實(shí)驗(yàn)室，江蘇 南京 210094;3. 南京鋯石光電科技有限公司，江蘇 南京 210094)
