雙目立體(雙目視覺(jué)三維點(diǎn)云獲取要學(xué)習什么知識)
1.雙目視覺(jué)三維點(diǎn)云獲取要學(xué)習什么知識
雙目攝像頭是利用仿生學(xué)原理，通過(guò)標定后的雙攝像頭得到同步曝光圖像，然后計算獲取的2維圖像像素點(diǎn)的第三維深度信息。雙目攝像頭利用視覺(jué)計算原理，可以計算出拍攝場(chǎng)景內物體的3維空間位置信息，在此基礎上可以實(shí)現環(huán)境感知、體感、建模、行為識別等各種應用。相比單目攝像頭，雙目攝像頭的功能更加豐富，可獲取依靠單目攝像頭無(wú)法準確識別的信息。
國內這兩年有不少科技類(lèi)初創(chuàng )企業(yè)都在積極布局深度攝像頭市場(chǎng)，其中冒出了不少做雙目視覺(jué)硬件的公司。我們公司最近因為一個(gè)項目在尋找合適的雙目硬件，幾經(jīng)對比下來(lái)，發(fā)現國內居然有一款各方面參數都不錯的雙目——小覓雙目攝像頭深度版。經(jīng)過(guò)和他們公司的接觸，拿到了一款他們這個(gè)版本的內測版，拿回來(lái)測試了之后效果還不錯，只是有些小的bug，所以準備等到他們深度版的正式量產(chǎn)后再購買(mǎi)。據說(shuō)，這款深度版攝像頭將在今年三季度上市，“雙目+IMU”的方案本身就不錯，而且是彩色圖像輸出，可以直出深度圖，三維點(diǎn)云的獲取也很順暢。
2.雙目立體視覺(jué)原理最早什么時(shí)候提出的
一、雙目立體視覺(jué)原理最早始于上世紀的60年代中期提出。
分析：雙目立體視覺(jué)的開(kāi)創(chuàng )性工作始于上世紀的60年代中期。美國MIT的Roberts通過(guò)從數字圖像中提取立方體、楔形體和棱柱體等簡(jiǎn)單規則多面體的三維結構，并對物體的形狀和空間關(guān)系進(jìn)行描述，把過(guò)去的簡(jiǎn)單二維圖像分析推廣到了復雜的三維場(chǎng)景，標志著(zhù)立體視覺(jué)技術(shù)的誕生。
二、雙目立體視覺(jué)原理簡(jiǎn)介：
雙目立體視覺(jué)是機器視覺(jué)的一種重要形式，是基于視差原理并利用成像設備從不同的位置獲取被測物體的兩幅圖像，通過(guò)計算圖像對應點(diǎn)間的位置偏差，來(lái)獲取物體三維幾何信息的方法。
3.雙眼立體視覺(jué)檢查圖
目前國內外對視覺(jué)研究非常重視，因為它是揭示腦奧秘的最 好途徑，而立體視覺(jué)是視覺(jué)研究中的重要課題，隨著(zhù)科學(xué)技術(shù)的高度發(fā)展，越來(lái)越多的職業(yè)需高敏立體視功能，故國內外對立體 視覺(jué)的檢測法做了很多研究，盡管如此，立體視覺(jué)產(chǎn)生機制等問(wèn) 題還不是很清楚。
現簡(jiǎn)單介紹幾種國內外常用的立體視覺(jué)檢測法。1。
dolman深徑計：此法是直觀(guān)式、三維信息刺激型、遠距 離檢測法，正常值為二根垂直桿相差在3cm內，臨床已很少應用。2。
Titmus立體圖：依偏振光原理而制，屬圖像式，檢查時(shí) 需戴偏振光眼鏡，視差范圍400〃?40"。 該圖檢查方便，被檢者 易于理解，但準確性差，有單眼立體線(xiàn)索，重復性差，易記憶， 易出現假陽(yáng)性，還有印刷質(zhì)量問(wèn)題。
目前在國外此法應用最多。3。
同視機檢查法：圖像式、遠距離法，國內使用很廣。傳 統的立體視圖片只能定性，不能定量，準確性較差，不能滿(mǎn)足臨 床需要。
顏少明新研制的隨機點(diǎn)同視機立體定量圖，視差范圍800"? 60"，圖形不重復，無(wú)暗示信號，無(wú)法猜測，極易識別，還能捕 捉雙眼單視破裂點(diǎn)，準確測定立體視，受到國內外的重視，國外多采用近距檢查法。遠距與近距的立體視機制的內涵不完全相同，這里有靜態(tài)和 動(dòng)態(tài)立體視的問(wèn)題，現代研究表明，規范的立體視檢查方法必須雙相測定，二者不可偏廢，彼此不可代替。
故隨機點(diǎn)同視機立體圖在對立體視覺(jué)研究和臨床應用上有更重要的意義和廣闊的前景。4。
Frisby立體板：直觀(guān)式、隨機點(diǎn)立體圖，不需戴偏振光 鏡或紅綠膠片鏡，視差范圍875" ~ 20"，檢查方便，但準確性較差，被檢者頭部固定不好時(shí)，易產(chǎn)生假陽(yáng)性。 5。
TNO隨機點(diǎn)立體圖：戴紅綠眼鏡檢查，視差400"?15"， 正常值60"，此圖為測定整體視功能，有人對比了該圖與Titams 立體圖及Frisby立體板及雙桿立體測量?jì)x，結論是測定有無(wú)立體視以該圖最好，但由于印刷質(zhì)量問(wèn)題，圖片顏色與膠片不一定一 致，設計上存在暗示信號，密碼特性發(fā)揮不充分。 6。
顏氏隨機立體視覺(jué)檢查圖：該圖隨機點(diǎn)偽裝嚴密徹底， 項目齊全，客觀(guān)準確性好，自1985年出版以來(lái)，已在全國各地普遍使用。郭靜秋等利用三種方法進(jìn)行兒童立體視銳度測定，發(fā) 現顏氏法及Frisby法正常值為≤60",Titmus法似以。
4.雙目立體視覺(jué)原理最早什么時(shí)候提出的
一、雙目立體視覺(jué)原理最早始于上世紀的60年代中期提出。
分析：雙目立體視覺(jué)的開(kāi)創(chuàng )性工作始于上世紀的60年代中期。美國MIT的Roberts通過(guò)從數字圖像中提取立方體、楔形體和棱柱體等簡(jiǎn)單規則多面體的三維結構，并對物體的形狀和空間關(guān)系進(jìn)行描述，把過(guò)去的簡(jiǎn)單二維圖像分析推廣到了復雜的三維場(chǎng)景，標志著(zhù)立體視覺(jué)技術(shù)的誕生。
二、雙目立體視覺(jué)原理簡(jiǎn)介： 雙目立體視覺(jué)是機器視覺(jué)的一種重要形式，是基于視差原理并利用成像設備從不同的位置獲取被測物體的兩幅圖像，通過(guò)計算圖像對應點(diǎn)間的位置偏差，來(lái)獲取物體三維幾何信息的方法。
5.雙目立體視覺(jué)檢測的主要步驟有哪些
與普通的圖像模板匹配不同的是，立體匹配是通過(guò)在兩幅或多幅存在視點(diǎn)差異、幾何畸變、灰度畸變、噪聲干擾的圖像對之間進(jìn)行的，不存在任何標準模板進(jìn)行匹配。
立體匹配方法一般包含以下三個(gè)問(wèn)題：（1）基元的選擇，即選擇適當的圖像特征如點(diǎn)、直線(xiàn)、相位等作為匹配基元；（2）匹配的準則，將關(guān)于物理世界的某些固有特征表示為匹配所必須遵循的若干規則，使匹配結果能真實(shí)反映景物的本來(lái)面目；（3）算法結構，通過(guò)利用適當的數學(xué)方法設計能正確匹配所選擇基元的穩定算法。根據匹配基元的不同，立體視覺(jué)匹配算法目前主要分為三大類(lèi)，即區域匹配、相位匹配和特征匹配：基于區域灰度的匹配算法是把一幅圖像（基準圖）中某一點(diǎn)的灰度鄰域作為模板，在另一幅圖像（待匹配圖）中搜索具有相同（或相似）灰度值分布的對應點(diǎn)鄰域，從而實(shí)現兩幅圖像的匹配。
這類(lèi)算法的性能取決于度量算法及搜索策略的選擇。另外，也必須考慮匹配窗口大小、形式的選擇，大窗口對于景物中存在的遮擋或圖像不光滑的情況會(huì )更多的出現誤匹配，小窗口則不具有足夠的灰度變化信息，不同的窗口形式對匹配信息也會(huì )有不同的影響。
因此應該合理選取匹配區域的大小和形式來(lái)達到較好的匹配結果。相位匹配是近二十年發(fā)展起來(lái)的。
與普通的圖像模板匹配不同的是，立體匹配是通過(guò)在兩幅或多幅存在視點(diǎn)差異、幾何畸變、灰度畸變、噪聲干擾的圖像對之間進(jìn)行的，不存在任何標準模板進(jìn)行匹配。立體匹配方法一般包含以下三個(gè)問(wèn)題：（1）基元的選擇，即選擇適當的圖像特征如點(diǎn)、直線(xiàn)、相位等作為匹配基元；（2）匹配的準則，將關(guān)于物理世界的某些固有特征表示為匹配所必須遵循的若干規則，使匹配結果能真實(shí)反映景物的本來(lái)面目；（3）算法結構，通過(guò)利用適當的數學(xué)方法設計能正確匹配所選擇基元的穩定算法。
根據匹配基元的不同，立體視覺(jué)匹配算法目前主要分為三大類(lèi)，即區域匹配、相位匹配和特征匹配：基于區域灰度的匹配算法是把一幅圖像（基準圖）中某一點(diǎn)的灰度鄰域作為模板，在另一幅圖像（待匹配圖）中搜索具有相同（或相似）灰度值分布的對應點(diǎn)鄰域，從而實(shí)現兩幅圖像的匹配。這類(lèi)算法的性能取決于度量算法及搜索策略的選擇。
另外，也必須考慮匹配窗口大小、形式的選擇，大窗口對于景物中存在的遮擋或圖像不光滑的情況會(huì )更多的出現誤匹配，小窗口則不具有足夠的灰度變化信息，不同的窗口形式對匹配信息也會(huì )有不同的影響。因此應該合理選取匹配區域的大小和形式來(lái)達到較好的匹配結果。
相位匹配是近二十年發(fā)展起來(lái)的一種匹配算法，相位作為匹配基元，即認為圖像對中的對應點(diǎn)局部相位是一致的。最常用的相位匹配算法有相位相關(guān)法和相位差——頻率法，雖然該方法是一種性能穩定、具有較強的抗輻射抗透視畸變能力、簡(jiǎn)單高效、能得到稠密視差圖的特征匹配方法。
但是，當局部結構存在的假設不成立時(shí)，相位匹配算法因帶通輸出信號的幅度太低而失去有效性，也就是通常提到的相位奇點(diǎn)問(wèn)題，在相位奇點(diǎn)附近，相位信息對位置和頻率的變化極為敏感，因此用這些像素所確定的相位差異來(lái)衡量匹配誤差將導致極不可靠的結果。此外，相位匹配算法的收斂范圍與帶通濾波器的波長(cháng)有關(guān)，通常要考慮相位卷繞，在用相位差進(jìn)行視差計算時(shí)，由于所采用的相位只是原信號某一帶通條件下的相位，故視差估計只能限制在某一限定范圍之內，隨視差范圍的增大，其精確性會(huì )有所下降。
基于特征的圖像匹配方法是目前最常用的方法之一，由于它能夠將對整個(gè)圖像進(jìn)行的各種分析轉化為對圖像特征（特征點(diǎn)、特征曲線(xiàn)等）的分析的優(yōu)點(diǎn)，從而大大減小了圖像處理過(guò)程的計算量，對灰度變化、圖像變形、噪音污染以及景物遮擋等都有較好的適應能力。基于特征的匹配方法是為使匹配過(guò)程滿(mǎn)足一定的抗噪能力且減少歧義性問(wèn)題而提出來(lái)的。
與基于區域的匹配方法不同，基于特征的匹配方法是有選擇地匹配能表示景物自身特性的特征，通過(guò)更多地強調空間景物的結構信息來(lái)解決匹配歧義性問(wèn)題。這類(lèi)方法將匹配的搜索范圍限制在一系列稀疏的特征上。
利用特征間的距離作為度量手段，具有最小距離的特征對就是最相近的特征對，也就是匹配對。特征間的距離度量有最大最小距離、歐氏距離等。
特征點(diǎn)匹配算法嚴格意義上可以分成特征提取、特征匹配和消除不良匹配點(diǎn)三步。特征匹配不直接依賴(lài)于灰度，具有較強的抗干擾性。
該類(lèi)方法首先從待匹配的圖像中提取特征，用相似性度量和一些約束條件確定幾何變換，最后將該變換作用于待匹配圖像。匹配中常用的特征基元有角點(diǎn)、邊緣、輪廓、直線(xiàn)、顏色、紋理等。
同時(shí)，特征匹配算法也同樣地存在著(zhù)一些不足，主要表現為：（l）特征在圖像中的稀疏性決定了特征匹配只能得到稀疏的視差場(chǎng)，要獲得密集的視差場(chǎng)必須通過(guò)使用插值的過(guò)程，插值過(guò)程通常較為復雜。（2）特征的提取和定位的準確與否直接影響特征匹配結果的精確度。
（3）由于其應用場(chǎng)合的局限性，特征匹配往往適用于具有特征信息顯著(zhù)的環(huán)境中，在缺少顯著(zhù)主導特征環(huán)境中該方法有很大困難。總之，特征匹配基元包含了算法編程上的靈活性。
6.關(guān)于眼睛的一些經(jīng)典的小知識
眼，視覺(jué)器官。亦稱(chēng)眼睛、目、招子，是大部分動(dòng)物接收光線(xiàn)并在大腦形成影像的器官。對于人類(lèi)來(lái)說(shuō)，它是視覺(jué)器官，最重要的感覺(jué)器官之一。眼是一個(gè)非常精細的器官，可以在不同的環(huán)境下對自己 的具體形態(tài)進(jìn)行改變，使得人類(lèi)在復雜的環(huán)境中獲取正確的信息。
最簡(jiǎn)單的眼睛結構可以探測周?chē)h(huán)境的明暗，更復雜的眼睛結構可以提供視覺(jué)（復眼通常在節肢動(dòng)物，例如昆蟲(chóng)中發(fā)現，通常有很多簡(jiǎn)單的小眼面組成，并產(chǎn)生一個(gè)影像）。
在很多脊椎動(dòng)物和一些軟體動(dòng)物中，眼睛通過(guò)把光投射到對光敏感的視網(wǎng)膜成像，在那里，光線(xiàn)被接收并轉化成信號并通過(guò)視神經(jīng)傳遞到腦部。通常眼睛是球狀的，當中充滿(mǎn)透明的凝膠狀的物質(zhì)，有一個(gè)聚焦用的晶狀體，通常還有一個(gè)可以控制進(jìn)入眼睛光線(xiàn)多少的虹膜。
而且，人眼睛的顏色取決于虹膜。
7.雙目立體視覺(jué)重構三維空間點(diǎn)時(shí)候,如何考慮畸變因素
人類(lèi)的空間知覺(jué)系由兩種因素所組成。一種并不是人體固有的，它是由過(guò)去的實(shí)踐經(jīng)驗所形成的一種空間判斷能力。另一種，是人體固有的本能，它是由于兩眼視網(wǎng)膜像的輕度差異所導致的立體感覺(jué)。前者可以由單獨一只眼去實(shí)現，而后者要靠?jì)裳鄣穆?lián)合作用去完成。再者，正常的雙眼空間定位是根據兩眼的正常像差所形成，當兩眼的像差超過(guò)了正常范圍，必然地要發(fā)生錯誤的空間定位，因而導致所處環(huán)境中各種物貌的改變。
兩眼對著(zhù)圖中的 F 點(diǎn)注視時(shí)，兩眼單視圖上的兩個(gè)物體 A 和 B 在兩眼視網(wǎng)膜的對應點(diǎn)處結成像點(diǎn)為 a 和 b ，如把水平性等像透鏡放在右眼之前，使右眼所成的像均沿著(zhù)水平子午線(xiàn)放大，則原來(lái)的 AB ，在右眼看來(lái)變?yōu)?A 1 B 1 。右眼視網(wǎng)膜上的像亦由 ab 變?yōu)?a ′ b ′ ，但左眼者不變。因為能夠同時(shí)刺激左眼 a 點(diǎn)和右眼 a ′ 點(diǎn)的物體只有 c 點(diǎn)，因而被試者感到 A 點(diǎn)向 C 點(diǎn)移近。又因為能夠同時(shí)刺激左眼 b 點(diǎn)和右眼 b ′ 點(diǎn)的物體只有 D 點(diǎn)，因而感到 F 點(diǎn)向 D 點(diǎn)后退。由于物像在視網(wǎng)膜上的水平差異，因而產(chǎn)生外界實(shí)體的畸變，使圖中的 AB 平面以 F 為固定點(diǎn)向 CD 的位置旋轉。
假若被試者右眼戴著(zhù)等像透鏡，觀(guān)察正前方的兩條大小相同、距離相等的豎立著(zhù)的棍子，會(huì )感到右側的要粗大些，并且距離要遠些。整個(gè)視野的物體部是右半較大些。一個(gè)平的桌面變得右側向下，左側向上偏斜。受試者所處的地平面也發(fā)生同樣的偏斜，好像在一個(gè)斜坡上走動(dòng)。如果觀(guān)察人臉，也是右側大些.成為不對稱(chēng)的怪樣子：正方形的物體都成為不規則的四邊形，圓形成為卵圓形。如果這個(gè)試驗繼續一段相當長(cháng)的時(shí)間，這些不常見(jiàn)的怪現象會(huì )慢慢地消失。 Burian 于 1943 年的實(shí)驗證實(shí)，如果戴著(zhù)這種鏡子堅持 3~4d ，并且生活在熟悉的環(huán)境中，上述的畸變就可完全消失。但是如果把他領(lǐng)進(jìn)—個(gè)參照景物較少的生疏環(huán)境中上述視畸變又會(huì )再次出現。
從上面的試驗不難看出，盡管兩眼空間視覺(jué)的最基本條件：正常范圍的雙眼像差受到影響，但仍可用視覺(jué)心理的因素予以糾正。這種糾正首先是靠實(shí)踐，也就是除了視覺(jué)以外的其他感覺(jué)器官，如手、足等，直接與外界物體的接觸，還有大腦的高級神經(jīng)活動(dòng)的興奮和抑制作用的互相協(xié)調。既要實(shí)踐，就要時(shí)間，所需時(shí)間的長(cháng)短，與被糾正的難易程度和各人的神經(jīng)體質(zhì)、精神狀態(tài)有很大關(guān)系。因此，如果兩眼像差不很明顯，在正常情況下并不顯現癥狀，但當身體暫時(shí)虛弱，精神沮喪，或者高空飛行員，由于客觀(guān)環(huán)境的改變，部可以保高空缺氧時(shí)，隱性斜視變?yōu)轱@性斜視—樣，導致像不等癥狀的出現。
