點擊上方“計算機視覺life”,選擇“星標”
快速獲得最新干貨
在圖象檢測過程以及機器視覺應用中,為確定空間物體表面某點的三維幾何位置與其在圖象中對應點之間的互相關(guān)系,必須完善單反成像的幾何模型,這種幾何模型參數(shù)就是單反參數(shù)。在大多數(shù)條件下那些參數(shù)(內(nèi)參、外參、畸變參數(shù))必須通過實驗與估算就能得到,這個求解參數(shù)的過程就稱之為單反標定(或攝像機標定)。無論是在圖象檢測或則機器視覺應用中,單反參數(shù)的標定都是十分關(guān)鍵的環(huán)節(jié),其標定結(jié)果的精度及算法的穩(wěn)定性直接影響單反工作形成結(jié)果的確切性。為此,做好單反標定是做好后續(xù)工作的前提,提升標定精度是科研工作的重點所在。
標定的目的主要為解決兩個問題:
a、確定世界座標系下三維空間點與象素平面象素點間的轉(zhuǎn)換關(guān)系(內(nèi)外參);
b、確定單反成像過程中的畸變系,用于圖象矯治。
針眼單反模型
單反將三維世界中的座標點(單位:米)映射到二維圖象平面(單位:象素)的過程才能用一個幾何模型來描述,其中最簡單的稱為針眼單反模型(model),其框架如右圖所示:
其中,涉及到單反標定涉及到了四大座標系,分別為:
象素座標系
:為了描述物體成像后的像點在數(shù)字圖象上(照片)的座標而引入,是我們真正從單反內(nèi)讀取到的信息所在的座標系。單位為個(象素數(shù)量)。
成像平面座標系
:為了描述成像過程中物體從單反座標系到圖象座標系的投影透射關(guān)系而引入,便捷進一步得到象素座標系下的座標。單位為m。
單反座標系
:在單反上構(gòu)建的座標系,為了從單反的角度描述物體位置而定義,作為溝通世界座標系和圖象/象素座標系的中間一環(huán)。單位為m。
世界座標系
:用戶定義的三維世界的座標系,為了描述目標物在真實世界里的位置而被引入。單位為m。
下邊,我們來詳盡推論從世界座標系到象素坐標的過程。
世界座標系到單反座標系
從世界座標系到單反座標系,這是一個質(zhì)心變換,只需對世界座標系的三維點作用一個旋轉(zhuǎn)R和平移t(R,t即為單反的外參),變換過程可以通過一下公式完成:
單反座標系到成像平面座標系
這一過程進行了從三維座標到二維坐標的轉(zhuǎn)換,也即投影透視過程(用中心投影法將物體投射到投影面上,因而獲得的一種較為接近視覺療效的單面投影圖,也就是使我們?nèi)搜劭匆娋拔锝筮h小的一種成像方法)。
成像過程如右圖所示:針眼面(單反座標系)在圖象平面(圖象座標系)和物點平面(棋盤平面)之間,所成圖象為倒立虛像。
而且為了在物理上更便捷描述,我們將單反座標系和圖象座標系位置對調(diào),弄成右圖所示的布置形式(沒有實際的數(shù)學意義,只是便捷估算):
此時,假定單反座標系中有一點M,則在理想圖象座標系下(無畸變)的成像點P的座標為(可由相像三角形原則得出):
f為焦距,整理,得:
成像平面座標系到象素座標系
如上圖,成平面座標系和象素座標系之間存在一個縮放和平移
整理得:
以fx、fy的形式表示為:
其中
這么,單反座標系到象素座標系的最終方式可寫成:
將Zc移到右邊:
所以,在世界座標系中的三維點M=[X,Y,Z]T和象素座標系中二維點m=[u,v]T的關(guān)系為:
即:
其中,s為縮放因子,A為單反的內(nèi)參矩陣,[Rt]為單反的外參矩陣,
和
分別為m和M對應的齊次座標。
畸變模型
我們在攝像機座標系到圖象座標系變換時提到透視投影。攝像機照相時通過透鏡把實物投影到像平面上,并且透鏡因為制造精度以及組裝工藝的誤差會引入畸變,造成原始圖象的失真。為此我們須要考慮成像畸變的問題。
透鏡的畸變主要分為徑向畸變和切向畸變透鏡成像原理matlab,還有薄透鏡畸變等等,但都沒有徑向和切向畸變影響明顯,所以我們在這兒只考慮徑向和切向畸變。
徑向畸變
顧名思義,徑向畸變就是順著透鏡直徑方向分布的畸變,形成緣由是光線在原理透鏡中心的地方比緊靠中心的地方愈發(fā)彎曲,這些畸變在普通廉價的鏡頭中表現(xiàn)愈加顯著,徑向畸變主要包括桶形畸變和枕形畸變兩種。以下分別是枕形和桶形畸變示意圖:
實際情況中我們常用r=0處的泰勒級數(shù)展開的前幾項來近似描述徑向畸變,矯治徑向畸變前后的座標關(guān)系為:
切向畸變
切向畸變是因為透鏡本身與單反傳感平面(像平面)或圖象平面不平行而形成的,這些情況多是因為透鏡被粘貼到鏡頭模組上的安裝誤差造成。畸變模型可以用兩個額外的參數(shù)p1和p2來描述:
其中,
所以,我們一共須要5個畸變參數(shù)(k1,k2,k3,p1,p2)來描述透鏡畸變。
綜上所述,單反標定實際上就是確定單反的內(nèi)外參數(shù)、畸變參數(shù)的過程。
以上是對于單個單反進行標定,這么對于多目單反系統(tǒng)或則RGBD單反的標定呢?
立體標定
對于多目單反系統(tǒng)或則RGBD單反不僅要對別對每位單反進行以上標定以外,還須要求傳感之間的變換T透鏡成像原理matlab,以使同一時刻獲取的數(shù)據(jù)才能“對齊”,以雙目為例,左右兩個單反的座標系如右圖:
估算出兩個攝像機之間的旋轉(zhuǎn)矩陣R和平移向量t,方式是分別估算出兩個攝像機的R和T,再由以下公式估算:
立體匹配
因為單單反獲取的圖象只能估算出二維座標,由于我們使用了2套單反,且2套單反之間的關(guān)系也是已知的,這么倘若我們能把三維空間中某點在左右單反成像的二維座標都估算下來,且能曉得這是同一個點,這樣就可以估算出三維座標。這兒面確認同名點的技術(shù)就是立體匹配。立體匹配有好多種算法,其中局部匹配法是最常用的,并且就目前已有算法來說,沒有一種算法可以實現(xiàn)100%匹配。通常來說待匹配點越多,匹配確切率越低。
現(xiàn)有標定方式介紹
單反標定方式有:傳統(tǒng)單反標定法、主動視覺單反標定法、相機自標定法。
標定方式優(yōu)點缺點常用技巧
傳統(tǒng)單反標定法
可使用于任意的單反模型、精度高
須要標定物、算法復雜
Tsai兩步法、張氏標定法
主動視覺單反標定法
不須要標定物、算法簡單、魯棒性高
成本高、設(shè)備高昂
主動系統(tǒng)控制單反做特定運動
單反自標定法
靈活性強、可在線標定
精度低、魯棒性差
分層逐漸標定、基于等式
(左右滑動查看)
Tsai兩步法是先線性求得單反參數(shù),然后考慮畸變誘因,得到初始的參數(shù)值,通過非線性優(yōu)化得到最終的單反參數(shù)。Tsai兩步法速率較快,但僅考慮徑向畸變,當單反畸變嚴重時,該方式不適用。
張氏標定法使用二維方格組成的標定板進行標定,采集標定板不同位姿圖片,提取圖片中角點象素座標,通過單應矩陣估算出單反的內(nèi)外參數(shù)初始值,借助非線性最小二加法恐怕畸變系數(shù),最后使用極大殘差恐怕法優(yōu)化參數(shù)。該方式操作簡單,但是精度較高,可以滿足大部份場合。
基于主動視覺的單反標定法是通過主動系統(tǒng)控制單反做特定運動,借助控制平臺控制單反發(fā)生特定的聯(lián)通拍攝多組圖像,根據(jù)圖象信息和已知位移變化來求解單反內(nèi)外參數(shù)。這些標定方式須要配備精準的控制平臺,因而成本較高。
分層逐漸標定法是先對圖象的序列做射影重建,在重建的基礎(chǔ)上進行放射標定和歐式標定,通過非線性優(yōu)化算法求得單反內(nèi)外參數(shù)。因為初始參數(shù)是模糊值,優(yōu)化算法收斂性不確定。
基于的自標定法是通過二次曲線完善關(guān)于單反內(nèi)參矩陣的約束等式,起碼使用3對圖象來標定單反。圖象序列寬度會影響標定算法的穩(wěn)定性,難以保證射影空間中的無窮遠平面。
以上為單個單反標定的方式,而對于單反-單反、相機-距離傳感之間進行標定,、都有自帶的工具箱或函數(shù)庫可以拿來標定,但[1]提出了一個帶有Web界面的工具箱,用于全手動單反到單反和單反到范圍的校正。該系統(tǒng)可在一分鐘內(nèi)恢復內(nèi)外參數(shù)以及攝像機和距離傳感之間的轉(zhuǎn)換。并且,該方式所提出的基于生長的棋盤格角點測量方式顯著優(yōu)于須要指定棋盤格角點大小的角點測量方式。詳盡介紹請參考
:
1、A,F,Car?,etal.andrangeusingashot[C]//and(ICRA),2012IEEEon.IEEE,2012:3936-3943.
2、針孔單反投影模型以及畸變模型
4、學習(英文版)——&Gary
5、雙目視覺之單反標定
交流群
歡迎加入公眾號讀者群一起和同行交流,目前有SLAM、算法大賽、圖像檢查分割、人臉人體、醫(yī)學影像、自動駕駛、綜合等陌陌群(之后會漸漸細分),請掃描下邊微訊號加群,備注:”昵稱+中學/公司+研究方向“,比如:”張三+北京師大+視覺SLAM“。請依照格式備注,否則不予通過。添加成功后會依照研究方向約請步入相關(guān)陌陌群。切勿在群內(nèi)發(fā)送廣告,否則會請出群,感謝理解~
從零開始學習三維視覺核心技術(shù)SLAM,掃描查看介紹,3天內(nèi)無條件退貨
早就是優(yōu)勢,學習切勿單打獨斗,這兒有教程資料、練習作業(yè)、答疑解惑等,優(yōu)質(zhì)學習圈幫你少走彎路,快速入門!