目錄
最近項目需要進行單目距離測量、像素坐標以及實際化學距離計算,整理一下單反成像相關的知識點。
1.相機成像原理說明
數碼單反影像拍攝的過程實際上是一個光學成像過程。 單反成像過程涉及四個坐標系:世界坐標系、相機坐標系、圖像坐標系、像素坐標系以及這四個坐標系的轉換。 SLR模型是光學成像模型的簡化。 最基本的鏡頭成像原理如圖1所示:
其中u是物距,f是焦距眼鏡透鏡成像原理,v是距離。 兩者都滿足關系式:
推理過程:
單反相機的鏡頭是一組鏡片。 當平行于主光軸的光線通過透鏡時,會聚到一點。 該點稱為焦點,焦點到透鏡中心的距離稱為焦距f。 數碼單反相機的鏡頭相當于凸透鏡,感光器件位于凸透鏡的焦點附近。 當焦距近似為凸透鏡中心到感光器件的距離時,就成為針孔成像模型。 針孔成像模型如圖2所示:
綜合上圖,當s和f相等時,就是SLR成像模型。 針孔成像模型是單反成像應用最廣泛的模型。 在該模型下,物體的空間坐標與圖像坐標之間存在線性關系,因此像素坐標的求解歸結為求解線性多項式組。
對于針眼單反模型,如圖3所示(其中f為單反焦距),對于現實世界中的空間點Pw(Xw,Yw,Zw),單反坐標系對應的坐標分別為Pc(Xw,Yw,Zw),對應的圖像坐標系坐標為P(x,y),對應的像素坐標為p(u,v)。
世界坐標系:是客觀三維世界的絕對坐標系,又稱客觀坐標系。
單反坐標系(光學中心坐標系):以單反光學中心為坐標原點,X軸、Y軸分別平行于圖像坐標系的X軸、Y軸,單反光學軸是 Z 軸。
圖像坐標系:以圖像平面的中心為坐標原點,X軸和Y軸分別平行于圖像平面的兩條垂直邊,用(x,y)表示其坐標值。 圖像坐標系使用化學單位(例如毫米)來表示圖像中像素的位置。
像素坐標系:以圖像平面左上角為原點,X軸和Y軸分別平行于圖像坐標系的X軸和Y軸,用(u,v)表示其坐標值,單位為像素。
2.相機成像過程
單反成像模型是用物理公式來描述整個成像過程,即被拍攝物體的空間點與照片成像點之間的幾何變換關系。 總體而言,單反成像可分為質心變換、透視投影、畸變校準和數字圖像四個步驟。
2.1. 世界坐標系->SLR坐標系
從世界坐標系到SLR坐標系,涉及到旋轉和平移(雖然所有運動也可以用旋轉矩陣和平移向量來描述)。 繞不同坐標軸旋轉不同角度,得到對應的旋轉矩陣,如右圖所示:
所以世界坐標系到SLR坐標系的轉換關系如下:
則可得到P點在SLR坐標系中的坐標:
其中,R、T為單反的外參數。 用齊次坐標寫的形式是為了方便矩陣運算。 其中R是3*3矩陣,T是3*1向量,0是1*3向量,1是常數項。
2.2、相機坐標系-->圖像坐標系
現實世界中的某一點將被投影到單反相機的成像平面上。 借助針眼成像原理,空間任意點Pc與像點p的關系,Pc與單反光心Oc的連線為OcPc,Pc與像的連線為OcPc。平面 交點 p 是空間點 Pc 在圖像平面上的投影。
這個過程就是一個透視投影,借助相似的三角形關系:
其中,f為焦距,z軸方向的s為Pc點到光心的距離,通常稱為比例因子,展開可得:
寫成矩陣,投影關系為:
其中,s為比例因子(s不為0),f為有效焦距(光心到像平面的距離),(x,y,z,1)T為空間對準度坐標系 oxyz 中的點 P 輔助坐標 (x, y, 1)T 是圖像點 p 在圖像坐標系 OXY 中的齊次坐標。
注意:此時投影點p的單位仍然是mm眼鏡透鏡成像原理,而不是像素,需要進一步轉換到像素坐標系。
2.3、圖像坐標系-->像素平面坐標系
像素坐標系和圖像坐標系都在成像平面上,但各自的原點和測量單位不同。 圖像坐標系的原點是單反光軸與成像平面的交點,一般為成像平面的中點或稱為點。 圖像坐標系的單位是mm,是化學單位,而像素坐標系的單位是pixel。 我們通常用幾行和幾列來描述一個像素點。 所以這兩者之間的換算如下:
其中,dx和dy表示每列每行代表多少mm,即=dxmm。
3. 單點無畸變單反成像模型
理想世界坐標->像素坐標系轉換過程如下:
整理以上關系:
因此,單點無畸變單反成像模型如下:
其中,(Xw,Yw,Zw)為世界坐標系下點的數學坐標,(u,v)為像素坐標系對應的點的像素坐標,s為比例因子(單反軸距方向上該點到成像平面的距離)。
稱為內參考矩陣,內參考矩陣取決于單反的內部參數。 其中,f為像距,dx和dy分別表示單反感光板上一個像素在x和y方向上的數學寬度(即一個像素在感光板上有多少毫米),分別表示單反感光板的中心位于像素坐標系中的坐標。
將矩陣轉換為:
稱為單反的外部參考。 外參矩陣取決于SLR坐標系和世界坐標系的相對位置,R表示旋轉矩陣,T表示平移向量。