為何需要多個視圖
校準板只須量度一次,便可在數個未知方向下拍攝。我們知道板上點的平面座標,卻不知道每張照片的旋轉和平移。目標是求所有視圖共用的一個內參矩陣,而非給每張影像一個互不相干的單應矩陣。板上的直角與相同座標尺度提供了任意平面紋理本身不一定提供的度量資訊。
假設校準板剛性且平面,其 Cartesian 座標使用共同長度單位;每張圖至少觀察到四個板點,其中存在任三點不共線的四點組,且配置能識別可逆單應。相機固定內參、符合可逆針孔模型,暫時忽略鏡頭畸變。板點投影必須有限,可見平面不可穿過相機中心。先前的單應估計章節解釋如何從測量點求單應,以及正規化與穩健篩選的作用。這裏從這些單應出發推導額外限制。實際估計的可靠程度仍取決於配對、校準板及相機假設。
每個平面方向提供兩個方程
定義 1.33.1
(平面到影像的單應與內參矩陣)
選擇板座標,使點為 。令其相機座標為 ,其中 。使用慣常的上三角內參矩陣
則平面到影像的單應矩陣各列滿足
定義 1.33.2
(絕對二次曲線的像與兩條限制)
定義對稱正定的絕對二次曲線像矩陣 。旋轉矩陣頭兩列是互相正交的單位向量,其共同的未知單應比例會抵消,得到
定義 1.33.3
(參數向量與雙線性映射)
它們是關於 六個獨立元素的齊次線性方程。寫 ,對 定義
於是 。每個視圖將兩行 和 加入矩陣 ;精確數據滿足 。單應的任意非零比例使兩行同乘該比例的平方,因此不改變精確方程;但在含噪數據中會改變行權重。故應報告正規化方法,不可把代數擬合誤作不依尺度的幾何最大似然估計。
概念視角幾何
正規化座標中的正交條件
由於 ,對所有 都有 : 就是把像素向量用 換成正規化相機座標後,普通點積的 Gram 矩陣。對精確的單應 , 與 是按同一比例伸縮的標準正交向量,所以兩條約束恰好表示它們互相正交且長度相等。校準要找的,就是使校準板兩個座標軸看起來標準正交的那個內積。
定理 1.33.4
(線性內參限制何時識別相機)
假設精確數據來自上述形式的一個相機,且堆疊矩陣 的秩為五。其零空間便把 確定至非零比例。選取正定的符號,並把恢復的上三角內參矩陣右下角正規化至一,便得到滿足這些限制、具正對角及上述形式的唯一 。在不額外限制五個內參的模型中,秩五至少需要三個視圖,但三個視圖不自動充分。
證明
(線性限制恰好確定相機)
精確數據滿足 ,其中 是真實矩陣 所對應的非零向量。 有六列、秩為五,所以零空間是 生成的直線,每個解都是 ()。 正定當且僅當 ,這就選定了符號。把 寫成 ,其中 是對角線為正的上三角矩陣;由於 正是這樣的因子,由 Cholesky 因子的唯一性得 。因此 ,除以其右下角元素 便得回 。所以任何符合所述形式、對角線為正、又與這些限制一致的相機,其正規化後的 都相同。
證明透視
為何唯一二次曲線決定唯一內參
齊次方程只決定一條矩陣射線,故先以正定性選符號。Cholesky 唯一性再把上三角逆矩陣決定至正比例;固定右下角正好移除這個比例。論證依賴可逆及正焦距慣例,任意秩二或不定矩陣都不能當作此相機。
每個視圖至多提供兩條獨立行,所以一個或兩個視圖不能達到秩五。三個或以上亦須實際堆疊矩陣達秩五才充分。若另有合理的內參假設,例如已知零斜交,則另一個受限問題可能用較少視圖求解。含噪時可取 的最小右奇異向量作代數候選,並檢查奇異值。秩五是精確可識別性條件;最小兩個奇異值間距小則提示條件較弱。雜訊可能產生不定候選,這時改變整體符號也不能以 Cholesky 恢復有效相機,須另加模型或受約束估計。
恢復內參及姿態
秩條件只給出一個相差比例的非零對稱 。若其中一個符號正定,選用該符號並計算唯一正對角上三角 Cholesky 因子 ,使 。由於 也是正對角上三角矩陣,唯一性給出 ,其中正數 是估計 的比例。因此令 ,再把所有元素除以 ,使右下角為一。這消除了任意比例,沒有強行設斜交為零或令兩個焦距相等。
命題 1.33.5
(由精確單應與已知內參求位姿)
設 精確成立,其中 、 可逆、,並令 、、。則 、,且
其中 是 兩個值之一。兩個值都給出真正的旋轉,並使板上各點在相機座標中的深度同時變號。
證明
(由正規化的列讀出位姿)
由 ()及 ,得 、、。 單位正交,故 、,所以 ,所列公式成立。把 換成 , 同時變號而 不變,因此 仍屬於 。板點 的相機深度為 ,隨 變號。
齊次單應本身不提供符號:若其中一個符號使所有觀測板點在相機中深度為正,便選這個符號。對不相容的含噪數據, 不會完全正交或等長;只正規化其中一列不能構成旋轉。應明確訂立比例慣例,把近似標架投影到 ,或共同精修。共同精修時要對所用點施加正深度,並指定重投影目標;以上步驟均不保證全域最優。
常見錯誤
(分別正規化各列不能得到旋轉)
對含噪數據,設 、。分別正規化得 、,但 ,所以 不是正交矩陣。應把近似標架投影到 ,或共同精修。
完整三視圖計算
例題 1.33.6
(恢復未知相機及一個姿態)
取板座標範圍 ,假設精確單應代表為
第一視圖給 和 。視圖 2 的正交方程繼而給 ,視圖 3 的正交方程給 。視圖 2 的等長方程代入 和 後,化為 。五條獨立限制推出
第三視圖餘下的等長方程亦滿足,所以它是相容性檢查,不是第六條獨立限制。對 ,有 、;選 得 及 。所有板點的深度 ,另一符號則把所有點放到相機後方。此算例使用精確、無畸變單應,並不聲稱真實三張影像必定有良好條件數。
例題 1.33.7
(含傾斜係數的 Cholesky 還原)
設零空間向量與 成比例,即 。這個矩陣正定:其順序主子式為 、、。它的 Cholesky 因子為 ,因為 、、、; 確實還原原矩陣。於是 ,除以右下角元素 ,得 。把 換成 仍得同一個 ,因為正規化消去了比例。傾斜係數 是被恢復出來的,並非預先假設:這個正規化既不強加零傾斜,也不強加兩個焦距相等。
常見錯誤
(把單應的符號當成位姿的符號)
與 表示同一個單應。在三視圖例子中,取 會得 、,每個板點的深度 ,即整塊板位於相機後面。必須要求深度為正來選取符號。
反例模式
再多正對相機的平面視圖也不能代替獨立方向
對正對相機的板,取 、;各照片的平移、平面內角度及單應比例可以不同。兩個限制只涉及 的左上 區塊。不論角度,它們都要求 、,只有兩條獨立限制。特別是方程不能決定 ,仍有無限多正定選擇。因此即使有無限多無噪影像,只把板靠近、遠離或側移而不傾斜,也不能識別全部五個不受限內參。傾斜可以增加資訊,但只數傾斜次數不能證明秩五。
有界範圍的畸變擬合
初步針孔校準後,假設已估姿態給出理想正規化射線 ,測量像素經內參逆變換得畸變正規化座標 。令 ,使用受限徑向模型
固定射線及內參時,此式對 線性;堆疊各行後,只有設計矩陣秩二才可唯一最小二乘求解。數據全在光心時,各行為零;只有單一非零半徑時,第二列是第一列乘以該半徑的平方,不能分開兩個係數。不同半徑有助識別,但不保證不確定性低。此分階段擬合只對係數線性,對未知姿態、內參及畸變並非聯合線性。初始單應本身可能受畸變偏差影響,因此通常還需把畸變模型納入聯合非線性重投影擬合。須說明有效視場並檢查徑向映射在該範圍是否單射;切向畸變與滾動快門不在此模型中。
例題 1.33.8
(兩個半徑確定受限模型的兩個係數)
理想正規化點取 和 ,觀測畸變座標分別為 和 。第一條非零行給出 。第二條原始行為 ;除以 得 ,解得 、。這些精確合成測量是在給定射線及內參條件下識別受限係數,並非真實鏡頭測試。
練習與解答
快速檢查
(六列限制矩陣秩為四時,零空間維數是多少?單靠線性方程能否將 確定至比例?)
解答 · 答案
秩零度定理給維數二。不能:二維零空間中有無限多互不成比例的候選;另一個受限模型則可能增加資訊。
快速檢查
(對上例的精確 及 ,以正深度符號恢復 。)
解答 · 答案
、、。正深度選 ,所以 、、。
快速檢查
(為何重複同一非零半徑的畸變測量無數次,仍不能決定兩個徑向係數?)
解答 · 答案
固定半徑下第二列是第一列的固定倍數;重複行不能使設計秩超過一。
快速檢查
(對稱候選矩陣的特徵值為 。改變整體符號能使它成為有效 嗎?)
解答 · 答案
不能。一個符號的特徵值是 ,另一個是 ;兩者均非正定,而 必須正定。