動機
立體場景的兩張照片,一般不能用單一單應矩陣互相對齊。但若我們在兩張照片辨認出同一點,第二張的像點必須落在一條可預測的直線上。這較弱的關係可以縮小配對範圍,並限制相機的相對運動,而毋須假設所有點在同一平面。它只限制可能的配對,本身不等於完整重建。
以下假設理想中心針孔相機,以及有限、已去除畸變的像點。先前章節介紹投影及正規化齊次最小二乘,亦提醒我們留意錯誤配對;現在推導雙視圖方程,並指出把結果解讀為物理運動時另需甚麼條件。
幾何與線性估計
定義 1.35.1
(已校準雙視圖設定與本質矩陣)
以第一相機的座標表達場景點 ,其中 是已校準射線,。第二相機座標為 ,,。令反對稱矩陣 滿足 ,本質矩陣定義為
命題 1.35.2
(極線限制)
設 是第二條已校準射線, 在第二相機中的深度非零且有限,故 ,。則
證明
(純量三重積為零)
由 及 ,
兩項皆為零,因為 同時垂直於 和 。等價地,、、 共面,故其純量三重積為零。
證明透視
必要條件不等於唯一診斷
正確配對必滿足極線方程,但極線上每一點也滿足該式。單一純量方程不能指出哪個才是真配對,也不能保證正深度。秩條件只在自身的非退化假設下識別矩陣;物理恢復還需校準、本質矩陣及可見性條件。
只要 非零,它便代表第二正規化影像的一條直線;線上各點均滿足方程。在第一影像極點 處,,方程不提供有用限制。
定義 1.35.3
(基礎矩陣)
對像素座標 、,若已知內參均可逆,則令
令 、,並按行排列 的元素為 ;每對像點提供一行
堆疊得 。若精確數據令秩為八,零空間是一維,非零矩陣因此只差比例。八行本身並不保證秩為八。有雜訊時,可用最小右奇異向量解 ;亦應檢查奇異值間距,因間距小會令解不穩定。這最小化的是代數誤差,不是影像中的幾何位移;所得矩陣也未必是秩二。
分別平移及等比例縮放兩張影像的測量點,使各自質心為零、均方根半徑為 ;半徑必須原本非零。以 表示兩個變換,在新座標估計 ,再取 。把變換代入 即得此式。正規化有助數值尺度,不能補回場景欠缺的秩。若 ,其中 ,把 改為零便得到在正規化座標下 Frobenius 範數最近的秩至多二矩陣。這仍是受約束代數估計,未必是幾何誤差最小解。之後可用原始測量作穩健幾何精修,但必須另行定義殘差及離群點模型。
例題 1.35.4
(線性系統的一行)
取 ,故 ,並取 、。則 、、、,該行為 ,得 。直接計算,,。兩種算法一致,因為 只是把 中的九個乘積列出來。非零值表示這對點並非此 的精確配對;正確配對應給出 。
例題 1.35.5
(正規化四個點)
取點 。質心為 ,每點到質心的距離平方為 ,故均方根半徑為 。縮放因子 給出
把四點變為 ,各點到原點的距離均為 。邊緣情形:若所有測量點重合,均方根半徑為零,不存在有限縮放因子,無法正規化;這時配對對 不提供任何資訊。
常見錯誤
(因為代數是精確的而略去正規化)
在數量級為 的像素座標中,含 、 的列數量級約為 ,而最後一列是 。這種矩陣的奇異值分解由數值大的列主導,測量雜訊對最小奇異向量的擾動遠比精確代數所示為大。正規化令各列大小相近;它只是數值手段,不改變模型,也不改變精確數據的秩。
已校準限制與規範自由度
定理 1.35.6
(本質矩陣的奇異值)
若 且 ,則 的奇異值為 。反過來,任何奇異值為 、 的非零實 矩陣,在非零比例意義下都是本質矩陣。
證明
(斜對稱矩陣恆等式與定向奇異基)
正向。由 ,得 。矩陣 在與 垂直的平面上特徵值為 ,在 生成的直線上特徵值為 ;以正交矩陣 作共軛不改變特徵值。因此 的奇異值為 。
反向。寫 , 為正交矩陣。第三個奇異值為零,所以把 和 的第三列取負不改變 ;如此調整至 。標準矩陣滿足 ,其中 是繞 旋轉負九十度。對 有 ,故
取 、,即得 。
因此已校準模型要求兩個非零奇異值相等,單有秩二並不足夠。對含噪估計 ,可把兩個非零奇異值改為 ,第三個改為零,得到此奇異值集合的 Frobenius 投影。這依賴已校準座標所採用的度量,與把 投影至秩二不同。
定義 1.35.7
(規範自由度)
設 為相機矩陣, 為場景點,觀測值是投影 。規範自由度是未知量的一種改變,使每個理想觀測完全不變。對任何可逆 矩陣 ,把 換成 、 換成 就是一例,因為 。
本質矩陣分解會產生多個代數運動候選。對非退化的對應射線,可三角化並檢查兩個視圖的正深度,以選擇物理上可行的候選;這不保證消除所有歧義,也不能修正錯配。兩張沒有絕對尺度的影像不能恢復 的長度:同時把所有場景座標及 乘上同一正數,投影完全不變。第一相機座標系固定原點及方向,卻沒有固定尺度。若內參和度量場景結構均未知,對世界齊次座標施加可逆 射影變換,並對相機矩陣施加其逆,也不改變影像。因此度量解讀需要額外校準或場景限制。
算例與退化
例題 1.35.8
(側向平移)
取 、、、。則 、、,而
第二影像的極線是 ,包含 ,也包含無限多其他點,例如 :極線測試同樣接受它們。把 和 同乘二,兩個正規化像點均不變。
反例模式
平面完美吻合不一定識別雙視圖運動
假設所有配對均滿足可逆平面單應 。任取非零向量 ,令 。因 平行 而 ,每對點均滿足 。由於 可逆,不平行的 得到互不成比例的可行矩陣,因此即使有任意多個精確平面配對,也不能單憑它們選出唯一基礎矩陣。純旋轉同樣退化: 給出單應,而實際運動導出的本質矩陣為零,沒有非零基線可供三角化。
真實鏡頭可令原始像素中的極線不再是直線。例如正規化相機座標的一個受限徑向模型是 、,其中 。中心、參數和有效視場都須校準;若徑向映射並非一對一,其反函數可能有歧義。切向畸變、滾動快門、有限光圈和移動物體均不在此模型中。直接用畸變像素估計 ,一般只是近似本來彎曲的限制;小區域殘差低不代表全影像模型有效。
概念視角結構
座標自由度不是測量雜訊
規範自由度是令理想觀測完全不變的變換;雜訊則令測量限制彼此不相容。錨定座標系可以消除所選的表示自由度,卻不能憑空產生基線、非平面深度變化或正確配對。
練習與解答
快速檢查
(在側向平移算例中,檢驗 是否可能為正確理想配對。)
以該例算得的 計算 。
解答 · 答案
極線值為 ,違反必要條件,不可能是該運動下的理想配對。
快速檢查
(若 的秩為七,八對或更多測量是否保證唯一齊次估計?)
計算 的零空間維數。
解答 · 答案
否;秩零度定理給出九個未知量的二維零空間,行數不能決定秩。
快速檢查
(非零矩陣奇異值為 。它是否在比例意義下為本質矩陣?其本質奇異值形式的 Frobenius 投影是甚麼?)
比較兩個正奇異值,再取其平均。
解答 · 答案
否;兩個正奇異值不等,縮放不改變其比例。保留奇異向量,把奇異值改為 。
快速檢查
(徑向映射為 ,。為何求逆必須指定定義域?)
找出 在哪裏上升、在哪裏下降。
解答 · 答案
先升後降, 和 同樣映到零。要有單值逆,須限制在單射區間,例如 。