動機
知道平面產生單應變換,並未告訴我們哪個矩陣對應兩張照片。矩陣要從量得的匹配推斷,而匹配可能帶雜訊,甚至完全錯誤。幾何模型、估計器和離群值選擇規則是三件事。正確模型可以擬合得很差,不準確模型也可能在小範圍吻合得很好。
早前變形筆記已發展射影幾何及取樣。本節改以未知變換為估計對象,問線性約束如何決定它、座標正規化為何改善數值尺度卻不能補回資訊,以及隨機穩健取樣究竟保證甚麼。另以已知相機座標點估計一個小型內部參數模型,清楚分開此問題與未知姿態的一般相機校準。
全景中,重複窗戶可能形成很強卻錯誤的一致匹配。同一直邊上的點不能約束所有射影自由度;若取樣分布永不產生可用配置,增加次數也無法補救。目的是建立可核查的對齊流程,使假設在漂亮疊圖之後仍然可見。
定義
定義 1.29.1
(線性約束與代數估計)
有限匹配寫作 、。未知 的三行為 。消去齊次尺度,每項匹配給兩條線性式:
疊成 ,其中 列出矩陣元素。零向量也滿足方程,所以精確估計尋找相差尺度的非零零空間向量。有雜訊時,在 下最小化 ,最小奇異值的右奇異向量解此代數問題。所得矩陣仍須檢查可逆性及有限分母。
定義 1.29.2
(點的正規化)
兩幅影像各自正規化:減去點集質心,再同乘正常數,使到原點的均方根距離為 。原距離須為正,規則才有定義。齊次相似變換記為 ;在正規化點估計 ,再還原
有雜訊時,正規化會改代數目標,並非普遍統計最優保證。因座標變換可逆,它保留精確幾何約束。像素重投影殘差另為 , 只對最後分量非零的向量去齊次化。
定義 1.29.3
(受限的內部參數校準)
受限相機校準假設已知比值 、,方形像素、無斜切,未知為共同焦距尺度 與主點 。則 、,是三參數線性最小二乘。未知姿態、畸變或兩方向焦距不同,需要另一個模型。
定義 1.29.4
(隨機抽樣中的良好子集)
穩健取樣固定 個匹配,其中 個真正內點。每次均勻抽四個相異匹配的子集;不同次由完整集合獨立重抽。只有全為內點,且來源與目標四元組各自有四個相異有限點、各自沒有三點共線,才稱好子集。這只描述樣本內容,不表示帶雜訊擬合稍後一定贏得評分。
定理 / 命題
定理 1.29.5
(四個射影標架給一維線性零空間)
若四個來源點及對應四個目標點均有限、相異,且各自沒有三點共線,則八條線性方程秩八。每個非零零空間向量都重組為同一可逆單應矩陣,相差非零整體尺度。重複或共線配置不滿足此定理。
定理 1.29.6
(穩健取樣信心取決於實際試驗分布)
對上述獨立四子集試驗,假設 ,令 是全內點子集中非退化的比例。則
若 ,要失敗概率不超過 ,需
時沒有有限次數足夠;等於一時一次足夠。這是取樣保證,不是所選對齊正確的保證。
常見 對應有放回的獨立抽取,不是四個相異匹配子集的精確概率。若程式先剔除退化子集再計次數,被計的一次是條件試驗,好概率應為 ,不能直接使用上面未條件化的數值。
證明思路
證明
(由射影標架得到秩為八)
前三個來源點構成齊次基底,第四點在其中三個係數均非零,否則落在兩基點的連線。重新縮放基底代表,使第四點等於三者總和;目標亦然。在這些標架座標中,滿足前三項匹配的矩陣必為對角矩陣,暫時容許零對角。第四項匹配再迫使三個對角相等,所以解空間恰為單位矩陣的所有純量倍數。換回原座標,得到一個零方向、非零可逆代表及秩八。
若第四點的像尺度為零,其三個非零標架係數迫使全部對角零,因此只得到零矩陣。這封住了單靠自由度計數未處理的缺口。八條方程本身不獨立證明秩八。
證明透視
標架論證在哪裏用到各個假設
每個假設都在特定一處使用。對來源點使用「任意三點不共線」,使前三點成為基底,並迫使第四點的三個係數都不為零;對目標點使用,則在另一邊得到同樣結果。不明顯的一步,是把這兩個標架當作座標系。這時九個未知數、八條方程的系統,化為「矩陣是對角且各項相等」,可以直接讀出。第四組對應是唯一把三個對角元素連在一起的地方。
若去掉不共線假設,第四點可能有一個係數為零。與缺少的那個基底向量相連的對角元素便不受約束,零空間就變大,正如本節稍後的反例。點的正規化等可逆座標變換不改變這個秩,所以不能修復退化配置;它們只改善奇異向量計算的數值條件。檢查奇異值,可以分辨數學上缺失的方向與只是約束較弱的方向。
證明
(計算良好子集與試驗次數)
取樣有 個等可能子集,當中 個全內點,再乘有效比例 。每次失敗概率 ,獨立重複便相乘。取對數得到次數界,須留意分母為負。適應性取樣、相依重用或更改匹配集,都要重新建概率模型。
受限相機設計的行是 、。秩三當且僅當所有正規化場景點並非完全相同:齊次擾動須滿足 、。若 ,兩座標列均必為常數;只要兩點有差,便迫使焦距及兩偏移擾動全零。未知姿態的一張平面單應圖沒有提供這些已知比值,不能直接套此證明恢復一般內部參數。
例題詳解
例題 1.29.7
(估計並正規化四項精確匹配)
把 匹配至 。矩陣
滿足全部方程,標架定理給尺度外唯一性。來源質心 、均方根距離 ,故尺度二;目標質心 、距離 ,尺度 。正規化矩陣是 ,還原即得上式。此例置中消去平移,並非說所有單應都變成仿射。
例題 1.29.8
(真正解出受限相機參數)
已知正規化點 ,像素是 。首點直接給主點 ,非零座標給 ,其餘方程吻合。相異正規化點保證秩三。若全部點在同一相機光線,增加焦距可由偏移抵銷,觀察不變。這是在已知姿態受限模型下估實際參數,不是一般相機校準的完整解法。
例題 1.29.9
(子集概率如何改變次數)
,每個全內點四元組均有效,則 。失敗至多 需 41 次獨立原始試驗。誤用 會得到 22 次,不適合本相異子集實驗。若只有半數全內點子集有效,概率為 ,需 83 次。這假設內點數及有效比例描述固定匹配集;從勝出模型樂觀估它們,不會自動產生同一保證。
明確對齊迴圈可依規則抽子集、拒絕退化、正規化估候選、在預定影像域檢查有效性、對全部匹配評幾何殘差、選一致集再重擬合。最後可用非線性方法最小化幾何誤差。重擬合或精修改了估計器,因此要報殘差定義和門檻,不只報隨機次數。
概念視角結構
拼接對齊是一組互相約束的座標框架
同一幾何模型適用時,成對映射沿重疊閉環應一致。三個局部疊圖漂亮,仍可產生漂移。固定一幅影像框架,檢查閉環與重投影殘差,再分清模型失效與個別錯誤匹配。混合在幾何之後處理強度,不能證明框架約束正確。
正規化座標門檻不自動等於兩圖相同像素容差。對稱轉移誤差同時用 ,兩向分母都須有效。大殘差可能來自錯誤匹配、鏡頭畸變或真實深度視差;把它們一概當離群值,可能隱藏其實沒有單一單應能描述目標場景。
常見錯誤
反例模式
同一直邊再多精確匹配也不能校準整個平面映射
單位矩陣與 在每個 完全一致。一百項線上匹配也分不出它們。正規化或更多試驗沒有加入第二幾何方向。應取得空間分散非退化匹配,或誠實改用目標較窄的低維模型。
常見錯誤
(相信近乎退化數據給出的奇異向量)
軟件例程總會返回一個最小奇異向量,但近乎退化的數據可能令幾個奇異值幾乎相等,返回的方向並沒有確定的意義。應檢查整個譜,而不只看這個向量。
常見錯誤
(把龐大的共識當成真確的證明)
重複圖案或單一佔優的錯誤表面,都可以支持一個有許多內點、卻具誤導性的矩陣。較小的代數殘差亦不是像素不確定度:座標尺度與變量含誤差的結構都會改變它的意義。
常見錯誤
(最小二乘有解不等於得到相機)
在所述約定下,擬合出負的焦距尺度是數據或模型出了問題的警號,並不因為最小二乘有定義就成為可接受的相機。若斜切、畸變或姿態未知,應明確地陳述並估計這些量,而不是悄悄沿用一個已知正規化座標早已不存在的證明。
總結
單應估計由齊次線性約束開始,射影標架論證建立秩條件。正規化改善尺度而保留資訊限制;受限相機校準有獨立設計秩條件。穩健對齊同時需要幾何有效性及符合實作的取樣模型,信心次數只量度遇到好樣本的機會,不量度最終拼接真實性。
練習
快速檢查
(四匹配例把 映至哪裏?用正規化及還原驗證。為何再加第五項精確匹配也不能移除整體尺度歧義?)
解答 · 答案
得 。正規化點 映至 ,除以 再加目標質心得同結果。不論匹配多少, 同乘非零常數不改去齊次化。
快速檢查
(已知正規化點 ,像素 。估 ,並說明橫座標全相同為何仍秩三。)
解答 · 答案
垂直差給 ,故 、、。點在垂直方向不同,齊次擾動論證便迫使 ;共同焦距尺度模型不分別要求水平變化。
快速檢查
(,所有全內點四元組有效,求精確好概率及失敗至多 的獨立原始次數。若五個內點全共線呢?)
解答 · 答案
概率 ,需 63 次。全內點共線時 ,非退化全內點單應樣本概率零。只知內點比例,不能建立完整單應的有限信心次數。
快速檢查
(原始抽取有 、,求原始與有效接受試驗各自好概率,說明兩種計次不能互換。)
解答 · 答案
原始一次為 ,接受條件化後為 。接受計次排除部分原始抽取,同一數字代表不同取樣量。使用哪種計次,都須符合其獨立及條件分布假設,亦不保證稍後一致集選擇器選中真模型。