動機
單應估計器以候選對應點為起點,卻沒有說明候選點從哪裏來。好的局部特徵應能在兩張影像中定位,也應能和其他圖塊區分。邊緣雖然清晰,沿自身方向的位置卻可能不明;重複的窗戶則可能定位精確,外觀卻與許多其他窗戶一樣。這兩種失敗不同,配對及穩健模型擬合都要在混合成全景之前處理它們。
逐對對齊後,一連串小誤差可能累積成明顯的閉環裂縫。我們用有限平移模型精確研究全域調整能做甚麼。它有意比完整全景問題窄:旋轉、射影變換、曝光、視差及移動物體都需要更豐富模型,不能單靠這個平移解消除。
局部結構與正規化圖塊
定義 1.30.1
(視窗的結構張量)
對可微強度影像 ,取視窗內有限取樣點 及固定非負權重 。對小位移 ,Taylor 展開給出 。因此加權平方變化近似 ,其中對稱半正定的結構張量為
特徵值量度相應局部方向上的變化,單位為強度平方除以座標單位平方。兩值都小代表圖塊平坦;一大一近零代表邊緣能限制橫越邊緣的移動,卻幾乎不能限制沿邊緣的移動,這是光圈問題。兩個特徵值都夠大,表示「線性化的局部位移」在兩個方向都有約束;但不能證明影像別處沒有相似圖塊。門檻取決於強度尺度、視窗、平滑及雜訊。展開假設局部影像結構不變、位移夠小;遮擋、大位移或非剛性變形都可能違反假設。
命題 1.30.2
(二次模型中的可辨識性)
對權重 和任意 ,有 。而且 當且僅當對每個 的 都有 ; 正定當且僅當這些位置的梯度生成 。
證明
(展開二次型)
因為 ,加權求和便得所述公式。非負項之和只在每一項為零時才為零,而 的項只在 時為零。所以 正定,當且僅當沒有非零的 與所有正權重梯度垂直。這恰好在這些梯度不全落在過原點的同一條直線上時才成立,也就是它們生成平面。
證明透視
為甚麼特徵值只說明局部情況
證明只用到兩樣東西:把二次型改寫成平方和,以及權重非負。改寫是關鍵的一步:它把代數條件「兩個特徵值都為正」變成幾何條件「梯度不全平行」。在第一個算例中,所有梯度都在 軸上, 與它們全部垂直,這正是光圈問題。
這個結果只涉及一個視窗的線性化位移。它並不斷言同一圖塊在影像其他位置不出現,而且要小位移展開成立才適用。
定義 1.30.3
(兩個圖塊的正規化相關)
另一個描述子比較相同大小的固定圖塊像素向量 。令 及 。若兩個中心化向量均非零,定義正規化相關及正規化平方距離:
兩個量只在兩個中心化向量都非零時才有定義。常量圖塊的中心化範數為零,所以描述子在那裏沒有定義。
命題 1.30.4
(正規化相關與距離)
設 與 非零。則 ,且 。此外, 當且僅當存在 及實數 使 ; 當且僅當同一式在 時成立。
證明
(展開平方與 Cauchy–Schwarz)
對單位向量 ,。Cauchy–Schwarz 給出 ,等號當且僅當對某個實數 有 ,此時 的符號與 相同。若 ,則 。反過來, 給出 及 ,所以 。
在此模型下,正規化抑制了仿射亮度偏移與正增益,但同時丟棄了這些資訊,也不會令圖塊對任意視角變化、遮擋或飽和保持不變。
對每個檢測點,可在搜尋區比較描述子,只保留與次佳候選有足夠區別的最佳候選,也可要求兩方向互為最近鄰。最近與次近距離的比值必須明確處理零距離及平手;重複紋理正是歧義所在。任何局部規則都不能證實配對。使用先前章節的穩健抽樣擬合幾何模型,檢查內點殘差及空間分布,並盡可能用獨立數據核實。重複立面也可能形成大規模但系統性錯誤的共識。
錨定的全域平移模型
定義 1.30.5
(錨定的全域平移目標)
把影像視為有限無向重疊圖的頂點。每條邊選一個方向 ,測得 ,意思是在同一座標慣例下 。每條邊給正權重 。錨定 ,最小化
這個模型假設測量已用可相容座標表達,並非任意影像單應矩陣的通用合成公式。若圖不連通,每個連通分量均需錨定一個頂點;沒有錨定的分量中,對所有 加同一向量不改變 。
定理 1.30.6
(錨定後的存在與唯一性)
若有限重疊圖連通,所有邊權嚴格為正,則固定 後存在唯一最小解。所有邊可同時精確滿足,當且僅當每個閉環的有向測量和為零。
證明
(由正定性得出唯一性)
證明唯一性:令 為有向關聯矩陣刪去錨點列後所得矩陣, 是權重對角矩陣。每個座標分量的目標是 ,法方程為 。若 ,則每條邊的頂點值差均為零。連通性令各值相同,而錨點值為零,故全部為零。因此 正定,法方程有唯一解;配方即知它是最小解。
證明
(閉環和與精確一致性)
若所有邊精確成立,沿任一有向閉環相加時頂點差望遠鏡式抵消;逆向走過一條邊時測量取負。反過來,從錨點選路徑至每個頂點並加上有向測量。若所有閉環和為零,結果與路徑無關:兩條路徑的差是一條閉行走,可分解成閉環及互相抵消的往返邊對。這樣得到的頂點值滿足每條邊。樹沒有閉環測試,即使測量不準也總能找到精確賦值;仍須外部數據檢查。
反例模式
錨定一個頂點不能固定不連通的圖
取三幅影像,只有一條測量邊 (一維,),並錨定 。此時 不含 。 與 都給出 ,所以極小點不唯一:孤立的影像可以放在任何位置。修正後的陳述需要連通的重疊圖,或在每個連通分量各錨定一個頂點。
詳解算例
例題 1.30.7
(清晰但有歧義的邊緣視窗)
假設兩個單位權重梯度均為 ,則 ,。局部二次模型預測 不產生變化:邊緣能定位水平位移,不能定位垂直位移。把第二個梯度改為 ,得到正定的 。在此模型中兩個小位移方向均可觀測,但別處的重複角點仍可造成錯配。
例題 1.30.8
(正規化兩個圖塊)
若 、,中心化向量分別是 和 。兩個正規化向量都是 ,因此 ,正規化平方距離為零,與 一致。代價是描述子不能分辨它們的絕對亮度模式。
例題 1.30.9
(分攤閉環不一致)
三張影像的一維測量為 、、,權重均為一,且 。兩條邊的鏈給 ,直接邊卻要求 。改為最小化
法方程是 及 ,解為 、。邊 的有向殘差依次為 ,最小平方和為 。閉環差為 ,任何調整都不能同時精確滿足三個測量。最優解按目標函數及權重分配矛盾,並不知道哪個測量錯了。二維平移可對每個座標分別計算。
反例模式
局部誤差低不代表全景正確
想像相同的窗戶在相鄰樓層重複出現。一維模型可以精確展示這種失敗。設一行為 ,用長度為三的視窗。從位置 開始的視窗都是 ,中心化向量為 ,所以彼此的正規化距離都是 。位置 的圖塊因此有三個距離為零的候選。最近/次近距離比是 ,互為最近鄰的規則可以選中其中任何一個。以偏移二為依據的幾何共識完全自洽,卻錯了兩個位置。要消除歧義,需要更多有區別力的紋理、空間及多視角約束,以及獨立的視覺或場景證據;沒有一項能在所有場景保證正確。
概念視角算法
局部配對與全域調整回答不同問題
結構張量檢查單個圖塊附近的小變化;描述子排列候選配對;穩健擬合挑選與模型相容的子集;全域調整協調已接受的邊。每一階段都繼承先前誤差。混合前應重新計算調整後殘差,檢查不連通重疊、重複結構及共同投影模型是否失效。
常見錯誤
常見錯誤
(反相對比的圖塊不是配對)
對 與 ,中心化向量為 與 ,所以 ,正規化平方距離 ,是可能的最大值。使用 的配對器會把這一對當作完美配對。只有 才證明存在正增益關係 。
常見錯誤
(把常量圖塊拿去正規化)
對 ,中心化向量為零,所以 的分母為零。為免除以零而加上一個小常數,得到的數值並不帶有圖塊的任何資訊。應先檢出平坦圖塊,並把它們排除在配對之外。
常見錯誤
(以為最優解會指出錯誤的測量)
在閉環例子中,三條邊的殘差是 ,大小相同。求解按權重把不一致攤開,並不說明三個測量中哪一個有錯;而只有樹狀的邊根本顯示不出不一致。
練習與解答
快速檢查
(兩個單位權重梯度為 和 。求 及特徵值。)
解答 · 答案
相加兩個外積得 ,特徵值皆為 2。
快速檢查
(用正規化相關比較 與 。這是否正增益配對?)
解答 · 答案
中心化向量為 與 ,故 ;它們相差負增益而非正增益。
快速檢查
(圖只有 、 兩條邊,測量為 4、7,且 。求精確平移;圖能否用閉環不一致揭示第一個測量錯誤?)
解答 · 答案
、 令殘差為零。此圖是樹,沒有閉環可揭示錯誤。
快速檢查
(在三邊算例中,把 改為 5。求最小值並解釋。)
解答 · 答案
測量已相容:。唯一錨定解為 ,非負目標的最小值為零。