動機
可用特徵應在圖像稍有改變後仍可重現。單靠亮度很高並不足夠:明亮而均勻的牆沒有多少位置資訊。強邊緣也可能缺少沿邊方向的位移約束。因此偵測器須量度小區塊對不同方向位移的反應,並選擇適合描述此反應的空間尺度。
此處有兩種不同的平均:導數尺度決定哪些細微變動進入梯度,積分尺度則收集周圍梯度的方向資訊。太小的積分窗可能只看到角點的一條邊,太大則混合無關物件。本節推導一個完整的數學流程,並把連續公式的精確協變性與離散網格的近似分開;連續旋轉公式不能自動保證粗像素網格對任意旋轉都不變。
定義
定義 5.1.1
(高斯平滑與結構張量)
設 為平面上的有界圖像, 為高斯(Gauss)平滑。令 ,定義積分尺度結構張量
離散形式用非負權重取樣和代替積分,並須指定導數及邊界處理。這是先取導數乘積再平均,並非對已平均的外積重新微分。因 是梯度投影平方的加權和,張量半正定。
定義 5.1.2
(Harris 型反應)
對 ,定義 Harris 型反應 。
它避免直接算特徵值,同時懲罰方向資訊過度失衡。流程是先平滑並微分,形成張量的三個不同元素並平均,計算反應,排除低於正閾值者,再作空間非極大值抑制。平台須有固定平手規則,例如字典序優先,才可重現輸出。
概念視角代數
把反應看成特徵值比的條件
把 的特徵值寫成 ,並令 。則
的符號只取決於 : 當且僅當 小於 的較大根 。條件 正是保證平衡情況 為正的條件。當 時,。反之,其大小按 縮放,所以對 設閾值同時也在檢驗強度。
定義 5.1.3
(高斯差分與正規化拉普拉斯)
尺度選擇使用
前者為高斯差分,後者為尺度正規化拉普拉斯(Laplace)。
多尺度偵測應同時比較鄰近位置及尺度,而非各尺度獨立找最大值後將所有結果視為不同特徵。
定義 5.1.4
(高斯金字塔)
高斯金字塔儲存逐漸平滑且網格逐漸粗化的圖像。
同一座標單位下,已有有效模糊 而目標為 時,增量標準差是 。連續高斯卷積精確滿足此組合式,取樣或截斷核則只近似成立。降取樣後須把尺度、位置及位移換算為新像素單位,不能把不同網格的同一數字當作同一幾何距離。
定理 / 命題
定理 5.1.5
(局部位移資訊及旋轉協變)
對區塊內二次連續可微的圖像、有限非負權重 及小位移 ,有
對連續各向同性高斯張量,若以正交矩陣 旋轉圖像,則相應尺度下 。因此對應位置的特徵值、跡、行列式及反應相同。
定理 5.1.6
(高斯差分與正規化尺度導數)
對有界圖像及正尺度,,故
這是鄰近尺度的近似極限,有限比率下並非精確相等。
張量只說明亮度模型下的局部方向可辨認性,並不證明另一張圖的候選點來自同一物理表面。尺度極值選出某反應的特徵尺度,也不是普遍的物件直徑量度。其意義須相對具體模型解讀。
證明思路
證明
(Taylor 展開與正交變量替換)
Taylor 展開給 。平方後的主項為投影平方,交叉項為三階,有限加權和保持此階數。因此最小特徵值量度單位位移方向中最小的首階平方反應;所有梯度平行時,沿切向的主項為零。
高斯各向同性滿足 ,正交座標替換保持面積,所以 ,梯度為 。代入張量並以 換積分變量,即得正交相似式。這裏積分窗也隨圖像精確旋轉;有限方格的重新取樣另有誤差,不能混入此定理。
證明透視
究竟證明了哪種不變性?
位移展開依靠兩個假設。在緊緻區塊上二次連續可微,使每個樣本的 Taylor 餘項一致為 ;有限加權和則使平方後的餘項保持 階。單位方向 的首階差異是 Rayleigh 商 ,沿較小特徵值的特徵向量取最小值。所以量度最差方向的是較小特徵值,而不是跡。
旋轉部分兩次用到各向同性:導數高斯 及積分窗 。若改用正方形盒狀窗,同一變量替換只對把盒子映到自身的旋轉成立,例如四分之一圈。證明的是精確連續旋轉下的協變,並非對比不變。亮度改為 時,梯度乘 ,張量乘 ,反應乘 ;所以即使幾何不變,固定數值閾值仍可改變判斷。
尺度關係需要另一個較短的計算。
證明
(對尺度微分高斯)
直接微分二維高斯,可見 與 均等於 。正尺度的高斯導數可積,容許對有界圖像在卷積下求導。沿尺度積分得精確差分式,再利用被積函數連續性得極限。因此尺度平方因子來自尺度導數,而不是為圖形美觀隨意加入。
對空間縮放 ,高斯積分代換給 。尺度正規化梯度 及正規化拉普拉斯在對應位置和尺度相同;導數尺度及積分尺度都須乘 。縮放圖像後若仍用原窗,便不符合此推導;有限尺度層只能近似定位連續尺度的極值。
例題詳解
例題 5.1.7
(角點反應同時考慮方向強度與平衡)
取 。邊張量 的反應為 ; 則為 。圖像對比加倍,後者張量乘四,反應乘十六,成為 。若固定閾值介於兩個正反應之間,完全相同的幾何也會給不同偵測。因此既要方向平衡,也要強度高於噪聲;滿秩本身不足以保證可靠。
例題 5.1.8
(理想高斯斑點的尺度)
令 、。高斯卷積得 ,故中心反應
令 ,幅值為 ,導數是 。唯一正尺度最大值在 ,即 ,值為二分之一。這是指定斑點輪廓及幅值的結論,不能把任意物件都解讀成相同模型。
例題 5.1.9
(降取樣改變可見頻率)
取 ,每兩點取一點後,,在粗網格看似低頻。粗序列不能唯一決定原頻率。高斯預濾波可抑制高頻,但其傅立葉(Fourier)乘子在任何有限頻率都為正,並非精確帶限。嚴格無混疊定理需要帶限假設;實際高斯平滑降低混疊,並非證明它完全消失。
可在每個候選尺度計算張量,用對應積分窗排除條件差的區塊,再跨尺度比較反應。高斯差分的一般局部比較使用當前及相鄰兩尺度的三乘三區域,中央點共比較二十六個鄰居。邊界沒有完整鄰域,須排除或明說延拓方式。
定位細化可對附近反應擬合二次函數,若 Hessian 可逆便解小型線性系統求駐點偏移。近乎奇異代表定位敏感;偏移落在擬合鄰域之外,亦不應當作可信的局部插值。細化只能利用已解析的樣本,不能恢復平滑刪除的細節或已混疊的頻率。
每個候選點應同時保留所在金字塔層的像素座標及原圖單位的座標。例如網格間距四時,第十像素離同一原點四十個原像素間距。補點及濾波中心偏移也須追蹤。匹配時須一致變換位置、尺度及方向;只列分數並不能決定對應。描述子比較與離群值排除仍是其他問題,偵測器只提供候選及局部條件資訊。
常見錯誤
這裏的錯誤大多來自把偵測器的某一項好性質,當作也蘊含另一項性質。
反例模式
方向平衡不等於強特徵
令 、 任意小,條件數雖為一,反應卻是 ,定位仍可能被噪聲主導。反之,單一特徵值極大而另一個為零,仍缺少一個方向。強度與平衡必須分開檢查。
常見錯誤
(把模糊的標準差直接相加)
要由有效模糊 變為 ,若再以標準差 的高斯卷積,總模糊是 ,而不是 。高斯卷積下相加的是方差,所以所需增量是 。
常見錯誤
(把單一協變性質當作穩健性)
有限差分可能強烈放大孤立噪聲,大積分窗不能補救不合適的導數尺度。非極大值抑制也不能取代分數與閾值定義。平台需要處理平手,也可能反映定位尚未確定。旋轉協變、尺度協變、對比正規化及視點穩健性是不同性質,證明其中之一不會自動證明其他性質,更不等於可靠匹配的保證。
總結
區塊位移導出結構張量與方向角點反應;高斯導數把尺度差分連到正規化拉普拉斯,斑點模型讓尺度選擇可明算。實際金字塔須追蹤有效模糊、單位、鄰域及邊界。連續協變是有用理想,離散定位、噪聲、閾值與混疊則限制有限偵測器的保證。
練習
練習 5.1.10
(對 、 求反應 ,再把張量旋轉九十度,驗證反應不變。)
基礎
解答(2)
- 1
計算反應
行列式為四、跡為五,故 。
- 2
旋轉後重新計算
九十度旋轉交換兩個對角元,行列式及跡不變,故 。一般正交相似透過特徵多項式保留兩者;這是定理的一個具體例子。
練習 5.1.11
(某層已有有效模糊二像素,目標為同一座標下的三像素。求增量模糊;再降取樣兩倍,最後模糊是多少粗像素?)
基礎
解答(2)
- 1
相減方差
方差增量為 ,所以增量標準差為 。
依據: 高斯卷積下相加的是方差,而不是標準差。
- 2
換算單位
所得模糊為三個細像素;網格間距加倍後,即 個粗像素。
練習 5.1.12
(對高斯斑點例子,求 與 時的正規化反應幅值,並在不聲稱有兩個最大值的前提下解釋兩者為何相等。)
核心
解答(2)
- 1
計算兩個尺度
對應的 分別為 及 ,兩者都給出 。
- 2
利用對稱性與單調性
函數在 下不變,在 以前遞增、以後遞減,所以兩側相等的值並不構成新的極大值。
練習 5.1.13
(證明加上常數亮度偏移不改變張量。解釋乘以非零常數為何仍須調整閾值,以及為何兩種變換都不證明對空間變動照明的穩健性。)
核心
解答(3)
- 1
加上常數
常數的梯度為零,所以每個外積以至張量都不變。
- 2
乘以常數
乘 使反應變為 ,閾值須相應改變才能保持判斷。
- 3
讓變化隨位置改變
若 或 隨位置變,乘法法則會多出額外梯度,可能改變張量或製造表觀特徵,因此常數照明下的推導不再適用。