動機
邊緣橫向移動可以明顯可見,沿邊緣的移動卻可能無法辨認。角點附近的梯度有多個方向,因此小視窗能提供較豐富的資訊。關鍵並非像素數目:重複量度同一方向,並不等於量度了另一方向。我們先用有限加權模型精確說明這一點,再看噪聲如何影響一個雖然唯一、卻可能不可靠的答案。
以下只分析選定的局部模型,並不保證真實運動遵守亮度不變。模型假設視窗內共用同一速度;遮擋、形變、光照變化或運動邊界都可能破壞此假設。
定義
設圖像序列 在每個 附近對空間及時間聯合可微。假設每個 都有一條在時間 經過它的可微路徑,且沿路徑亮度不變。鏈式法則給出 ,其中 是該路徑在 的速度。在共同速度近似 下,這些約束按以下方式合併。
定義 7.2.1
(視窗光流能量與結構張量)
對樣本 ,寫 、,並選取權重 。視窗光流能量為
令 的各行為 , 的各項為 ,則 。結構張量及右端為
而 是擬合方程(正規方程)。
權重可以描述空間視窗或信心;零權重表示捨棄該樣本。 的單位由空間和時間導數決定:若用像素及幀,速度單位是每幀像素。時間差分的正負慣例會改變 ,因此報告結果時須交代。
定理與命題
定理 7.2.2
(存在性、唯一性與不可見方向)
對有限實數數據及非負權重, 必能取到最小值。最小值點恰為 的解。最小值點唯一,當且僅當正權重對應的梯度生成 。若 是任一最小值點,所有最小值點均為 ,其中 。
同一張量也描述最小值點附近能量的形狀,這是對定理的第二種、定量的讀法。
概念視角幾何
特徵值即擬合能量的曲率
對稱半正定矩陣 有標準正交特徵向量 ,特徵值為 。由於在最小值點 有 ,沿 移動恰好令能量增加 。所以零特徵值代表完全不可見的方向;小的正特徵值代表谷底平淺、對噪聲敏感。特徵值大小依賴亮度尺度、導數單位與濾波器、權重和視窗大小;數值閾值須按這些選擇校準。
噪聲模型把曲率圖景轉化為方差結論。假設線性觀測滿足 ,梯度和正權重固定;本概率敘述只包括 的樣本,零權重樣本先略去。樣本集合和權重固定且獨立於誤差;從同一批帶噪觀測計算的信心權重須另作分析。
命題 7.2.3
(視窗估計的無偏性與協方差)
令 ,其中每個 ;假設 、,且 可逆。則 是 的無偏估計,並且
特別地, 的方差為 。
這公式需要上述噪聲協方差;空間視窗權重本身並不保證它成立。公式亦把梯度視為精確值,噪聲導數估計則會造成變量含誤差的問題。它也沒有處理系統性亮度變化,或速度不一致造成的近似誤差。
證明與思路
第一個證明就是最小二乘的幾何;唯一需要小心的是奇異情況。
證明
(投影、正規方程與共同的核)
的像是有限維數據空間中的閉子空間。把 正交投影至此子空間,選取一個像等於投影的 。畢氏定理(Pythagoras)保證它使 最小。向量是最小值點,當且僅當 與像空間正交,即 ,亦即 。對任意 ,
若 ,上式給出 ;反過來 蘊含 。因此 恰由所有與正權重梯度垂直的方向組成。若 解正規方程,其全部解就是 。此集合只有一點,當且僅當核為零,也等價於這些梯度生成平面。
證明透視
為甚麼奇異張量仍然有解
證明從未求 的逆。存在性來自把 投影到 ,這對任何矩陣都可行,所以即使 奇異,正規方程仍然相容;不可用的只是逆矩陣。單一恆等式 完成其餘工作兩次:它證明 ,因此正規方程的歧義恰好就是數據的歧義;它又用樣本表達這個核,即與每個 的梯度都垂直的方向。權重非負, 才是實數;負權重會破壞分解 ,連帶推翻「 的每個解都使 最小」這一結論。
協方差結論是直接的線性計算。
證明
(誤差表示與協方差)
令 的各行為 ,則 ,且 。因此 ,其期望為零。相乘協方差矩陣,
對單位特徵向量,。
例題
例題 7.2.4
(兩個梯度方向與不一致的觀測)
取單位權重、、、,以及 。則
兩條水平觀測互相矛盾;最小二乘取其目標值的平均。殘差為 ,故最小目標值為 ,而不是零。即使方程不能同時精確成立,正定張量仍給出唯一擬合速度。
例題 7.2.5
(滿秩仍可能脆弱)
取單位權重及 、。則 可逆,但 只要改變 , 便改變 ,垂直速度估計則改變一。在獨立、方差為 的觀測噪聲下,垂直方差為 。代數上的唯一性並非可靠性證書。
例題 7.2.6
(零權重刪去一個方向)
取 、、,以及 、,權重為 。若 ,則 、,最小值點是所有 。對任何 ,、,唯一最小值點是 。只要權重為正,唯一性便成立;但在相配的噪聲模型下,垂直方差是 ,當 時無界增大。「唯一」與「不可見」的界線在代數上是突變的,在統計上卻是漸變的。
常見錯誤
反例模式
更多像素未必解決孔徑問題
無論有多少樣本,只要各自的 、,每個速度 都完全符合數據。再加入相同樣本只增加水平方向權重,垂直特徵值仍是零。最小範數答案 是一種選擇規則,並非垂直運動消失的證據。
加入嶺懲罰 ()後, 變成 ,唯一估計為 。在線性模型及 下,即使 奇異,仍有 ,所以期望係數滿足 。懲罰可穩定較弱方向,但引入偏差,不能憑空製造核方向的觀測。
常見錯誤
(以為奇異張量表示無解)
當 時, 不存在,但 仍然相容,因為 必定屬於 。正確結論是一整條直線(或整個平面)的最小值點 ,而不是空解集。在邊緣上報告「沒有光流」,便丟棄了數據確實決定的分量。
常見錯誤
(對不同亮度尺度使用固定特徵值閾值)
把所有亮度乘以 ,每個 便乘以 , 乘以 。把圖像由 範圍轉為 ,兩個特徵值都乘以 ,擬合速度卻不變。像 這樣的閾值,只有連同其選定時的亮度尺度、導數濾波器、權重及視窗大小一起才有意義。
總結
視窗把各方向的證據累積於半正定張量。其核描述精確歧義;小特徵值指出噪聲可能被強烈放大的方向。線性化擬合唯一、指定噪聲模型下擬合可靠、正確估計物理運動,是三個不同的主張。
練習
快速檢查
(取單位權重、、、、。求 、 和擬合速度。)
解答 · 答案
、,故 。兩個方程都滿足:、。
快速檢查
(設視窗數據給出 、。求 的所有最小值點,以及 的嶺估計,並解釋其第二個座標。)
解答 · 答案
的解為任意 。嶺估計為 。第二個座標由懲罰選成零;觀測沒有提供該方向的資訊。
快速檢查
(在命題的協方差假設下,若兩特徵值分別為 和 ,比較兩個特徵方向的方差。這結果能否單獨證明共同速度假設?)
解答 · 答案
方差分別為 和 ,較弱方向的方差是九倍。不能:計算以所假設的線性模型為條件,並沒有檢驗共同速度、亮度不變或遮擋。