動機
連續兩幅影像可以顯示投影特徵如何移動,但影像運動並不自動等於三維物件速度。配準單元考慮了一個全域週期平移;本單元估計局部二維影像速度,並分析何時能唯一辨認該估計。
亮度恆常及其微分形式
定義 7.1.1
(局部運動模型)
設 為可微的純量影像強度,一個可見影像特徵沿 移動。假設它的強度在短時間內不變,並定義影像速度 。對 微分可得
在單一位置,這是一條純量方程,卻有兩個速度分量。它依賴假設中的特徵對應及強度不變;遮擋、光照變化、反射和運動模糊都可能令假設失效。
對相隔一段時間的兩幅取樣幀,導數須由數據估計。只有位移和局部變化適當地小時,一階 Taylor 近似才有用;殘差亦包含模型和導數估計誤差。速度單位必須與導數慣例一致,例如每幀像素或每秒像素。一條方程不能決定一般的二分量運動向量。
反例模式
邊緣不能揭示切向運動
若局部 、、,亮度恆常給出 ,卻不限制 。每個 都滿足這條方程。可見邊緣可以約束穿過邊緣的運動,卻未必揭示沿邊緣的運動。這是可辨識性問題,不能把 當作量得的數值。
在一個影像區塊上估計共同運動
假設區塊含有 個觀察,而且整個區塊適用相同速度 。把空間梯度放進 的各行,令 。最小二乘問題是
共同速度的假設在物體邊界兩側可能失效。加權及穩健的變體需要另行指定權重或損失函數;以下計算使用相等權重。
定理 7.1.2
(局部最小二乘何時有唯一解)
正規方程為 ,其中 。當且僅當 有兩個線性無關的列向量,亦即 正定時,最小二乘解才唯一,此時 。
證明
(展開平方誤差)
對任意 與任意增量 ,
若 滿足 ,中間一項為零,所以 ,且恰在 時取等號。反之,最小解必須對每個 都使中間一項為零,即 。因此最小解恰是正規方程的解,而兩個最小解相差 中的一個元素。
由於 , 恰在 ,即 的列向量線性無關時正定。此時 可逆, 是唯一解。若列向量線性相關,便存在非零 , 奇異,而且對每個 , 都是最小解,因為它給出相同的預測 。
證明透視
需要兩個獨立的梯度方向
證明中唯一不顯然的一步,是用任意增量 作展開。交叉項 正是被正規方程消去的部分,剩下 。因此損失在每個方向上都增加 ,唯一不增加的方向就是滿足 的方向。
的列向量獨立這一假設只用在一處,就是從 推出 的那一步。從幾何看, 的各行是梯度向量, 表示 與所有梯度垂直。若區塊內所有梯度都平行於同一方向 ,則每個 都看不見。這就是矩陣形式的孔徑問題,也就是前面邊緣反例的情形。適當時,數值求解器應求解線性系統,而不是顯式構造逆矩陣。
例題 7.1.3
(三個梯度與一個一致的速度)
取梯度行 、 與 ,時間導數為 。於是
此處 ,所以 且 。在區塊模型下,兩個分量都可辨認。若反覆只有第一個梯度方向,垂直運動便仍無約束。
例題 7.1.4
(梯度全部平行的區塊)
取梯度行 與 ,時間導數為 與 。則
矩陣 奇異,正規方程化為單一條件 。這條直線上的每個 ,例如 、、,都精確滿足兩個觀察。只有速度沿梯度方向 的分量 被確定。最短解 就是法向流,它只是處理未被觀察部分的一個約定,並非量得的運動。
常見錯誤
(把零殘差當作運動已被確定的證據)
在上面梯度平行的區塊中,直線 上每一點的殘差都剛好為零,但這些速度並不相同: 與 指向不同方向。殘差為零只說明方程相容,並不表示速度已被辨認。只有 正定,並且運動模型確實成立,速度才算被辨認。
常見錯誤
(漏掉時間導數的負號)
右端是 。若改用 ,等於把 換成 ,由線性性得到 。在三梯度例子中,時間導數 給出 ;若不加負號直接代入,會得到 ,運動方向相反。
殘差與條件數
例題 7.1.5
(帶雜訊的區塊及其殘差)
將第一個例子中最後一個時間導數改為 ,即 。則 ,正規方程 、 給出 。預測值為 ,所以三個殘差 為 ,平方範數為 。非零殘差提醒我們方程並非完全一致,但殘差為零也不能證明亮度恆常或共同運動模型在物理上正確。
例子中 的特徵值為 和 。即使 在數學上可逆,若其最小正特徵值很小,亦表示某個方向受到的約束很弱。對特定統計模型 ,若 固定且滿秩,誤差互相獨立、均值為零並有共同方差 ,則
因為 。此協方差結論依賴上述假設;真實導數誤差可能相關、有偏,或存在於 本身。
實際限制
沒有紋理的區域,其空間梯度接近零;直邊主要只提供一個梯度方向。角點或紋理區塊可以提供多個方向,卻不能消除遮擋或光照變化。擴大區塊可增加觀察,但也增加像素具有不同運動的風險。由粗至細的變形及穩健損失在部分情況下可能有用,卻需要各自的模型與驗證;局部方程本身沒有證明它們有效。
習題
快速檢查
(梯度為 與 ,時間導數為 與 。兩條方程精確成立時,速度是多少?)
分別寫出兩條方程 。
解答 · 答案
方程是 與 ,所以 。
快速檢查
(若 的兩行都是 ,而 的兩個分量都是 ,描述所有精確解。)
這兩條方程約束了 的哪一個分量?
解答 · 答案
每個 都是解。垂直分量不能被辨認。
快速檢查
(驗證帶雜訊的例子的正規方程及平方殘差。)
對 計算 ,並代入 。
解答 · 答案
此處 ,且 。殘差為 ,其平方範數為 。
快速檢查
(在所述獨立雜訊模型下,若 的特徵值為 和 ,協方差的特徵值是多少?)
協方差為 。
解答 · 答案
的特徵值為 和 。這些數值只在所述雜訊模型下量化不確定性。
延伸學習
離散導數設計、金字塔變形、穩健運動場與遮擋偵測需要進一步分析。本單元沒有實作光流系統,也不保證任何特定影片中的運動。