動機
把來源物件放進目標影像時,邊界可能出現明顯的亮度接縫。我們可以不直接複製每個來源強度,而是尋找一幅影像:其局部差值跟隨所選引導場,同時邊界符合目標影像。現有合成單元解釋了 alpha 和對齊;本單元為選定區域推導另一個梯度域模型。此模型並不保證接縫必然消失。
先考慮線性強度的一個純量通道。在此模型下可以分開處理色彩通道,但逐通道計算本身不保證色彩在視覺上忠實。
有錨定邊界的圖模型
定義 5.1.1
(差值與邊界值)
令有限的無向像素圖中,每條邊任選一次方向。對有向邊 ,期望差值為 ,重建差值為 。將頂點分為未知的內部頂點與固定的邊界頂點,後者具有指定目標值 。固定全部邊界值,在內部數值上最小化
方向只是記帳選擇:若將一條邊反向,同時把 改為 ,該平方項便不變。引導場可以來自來源影像,但模型亦容許任意、可能互不相容的數值。圖與邊界慣例決定了最小化問題;省略邊界邊或改變所選區域都會改變問題。
定理 5.1.2
(有錨定時的存在性與唯一性)
若圖的每一個連通分量都至少包含一個固定邊界頂點,則此二次能量對內部頂點有唯一最小解。
證明
(二次部分正定)
設 為內部數值的向量, 為在邊界頂點補零後的延拓。令 ,其中 在邊界等於 、在內部為零,則每一項為 。展開平方得
其中 為對稱矩陣, 為向量, 為常數。若 ,則 在每個連通分量上都是常數;每個分量都有一個 的邊界頂點,故 處處為零,即 。因此 正定。完成平方得 ,所以 是唯一最小解。
證明透視
錨點在哪裏起作用,在哪裏不起作用
錨定假設只用了一次,就是由 推出 的一步:只有在這裏,邊界頂點才把常數變成零。引導值 與邊界值 只通過 和 進入,所以它們決定找到哪個最小解,卻不影響解是否唯一。若某個分量沒有固定頂點,該分量上的常數向量便屬於 的零空間,論證就此中斷,結論也不成立。證明斷言的是最小值的存在與唯一,並非引導值可以零能量完全符合。
若一個連通分量沒有固定頂點,對該分量每個頂點加上同一常數不會改變邊差值;沒有額外約束便不可能有唯一解。這是絕對強度的歧義,不是某個求解器的數值缺陷。
例題 5.1.3
(沒有錨點的分量)
取兩個內部頂點 ,由一條邊相連,沒有固定頂點,引導值 。能量為 ,沿整條直線 都為零: 與 都是最小解。固定其中一個值,例如 ,該分量便有了錨點,並得唯一最小解 。這個歧義正是對兩個頂點同時加上常數的自由度。
完整三邊例子
例題 5.1.4
(不能同時符合兩端點的引導值)
取一條含頂點 的線,固定 、,未知量為 。把邊由左向右定向,要求引導值 。則
微分得到
解為 、。三個邊殘差都等於 ,故最小能量是 。期望差值之和為零,但固定端點之差為一,因此不可能全部精確符合。無約束解亦超過 ;若顯示範圍必須有效,須另設明確的約束最優化。
反例模式
未必能符合每個差值
對同一條線及端點,若堅持三個差值分別為 ,便會推出 ,與 矛盾。最小二乘解必須分配這個不相容,不能聲稱殘差為零。若引導值改為 ,其和為 ,此時 、 可達到零能量。
由局部方程到求解器
對內部頂點 ,僅為寫出此局部公式,將每條相鄰邊都向外定向,並以 表示符號一致的期望差值。
命題 5.1.5
(內部方程)
在錨定假設下,唯一最小解在每個內部頂點 都滿足
而任何滿足這些方程的數值就是該最小解。
證明
(令偏導數為零)
只有連到 的邊所屬的項依賴 ;對向外的邊 ,該項為 。對 的偏導數是 。令它為零,得 ;把邊界項 移到右邊,便得所列方程。在錨定假設下,能量是嚴格凸二次式,所以所有偏導數皆為零的點就是它的唯一最小解。
反轉邊時引導值也反號,因此這條局部方程與任何整體定向一致。係數矩陣是有錨定的圖拉普拉斯(Laplacian)矩陣。逐通道求解是一種可能的構造,不必明確求矩陣逆。殘差檢查可測試線性系統是否解好,但小殘差不能證明區域、邊界、引導場或色彩模型合適。
概念視角分析
離散泊松(Poisson)方程
以 表示圖拉普拉斯算子,以 表示 處向外的引導值之和。邊界頂點通過 進入,所以內部方程說明:在每個內部頂點都有 ,且邊界上 。這是帶狄利克雷(Dirichlet)邊界值的離散泊松(Poisson)方程。引導值為零時,方程化為 ,每個內部值都是其鄰點的平均,解就是邊界值的調和插值。
例題 5.1.6
(零引導值對邊界作插值)
取五個頂點 的路徑,固定 、,引導值全為零。內部方程為 、、。由第一條得 ,第二條給出 ,第三條給出 。所以 ,是一條直線,每個值都是兩個鄰點的平均。每條邊的殘差都是 ,故最小能量為 。
常見錯誤
(反轉邊時沒有把引導值變號)
設邊 的 ,、,其殘差為 。把同一條邊寫成 卻保留 ,便得 。引導值是有號差值,必須隨方向變號。
常見錯誤
(以為來源影像的亮度會保留)
設來源區域恆為 ,所以其差值全為零,而目標邊界恆為 。內部的唯一最小解是常數 ,能量為零。只有來源的差值被使用,它的絕對亮度被捨棄,整體水平由邊界值決定。
邊界差異太大可能使整個區域的色彩或亮度偏移;引導場中的雜訊也會經線性系統傳播。此模型不會自動解決未對齊、遮擋或光照不一致。若強度必須在 ,應求相應的約束問題或聲明其他後處理規則;直接裁剪無約束解一般會改變其最優性。
習題
快速檢查
(在三邊例子中,驗證 滿足兩條方程,並計算能量。)
代入兩條方程,再代入三個殘差。
解答 · 答案
,。每個殘差都是 ,故 。
快速檢查
(對同一條線,將引導值改為 ,找出一個精確零能量重建。)
由左端點起逐步加上差值。
解答 · 答案
各差值給出 、;最後一個差值為 ,三個殘差都為零。
快速檢查
(若圖有兩個不相連的分量,而只有第一個分量有固定頂點,為何整個重建不能唯一?)
若對第二個分量加上一個常數,會怎樣?
解答 · 答案
對未錨定的分量加任意常數,所有邊差值保持不變,也不影響固定分量,因此唯一性失敗。
快速檢查
(若反轉邊 ,應如何改變引導值以保持能量不變?)
比較反轉後的重建差值與目標差值。
解答 · 答案
改用方向 ,並把 改為 。重建差值與期望差值均反號,平方誤差不變。
延伸學習
混合引導場、穩健損失、強度範圍約束、多尺度方法和色彩空間選擇均需進一步分析。本章沒有實作生產用融合系統,也沒有證明某幅影像的感知品質。