動機
拍攝影像可能部分區域清晰,其他區域卻因移動或離焦而模糊。銳化是一個推斷問題:觀察所得的像素未必能唯一決定原始場景,而很小的量度誤差也可能造成很大的重建誤差。矩陣模型有助我們分清已知的正向成像過程,與反推時加入的假設。
本單元以線性強度的灰階小例子說明,並不是完整成像流程。前面章節的幾何變形及 HDR 擷取處理成像的不同環節;本章研究已知模糊的反演。
正向模糊與可辨識性
定義 2.1.1
(線性觀察模型)
設 為未知影像, 為已知模糊及取樣算子,量度為 ,其中 是誤差。候選重建 的數據殘差為 ;殘差量度的是與此模型的相容程度,不一定是與未知 的誤差。
若 有非零核向量 ,影像 與 會產生相同的無雜訊觀察。只使用 的算法若無額外資訊,不能區分兩者。即使 可逆,細小的奇異值也表示某些影像變化被弱量度;反轉其衰減會放大量度誤差。算子必須包含邊界慣例、取樣及單位;錯誤的正向模型可能令看似精確的結果不可靠。
反例模式
相同觀察可以隱藏不同影像
令 。 和 都產生 ,其差 屬於核。因此殘差為零不能辨認原影像;重建規則可以選一個解,但不能憑空取回觀察中缺少的資訊。
二次正則化
定理 2.1.2
(唯一的正則化估計)
給定 、觀察 及 ,最小化
其唯一最小化解滿足
證明
(正定性與配方)
令 。對每個非零向量 ,
故 是正定的,即使 奇異亦然。特別地, 蘊涵 ,從而 ,所以 可逆,正規方程 恰有一個解。
展開 ,並利用 ,對每個 得
當 時最後一項嚴格為正。因此 是唯一的全域最小解,而任何最小解都必須滿足正規方程。
證明透視
為何懲罰項令系統可逆
假設 只用在一處:把僅為非負的 變成嚴格為正的二次型。沒有它,只要 有核向量, 便是奇異的,正規方程有整條直線或整個平面的解,最小解不唯一;前面反例中的矩陣就是這種情形。
證明中唯一不顯然的一步,是恆等式 。它用代數論證取代微積分論證:由於 滿足正規方程,交叉項互相抵銷,毋須再作二階導數檢驗。論證之所以能完結,是因為正定二次型只在 處為零。唯一性屬於這個目標函數,並不一定屬於未知的真實影像。
較大的 更偏好小範數,可能抹去真實對比;正則化太弱則可能放大雜訊。其他懲罰項表達不同假設,例如偏好平滑或稀疏梯度。若懲罰為 ,唯一性要求 ;梯度懲罰具有非零核,單靠它並不足夠。非負或有界像素需要明確的約束問題,無約束公式不會自動保證。
概念視角代數
正則化即擴大了的最小二乘系統
把數據項與懲罰項疊在一起:。這是一個普通的最小二乘問題,其正規方程恰好是 。對每個 ,它的係數矩陣零空間都是平凡的,因為 迫使 。因此懲罰項相當於額外的方程,斷言 接近 ,並以 加權。
常見錯誤
(平滑懲罰本身不保證唯一性)
取 及差分懲罰 。 與懲罰都只依賴 ,所以 與 的代價完全相同。最小解不唯一,因為 ,即 。懲罰必須作用在 看不見的方向上。
兩像素模糊計算
例題 2.1.3
(反演與正則化結果)
令
同值方向 的特徵值是 ,差值方向 的特徵值是 。精確反演得 :完全擬合,但有一個負像素。取 ,
故正則化解為 。懲罰縮小了對比,卻未保證非負。若 擾動 ,無正則化反演會改變 :差值模式的誤差增加一倍。
例題 2.1.4
(逐個模式看同一個估計)
因為 對稱,可用標準正交向量 與 ,其特徵值為 、。對 ,座標為 。正則化估計把每個座標乘以 ;取 時,這兩個因子是 與 。於是
與矩陣計算一致。響應較小的 模式只被放大 倍,而不是無正則化的 倍,所以差值模式的雜訊增長較少。
例題 2.1.5
(奇異模糊:懲罰項選出最短的解)
對 及 ,每個影像 都精確擬合。此處 ,,所以正規方程為
由對稱性, 且 ,即 。當 時它趨向 ,即範數最小的精確解(範數為 ,而 的範數為 )。懲罰項是在無法區分的影像之間作選擇,並沒有取回真實影像。
常見錯誤
(以最小殘差來選擇懲罰強度)
殘差不能用來選 。對兩像素模糊及帶雜訊量度 ,精確反演 的殘差為 ,卻與無雜訊重建 相差 。令 總會縮小殘差,所以單以殘差最小為準,會選出正則化最弱、對雜訊最敏感的估計。
頻率解釋與假設
在有限週期網格上,空間不變的循環模糊可在離散傅立葉(Fourier)基底中對角化。以變換 寫成 ; 是所選變換慣例下的模糊響應。只有 才能除以它;零響應移除了該頻率,細小響應則可能大幅放大雜訊。循環邊界是此結論的一部分;裁切、空間變化模糊或其他邊界規則需要不同算子。
命題 2.1.6
(頻域中的正則化估計)
設 為酉矩陣,,其中 為複數,且 。以 與 表示 的最小解及數據的變換。則逐頻率有
證明
(把正規方程對角化)
正規方程為 ,其中 。由於 ,得 。把方程左乘 ,得 。每個對角元 都是正數,逐座標相除即得所述公式。
共軛出現是因為複數乘子 的伴隨是乘以 。即使 分母仍為正,但此時零估計是懲罰項選出的,不是從數據取回的資訊。對實影像,使用一致的共軛對稱變換慣例,除數值捨入外可得到實數重建。
選擇與評估模型
保留的量度數據、已知雜訊界或清楚記錄的先驗,可以協助選擇 ;單憑影像好看不能證明其準確。可比較預測觀察 與 ,檢查結果對 和邊界模型的敏感度,並記錄是否施加強度約束。殘差遠小於預期雜訊水平可能意味著擬合雜訊,但本身不是過擬合的證明。若模糊核未知,同時估計模糊核與影像是另一個通常更不確定的問題。
習題
快速檢查
(對上述兩像素模糊,計算 ,並解釋反演如何改變量度誤差 。)
向量 是差值方向。
解答 · 答案
。反演把此模式放大一倍,故誤差變成 。
快速檢查
(對同一 與 ,驗證 時 滿足正規方程。它是非負影像嗎?)
把矩陣 乘以該向量。
解答 · 答案
直接相乘得 。第二個分量為負;目標函數沒有加入非負約束。
快速檢查
(在酉頻率公式中,若 ,估計是多少?為何這不能證明真實頻率係數為零?)
把 代入公式。
解答 · 答案
公式給 。觀察中沒有來自該模式的貢獻,因此零是懲罰所選;真實係數可以不同。
練習 2.1.7
(令 、。列出所有精確解,並求 時 的最小解。)
核心
解答(3)
- 1
描述精確解
恰在 時等於 ,而 任意。全部精確解為 ,其中 任意。
- 2
用座標寫出目標函數
它分成一個只含 的函數,加上 一項。
- 3
逐個座標最小化
令該導數為零,得 。唯一最小解為 。
依據: 只在 時最小,而 的部分是嚴格凸二次函數,導數為 。
延伸學習
盲去模糊、非二次先驗、約束最優化、非均勻雜訊與物理感光模型均需進一步分析。本單元沒有提供生產用去模糊實作,也不保證其假設適用於某張照片。