動機
小波變換將圖像重新表示為平均與細節係數,本身並不消除噪聲。對細節設閾值可以抑制波動,卻也可能刪去或縮小真正的圖像特徵。當乾淨圖像未知時,如何比較這兩種影響?控制最大噪聲係數的概率界,與衡量重建圖像的平均平方誤差,是兩個不同問題。本節利用觀測係數及已知噪聲方差,推導後者的一個估計。
對每個在觀察數據之前固定的閾值,這估計都是無偏的。這是關於重複觀測取平均的陳述,並非對單張圖像的保證。若試驗許多閾值,再選顯示風險最小的一個,就已兩次使用數據;所選估計不一定仍然無偏。理解這個區別,與計算公式同樣重要。
定義
定義 4.2.1
(軟閾值估計量及其風險)
設 是 實正交變換,例如有限 Haar 變換,且 ,其中未知圖像 為確定向量,,已知 。變換後 ,其中 , 各分量為獨立標準正態。事先固定一組 個細節座標。對固定閾值 ,用軟閾值估計它們:
不受懲罰的座標,例如最粗尺度平均,保留其觀測值。正交性使圖像平方誤差等於各係數平方誤差之和。所選細節的期望平方誤差為 ;每個保留原值的座標對總期望誤差貢獻 。這裏採用總和而非平均;風險及其估計同除以 ,便得到每個圖像座標的均方誤差。
定理/命題
這個估計建基於高斯(Gauss)變量的一條恆等式。
引理 4.2.2
(高斯分部積分)
設 ,而 連續,由有限個導數有界的連續可微段組成。則
其中 在有限個接合點的值可任意指定。
在每個細節座標上應用這條引理,便把未知的風險化為可觀察的量。
定理 4.2.3
(固定軟閾值的 Stein 風險估計)
對每個確定的 ,
的期望等於 。在所述模型下,係數恰好等於閾值的概率為零。估計圖像總風險時,每個未處理座標再加 。某次觀測所得估計可以為負,即使實際平方誤差和其期望都非負。
證明或證明思路
證明
(對高斯密度積分)
正態密度 滿足 ,在各光滑區間上對 積分即可。無窮遠的邊界項消失;有限個接合點處的項由 的連續性互相抵消。接合點概率為零,其導數如何指定不影響期望。
把引理應用於收縮量 (它連續,只在 有折角),便得到定理。
證明
(圍繞觀測值展開誤差)
取 ,展開 ,取期望並代入上式:
這裏 ;當 時 ,當 時為零。逐座標相加得到公式。若 ,則 幾乎處處,公式幾乎必然化為 ,正好是保留觀測值的風險。正交性將係數風險轉為圖像風險。對邊際期望求和不需要座標獨立,但此處白色正態模型確實提供所需邊際分布及獨立性。
證明透視
未知信號怎樣從估計中消失
證明只有一個不明顯的步驟。誤差 含有未知的 ,而圍繞觀測值展開,把它集中到唯一的交叉項 。引理把這一項化為只依賴 的 。其餘各項都可觀察或已知: 的均值為 , 由數據直接算出。若以可觀察的殘差 代替誤差,保留全部噪聲的恆等估計 反而會被評為完美。
各個假設在明確的位置發揮作用。高斯性只透過密度恆等式 使用。 的連續性令折角 處的邊界項互相抵消;硬閾值在 跳躍,會在該處留下額外的項。閾值必須事先固定,因為引理是對一個固定函數 應用的;由 算出的閾值令 以引理沒有涵蓋的方式依賴數據。證明從未用到座標之間的獨立性,因為風險是邊際期望之和。
例題
例題 4.2.4
(兩個觀測細節係數)
令 、、,閾值 在事前固定。估計的細節是 ,且
實際平方誤差為 ,不能單憑 計算。若第三個粗尺度係數保留原值,須為其期望誤差加一,總估計為 。被閾值處理的係數對無偏估計作出負貢獻是允許的。
例題 4.2.5
(估計值可以是負數)
若一個細節係數的 、固定 且觀測 ,估計值是 。當 時估計值均為負,此事件有正概率。這並非負的實際損失。為顯示方便把負估計截為零可能有用,但會改變隨機量,通常破壞精確無偏性。
例題 4.2.6
(高於所有觀測值的閾值)
回到 、、,但事先固定 。兩個觀測值都滿足 ,所以兩個細節估計都是 ,而
這個邊界情形就是零估計量。其損失為 ;事實上 ,由於 ,它正是該損失的無偏估計。任何 都給出同一估計。看過數據後才把 與 時的 比較,正是下面要檢視的選擇。
常見錯誤
反例模式
選最小估計可能造成樂觀偏差
考慮單一座標,、。比較恆等估計與零估計:兩者的 SURE 分別為 與 ,對各自固定估計都無偏。選 SURE 較小者:當 時選零,否則選恆等。前一區域的所選損失為零,後一區域為 。直接做正態積分得到
其中 是標準正態密度。故固定估計量的無偏性不會自動保留至選擇之後。零估計是軟閾值 的極限;這裏比較兩個明確定義的估計量,不需要在數值上計算無窮大閾值。
要核對上式,利用 和對稱性即可。選擇仍可構成有用的實際方法,但其風險必須作為依賴數據的程序來評估。搜尋更多閾值亦帶來相等值及實作上的選擇;沒有額外分析時,固定閾值定理並不能為所選規則提供無偏估計。
常見錯誤
(在模型以外套用公式)
已知的白色正態噪聲及正交變換是模型假設,不是照片自動具有的性質。未知方差需要依據另外的假設估計,並考慮其不確定性。冗餘變換、有色噪聲、截斷或依賴信號的噪聲都會改變計算;直接套用同一公式未必能估計圖像風險。單一係數組的風險也不保證視覺品質或邊緣保存。
常見錯誤
(遺漏保留原值的座標)
SURE 只估計經閾值處理的細節座標的風險。每個保留觀測值的座標仍帶有全部噪聲,對圖像期望誤差貢獻 。在第一個例題中,細節的估計是 ,三個係數的圖像估計卻是 。把只含細節的估計與整幅圖像的誤差、或與包含粗係數的估計比較,是混淆了兩個不同的量。
總結
軟閾值在抑制噪聲與縮小信號之間作取捨。對固定閾值及已知方差,正態分部積分給出可計算的期望平方誤差估計,正交性則連接係數誤差與圖像誤差。由數據選閾值是另一個估計程序,其最小 SURE 可能過於樂觀。
習題
練習 4.2.7
(設 、、,固定 。求估計係數及 SURE。)
基礎
解答(2)
- 1
應用軟閾值
座標 和 的絕對值不超過 ,變為 ;座標 變為 。估計為 。
- 2
計算三項
,而有兩個座標滿足 ,所以 。
練習 4.2.8
(對任意確定的 ,求 的估計量及其細節風險。其 SURE 幾乎必然取甚麼值?)
基礎
解答(2)
- 1
確定估計量
,所以估計量就是 ,誤差為 ,對每個 風險都是 。
- 2
計算 SURE
時每個 為零,而 只在 時成立,這是零概率事件。因此幾乎必然有 ,恰好等於風險。
練習 4.2.9
(兩個固定閾值的無偏風險估計為 ,對應風險 。證明 。單憑這不等式能否確定所選估計量的風險?)
核心證明
解答(3)
- 1
逐點比較
對每個結果, 對 和 都成立。
- 2
取期望
取期望得 對兩個 都成立,故 。
- 3
解讀此界
∎這個不等式比較的是所選估計與較小的固定風險,並沒有算出依數據選擇之估計量的損失或風險;反例顯示後者可以超過所選估計的期望。
練習 4.2.10
(對正交 證明 。若 ,兩個保留原值的座標如何改變總風險估計?)
基礎
解答(2)
- 1
利用正交性
由 ,有 ,而乘以 保持歐氏(Euclidean)範數。
- 2
計入保留原值的座標
每個保留原值的座標期望平方誤差為 ,所以總風險估計等於已處理座標的 SURE 再加 。