動機
圖像同時含有不同距離的變化:相鄰像素可能跨越邊緣,大區域之間也可能有平均亮度差。只列像素值會掩蓋這種結構。Haar 變換先記錄局部平均與差異,再對平均反覆作相同運算,使每個係數有明確的位置和尺度。在刪除係數前,整張圖像可以精確還原。
可逆變換沒有減少數字的總數,也沒有自行壓縮或去噪。真正的近似始於刪除或量化係數。正交性使這些操作造成的誤差可精確計算,卻也揭示限制:白噪聲的總能量並不因正交變換而減少。去噪依賴圖像在某些係數上的結構,而非座標轉換的魔法。本節選用邊長為二的冪次的有限陣列,避免未說明的補點或邊界延拓。
定義
定義 4.1.1
(離散 Haar 變換)
對一對像素,定義正規化平均和差異
這裏平均係數不是算術平均,其正規化是為了保持長度。對偶數長向量逐對操作,得到平均向量和細節向量。若 ,只對平均向量繼續遞歸,直至剩下一個粗係數。依「最粗平均、由粗到細的細節」排列結果,記成 。其他儲存順序亦可用,但必須明說。
合成反向進行,每對使用 、。各層長度形成等比級數,因此分析與合成的運算量均與 成正比,所有細節只儲存一次所需的空間亦如此。
對 圖像矩陣,完整可分離變換為 ,即先逐列再逐行變換。另一種常見二維金字塔每層先在兩方向各作一次配對,只遞歸處理低低頻塊。四個塊分別表示平均—平均、平均—差異、差異—平均與差異—差異。兩種構造都正交,但遞歸排列不同;在二乘二例題中兩者一致。
定義 4.1.2
(硬閾值與軟閾值)
硬閾值把幅值不超過 的係數設為零,其餘保留。軟閾值則是 。若要保持整體均值,可只處理細節、保留最粗平均;若所有係數一起處理,便沒有同樣的亮度保證。
定理 / 命題
定理 4.1.3
(正交性、精確合成與最佳固定基近似)
有限 Haar 矩陣滿足 ,所以 ,並有
在此固定基中,至多保留 個非零係數的最佳平方誤差近似,可取幅值最大的 個原係數。誤差平方正是全部捨棄係數的平方和;相同幅值可能使最佳支集不唯一。
定理 4.1.4
(高斯白噪聲與同時閾值界)
若 ,噪聲分量獨立且服從 ,,則任意實正交變換後的噪聲仍獨立且有相同分布。對觀察噪聲數據前已固定的 個細節係數下標及 ,取
則至少以概率 ,所有這些噪聲係數的幅值都不超過 。
此概率事件只控制噪聲,不宣稱所有大觀測係數都是真訊號,亦不宣稱小真細節不存在。真係數可能被刪除,保留者也可能受噪聲與收縮偏差影響。這不是最佳統計風險或精確復原定理,模型本身是否適合數據仍須檢查。
證明思路
證明
(正交配對映射的乘積與交換論證)
配對矩陣 直接滿足 。一層變換由互不重疊的這些區塊與重新排列組成,故正交。下一層只對平均座標作另一個正交映射,細節座標保持不動。正交矩陣的乘積仍正交,從而得到還原與範數公式。二維情形逐行逐列應用相同結論,得到 Frobenius 範數保持。
固定支集後,每個保留座標的最佳值就是原係數,剩餘誤差為未保留能量。若支集內有較小幅值而外面有較大幅值,交換兩者可降低誤差;反覆交換便得到最大幅值規則。此最優性只在指定正交基內成立,並未比較所有可能的圖像表示。
正交性消除了不同捨棄方向之間的交叉項,所以不必還原圖像,只要把捨棄係數的能量相加便可評估一個近似。若改用冗餘或非正交系統,這個等式一般失效,須改用相應的合成算子及穩定性界。第二個定理同樣依賴正交性,只是這次作用在概率密度上。
反例模式
保留最大係數需要正交基
聲稱:在任何基下,保留最大的係數都是最佳做法,而誤差等於捨棄係數的能量。在 取 、 及 。保留較大的係數得 ,平方誤差為 ,而不是預測的 。改為保留 ,誤差為 ;兩個都捨棄,誤差只是 。沒有正交性,交叉項就會留下,係數大小不再能評分近似;修正就是假設 。
證明
(高斯密度的旋轉不變性與聯集界)
高斯(Gauss)密度正比於 。正交變換保持範數與雅可比(Jacobi)行列式絕對值,故新密度仍分解成相同的一維高斯乘積。這同時證明方差相同和獨立性;一般非高斯誤差只有協方差保持,不能因此推論獨立。
標準高斯的矩生成函數及指數界給 ()。對 亦然,然後對 個係數取聯集界,得到超過閾值的概率至多 。最後這一步只需各分量的尾界,不依賴彼此獨立。
證明透視
噪聲界的每一步用了哪個假設
這個界有三個組成部分,每個假設恰好在其中一處使用。 的正交性透過密度進入: 及 使分解的高斯形式保持不變。高斯性把「不相關且方差相同」(任何正交映射作用於有限方差白噪聲都會給出)提升為「獨立且服從 」。尾界只用到每個變換後座標服從 ,經由其矩生成函數並把指數參數取為 。
決定閾值的是聯集界,而它完全不需要獨立性:某個係數超過 的概率不超過 個邊際概率之和,所以 只像 那樣增長。「下標須在看到數據之前固定」這個要求也在這裏使用。若先觀察數據才選取集合,例如選觀測值最大的係數,所界定的事件便不再是 個固定邊際事件的聯集,上述計算亦不適用。
例題詳解
例題 4.1.5
(完整四像素分析與合成)
對 ,第一層平均為 ,細節為 。再變換平均,得最粗平均八、粗細節負四,故係數為 。其平方和 等於原像素平方和。只保留兩個粗係數,重建為 ,誤差平方為四,正好等於兩個捨棄細節的能量。圖像每對被換成算術平均,但儲存的平均係數仍有平方根正規化。
例題 4.1.6
(明確的二維圖像陣列)
取 ,則
左上係數等於全部像素和除以二,故係數是六而均值是三。右上比較兩列、左下比較兩行,方向名稱須配合約定。保留粗係數,對細節以 軟閾值化,得 ,逆變換為 。均值仍為三,誤差平方為八。
例題 4.1.7
(概率閾值並非確定的訊號識別)
取 、、,閾值為 。至少以概率零點九,全部八個噪聲細節都在此範圍。可是若某真細節為二而噪聲恰為零,閾值操作仍會刪去它;這與有利的噪聲事件完全相容。大觀測值亦可同時包含訊號和噪聲。此事件同時控制所有噪聲,卻不會把每個觀測係數判為真或假。軟閾值更會對保留細節扣減幅值,因此有刻意的收縮偏差。
軟閾值是 的唯一極小解。分正、負半軸求導,零點使用次梯度區間,便得上述公式。逐座標處理可解可分離的係數懲罰問題;因變換正交,逆變換後就是帶有小波係數一範數懲罰的圖像解。若只懲罰細節,粗座標保持不變。
概念視角分析
保持噪聲能量與成功去噪並不矛盾
長度為 的向量若有獨立、方差為 的噪聲,變換前後期望平方範數均為 ; 圖像則為 。若真圖的有效資訊集中在少量或有結構的係數,便可抑制其他係數來換取較好估計。收益來自訊號結構及決策規則,不是可逆座標轉換已減少噪聲。
常見錯誤
反例模式
平移圖像不等於簡單平移係數
向量 的最細 Haar 差異全為零,一像素循環平移成 後,兩個最細差異都非零。因此抽取式變換不具平移不變性,雖然仍保持能量並可精確還原。位置改變可以把係數重新分配到不同尺度。未抽取構造可以改善平移行為,但會引入冗餘,必須重查近似誤差公式。
硬閾值在分界不連續,係數由略低於閾值移到略高於閾值,可造成有限的輸出跳躍。軟閾值連續且不擴張,因為其分段線性斜率介乎零與一之間。兩者都不構成完整的統計風險比較。
常見錯誤
(把最粗係數當成平均亮度)
正規化平均 是該對像素算術平均的 倍,而且這個因子逐層累積:長度為 的向量,其最粗係數是均值的 倍。對 ,最粗係數為 ,均值卻是 ;上面的二乘二圖像則是 對 。為顯示亮度而重新縮放粗圖像時,應在副本上進行,不可覆寫儲存的正規化係數。
常見錯誤
(把不相關噪聲當作獨立噪聲)
協方差為 的白噪聲經正交變換後,協方差仍為 ,所以係數保持不相關,卻未必保持獨立。若 獨立且各以概率 取 ,配對係數 與 不相關,但在每個結果中恰有一個為零。噪聲定理中的獨立性結論依賴高斯密度;只要每個係數仍滿足高斯尾界,聯集界那一步在相關情況下依然成立。
常見錯誤
(在有損步驟之後才檢查精確重建)
軟件須記錄邊界延拓、不等的維數、量化方式與係數順序。精確重建的檢查應在任何閾值處理或量化之前、以未改動的係數進行;否則索引錯誤容易被誤認為預期的近似誤差。
總結
有限 Haar 分析以線性運算量建立正交多尺度座標,合成精確反向還原。二維行列變換與低低頻遞歸形成不同安排的圖像表示。正交性把近似誤差化為捨棄能量,並保持高斯白噪聲的聯合分布。閾值操作是一項有偏、依賴圖像結構的決策,其概率與穩定性結論都有明確範圍。
練習
練習 4.1.8
(按由粗到細的順序變換 ,只保留最粗係數,求還原結果與誤差平方。)
基礎
解答(3)
- 1
計算第一層
配對 和 給出平均 及細節 。
- 2
計算最粗一層
兩個平均給出最粗平均 及最粗細節 ,所以係數為 。
- 3
還原並量度誤差
只保留最粗值 ,先得第一層平均 ,再得 。誤差平方為 ,等於捨棄的兩個細節的平方和;為零的最粗細節沒有貢獻。
練習 4.1.9
(對每個像素均為 的二乘二圖像,求全部係數,並說明最粗係數與平均亮度之間的正規化關係。)
基礎
解答(2)
- 1
計算係數
此時 :所有差異為零,最粗係數是像素和 除以 。
- 2
與均值比較
正交性要求平方範數 與四個值為 的像素相同。這裏最粗係數是均值的兩倍。對 圖像,正規化常數基圖像的每個元素為 ,所以最粗係數是均值的 倍。
練習 4.1.10
(證明實數軟閾值不擴張,並推論正交分析、固定閾值的逐座標軟閾值與合成三者的組合在歐氏(Euclidean)範數下不擴張。)
核心證明
解答(3)
- 1
利用分段結構
在以 和 分開的三個區間上, 非遞減,斜率為 或 ,且各段連續相接。
- 2
比較兩個自變量
關鍵一步
設 ,在 所含的分界點把它拆開。每一段上輸出的增量介乎零與輸入增量之間,所以 。
- 3
推廣到向量
∎對每個座標把純量不等式平方再求和,得 。分析與合成都是正交的,保持兩邊的範數,故組合不擴張。
練習 4.1.11
(取 、、,寫出精確的同時閾值。若變換後的誤差彼此相關,但各自仍滿足相同的單變量高斯尾界,概率證明有何改變?)
核心
解答(3)
- 1
計算閾值
。
- 2
檢查聯集界
聯集界只用到每個係數的邊際尾界,所以相關性不會令它失效;只有一個係數時更無相依性可言。
- 3
指出失去的結論
對邊際尾界相同的較大集合,即使有相依性,同一同時界仍然成立。失去的只是「變換後係數彼此獨立」這個另外的結論,它需要正交高斯的設定。