弱方向不一定是零方向
最小二乘問題要求尋找使 最小的 。秩虧矩陣可能有多個最小解;即使矩陣滿秩,也可能存在某個方向使 變化很小。此時 的微小變化可能造成擬合係數的大幅變化。奇異值將這兩種現象區分開,也使正則化的作用變得明確。
設 的秩為 。
定義 4.3.1
(緊奇異值分解)
的緊奇異值分解是如下形式的表示
其中 、 分別構成標準正交族, 生成 , 生成 ,且 。
這些是精確算術下的結論;數值秩取決於尺度和數據準確度。
最小範數最小二乘解
定義 4.3.2
(偽逆與最小範數解)
的偽逆是算子 。對數據 ,最小範數最小二乘解是 。
定理 4.3.3
(最小範數最小二乘解)
令 。向量最小化 ,當且僅當它形如 ,其中 ,而
特別地, 是歐氏(Euclidean)範數最小的唯一最小化解。若 ,則 ,所以數據擾動 使 的改變至多為 ,且此界可以取到。
證明
(沿奇異向量分解目標函數)
因為 與 生成 ,每個 都可寫成 ,其中 。記 、。由於 且 ,正交性給出
因此每個最小二乘解都滿足 ,而 任意。由於 與 正交,,在 時最小,且僅此時最小。這就得到 。 把每個 送到這個唯一的向量,所以與所選 SVD 無關。 時求和為空,。 且 時,由 Bessel 不等式,,取 時等號成立。所以 ,而數據擾動 使 改變 ,其範數至多為 。
證明透視
分離性從哪裏來
證明把一個最小化問題變成互相獨立的純量問題,全靠兩個正交性事實。 標準正交,且 ,所以交叉項消失,目標函數分離為 加一個常數。 與 正交,所以 也以同樣方式分離。 的正性只用了一次,就是解 ;若有零奇異值, 便不受約束,這正是核方向。殘差只看到 ,所以每個核向量 都不改變殘差。這解釋了為甚麼最小化解可以不同,也解釋了為甚麼取 得到範數最小的那個。
很小的正奇異值不是零方向,但它可能大幅放大噪聲。
嶺濾波
定義 4.3.4
(嶺正則化)
對 ,嶺正則化選擇以下目標的唯一最小解:
定理 4.3.5
(嶺解及其噪聲界)
對 ,上述目標有唯一最小化解 ,為
等價地, 是 的唯一解。對所有 ,,所以 改變 時, 的變化至多為 。對固定的 ,當 時 。
證明
(沿奇異向量的純量二次問題)
上面的分解將它化為互不耦合的純量二次問題,逐項最小化得到
因為 ,核方向分量為零。等價地, 求解 ;即使 秩虧,該矩陣仍然正定。對所有 ,純量濾波因子具有一致上界:
因為 。所以 改變 時, 的變化至多為 。對固定的 ,當 時有 。當 時,實際放大因子 嚴格小於 ,但較鬆的一致上界 未必更小。該解相對於 一般有偏差。
例題 4.3.6
(嶺方法使虛假分量減半)
設 ,精確右端為 ,觀察數據卻是 。不正則化的求逆結果為 ,但精確數據對應的精確解為 。取 時,嶺解為
在此例中,虛假的第二分量減半,但第一分量也發生了小幅改變。這說明一種權衡,並不提供通用的 選擇。
例題 4.3.7
(秩虧矩陣上的嶺方法)
設 、,則 、、。每個最小化解的第一個分量為 ,第二個分量 任意,殘差 的範數為 ;最小範數解為 。取 ,濾波給出 。驗算:、,所以 解出正則化方程組。對任何 ,核方向 的係數都為零,而第一個分量由 壓縮到 ,這就是嶺方法的偏差。
截斷奇異值
定義 4.3.8
(截斷 SVD 解)
對閾值 ,定義
這種截斷 SVD 丟棄低於閾值的方向。若數據改變 ,正交性給出 。但被丟棄的分量可能包含真實信號,因此限制噪聲放大的閾值也可能帶來逼近誤差。精確地說,。
反例模式
正則化可能去掉真實信號
仍取 ,但令精確的無噪聲數據為 。真正的最小範數解為 。取 的嶺方法返回 ;取 的截斷 SVD 返回零。若不對噪聲和期望信號作出假設,就沒有普遍更好的選擇。
實際選擇閾值或嶺參數應考慮數據準確度、尺度以及求解目的。較大的殘差本身不能證明正則化估計對未知真實信號更差;反過來,較小的殘差也不能證明含噪係數準確。在浮點計算中求 SVD 或解正則化方程還會產生額外誤差,上面的精確公式並未分析這些誤差。
概念視角分析
三種解的同一個濾波公式
上面每個解都具有如下形式
即對 的係數作用一個濾波函數 。偽逆取 。嶺方法取平滑濾波 ,它在 處等於 ,在 時趨於 。截斷取 ()和 (其餘)。由此看來,兩種正則化只在關閉弱方向的銳利程度上不同。在兩個方向的計算中,、 處的濾波值為 ,正是那裏觀察到的減半。
例題 4.3.9
(三個奇異值上的截斷與嶺方法)
設 、。則 、,。取 的截斷保留前兩個方向,所以 ,逼近誤差 全部來自被丟棄的方向。取 的嶺方法,濾波值為 、、,因此 。噪聲界方面,截斷為 ,嶺方法為 ,而此 上嶺方法的實際放大倍數為 。若第三個分量是真實信號,兩種方法都會丟失它的大部分:截斷的誤差為 ,嶺方法約為 。
常見錯誤
(零奇異值與很小的奇異值並不相同)
零奇異值使相應係數不受殘差約束:任何取值給出相同擬合,最小範數解把它取為零。很小的正奇異值則把係數決定為 ,所以 中的噪聲 在解中變成 。把很小的正 換成零是改變問題的建模決定,不是恆等變形。
常見錯誤
(一致的嶺界不是實際放大倍數)
界 對每個 成立,並且只在某個 時取到。取 、,界為 ,而實際因子是 。只要沒有奇異值接近 ,把一致界當作放大倍數就會高估對噪聲的敏感性。
練習與解答
快速檢查
(對 、,求所有最小二乘解及其中的最小範數解。)
比較不同 下 的殘差。
解答 · 答案
每個 都使殘差最小,其範數為 ;最小範數解為 。
快速檢查
(對相同的 ,取 ,計算 。)
對唯一的非零奇異值使用濾波因子 。
解答 · 答案
,因為 。
快速檢查
(為甚麼嶺方法的噪聲放大界在 時增大?)
界為 。
解答 · 答案
上界 趨於無窮。這是對所有奇異值的一致上界。對固定非零 ,實際因子始終小於 ,並在 時趨於 。
快速檢查
(如果 大於所有奇異值, 是甚麼?)
數一數求和中保留了多少項。
解答 · 答案
保留的求和為空,因此 。