擬合結果為甚麼會敏感
數據處理中,我們常尋找係數 ,使預測 接近觀測值 。區塊 QR 能在不顯式形成 的情況下歸約數據;但如果三角因子的某些對角項很小或為零,還要問:觀測究竟能確定哪些係數組合?奇異值分解(SVD)給出幾何上的回答,也說明殘差小本身並不能保證係數可靠。
設 、。向量範數均為歐幾里得(Euclid)範數,矩陣範數為相應的誘導算子範數;先在精確算術下討論。
定義 4.3.1
(SVD 與奇異座標)
完整 SVD 把 寫成 ,其中 、 正交, 為對角矩陣,其正對角元是奇異值 , 為 的秩。 的列 與 的列 是標準正交奇異向量,對 滿足 、。 的奇異座標是 。若 ,從 到 的求和視為空和。
中垂直於列空間的部分,即沿 的座標,無法由任何 擬合。
定理 4.3.2
(全部最小二乘解)
使 最小的向量恰好是
其中歐幾里得範數最小的解唯一,由 給出;其殘差平方為 。
證明
(把殘差對角化)
在右奇異向量構成的標準正交基中展開 。對 , 沿 的係數是 ,其他方向上的係數為零。因此
第一項的各個平方可以同時等於零,且這迫使 。其餘右奇異方向生成 ,得到所述全部解。它們與公式中的和正交,所以加入非零 會使範數平方嚴格增加 。殘差公式來自正交投影。 也包含在內:所有向量擬合效果相同,而唯一最小範數解為 。
證明之所以奏效,是因為兩邊各作一次正交換基,便把耦合的問題變成 個獨立的純量問題。
證明透視
分開可擬合與不可見的方向
的正交性把殘差平方分拆成互不干擾的座標,每個左奇異向量一個; 的正交性則給 互不干擾的座標。關鍵一步是:在這些座標下 作用為對角形式,所以前 個殘差座標各自只依賴一個係數,可以同時化為零;其餘座標完全不依賴 ,即 在列空間以外的部分。 為正,才容許以除法確定這些係數。核方向正是 忽略的座標;它們不影響擬合,卻增加係數範數,因此把它們設為零、而且只有這樣做,才得到唯一的最小範數解。
同樣的兩個條件也可以不用座標來描述最小範數解。
概念視角幾何
投影 $b$,再在行空間取原像
每個最小解都滿足 ,即 在 的列空間上的正交投影。最小範數解是這條投影方程位於 (行空間)中的唯一解。以算子表示,它是 ,其中偽逆為 。這種幾何描述,即先在輸出空間投影、再取與核正交的原像,不需要在重奇異值內選擇基。
例題 4.3.3
(以 SVD 處理秩不足的矩陣)
令 、。此時 ,,,,而 。於是 ,全部最小解為 。最小範數解為 ,殘差平方為 。直接計算,目標為 ,恰在 時最小。
常見錯誤
(對秩不足問題求正規矩陣的逆)
上例中 的行列式為 ,所以公式 不存在,雖然最小二乘解存在。照寫此式,或以求解器對奇異矩陣傳回的任何結果代替逆矩陣,只會任意選出某個解,甚至失敗。要得到最小範數解,必須有明確規則,例如上面的偽逆。
例題 4.3.4
(高瘦的秩一矩陣)
令 、。則 ,,,。奇異座標為 ,所以最小範數解為 。預測向量為 ,殘差 與 垂直,因為 。其平方範數為 ,與 相符。
小奇異值與截斷
小的正奇異值對擬合無害,對係數卻很危險。
命題 4.3.5
(最小範數解對觀測的敏感度)
固定 ,設 ,並把觀測改為 。最小範數解的改變量是
且 時取等號。
證明
(線性與標準正交性)
最小範數解 對 是線性的,由此得 的公式。由於 標準正交,,這裏用了 及標準正交向量 的 Bessel 不等式。當 ,只有最後一項非零,且等於 。
因此,即使觀測誤差很小,只要它沿 ,係數的絕對變化仍可能很大。這是固定矩陣的界,本身不能說明 的誤差造成甚麼影響,也不能在真實解為零時給出相對誤差。
定義 4.3.6
(截斷 SVD 解)
對整數 ,截斷 SVD(TSVD)解只保留前 個奇異方向:
用 而非數值門檻,是為了明確約定。若 ,把上面證明中的 換成 ,可知觀測擾動 引起的 變化最多是 ;若 ,變化恆為零。相較於精確最小殘差,付出的代價是殘差平方增加 。因此,殘差可能增加是降低敏感性的主動取捨,並不表示計算失敗。如果截斷位置把相等的奇異值分開,還須指定保留的子空間;在重奇異值子空間選用另一組有效基,可能得到不同的 。
例題 4.3.7
(殘差小,係數仍可能脆弱)
令 、。最小範數解為 ,殘差為零。若第二個觀測值增加 ,第二個係數便增加 ,放大十倍。只保留最大奇異方向時,,殘差範數為 ,對觀測誤差的放大至多為 。但不能據此斷定捨棄的真實係數為零:這只是選擇不從該弱方向估計它。
常見錯誤
(把截斷係數當作等於零的估計)
上例中,TSVD 在第二個座標傳回 。這個零記錄的是「不沿 估計」的決定,並非第二個係數為零的證據;事實上數據與數值 一致。報告係數時應一併說明截斷水平,並把捨棄的方向描述為未估計。
反例模式
訓練數據擬合完美並不證明穩定
聲稱:殘差為零表示擬合係數可靠。令 、,精確解 的殘差為零。只將第二個觀測值增加 至 ,第二個係數就變成 :大小為 的擾動造成量級為一的變化,正好是敏感度命題中的因子 。修正後的敘述是以最小保留奇異值來界定係數變化,而不是以殘差。
計算與統計上的解讀
若 列滿秩,則 ,且 。因此形成正規方程可能加劇病態性帶來的困難;條件數描述的是問題的性質,並非對每一種實作誤差的普遍預言。若 秩不足, 奇異,普通的逆矩陣公式不適用。緊 SVD 或揭示秩的方法可暴露近乎相關的方向;實作時仍要按尺度、算術精度和應用中的噪音選擇容差。精確秩與數值秩並不相同。
大型數據可能無法容納整個 ,完整 SVD 的計算也可能不實際。視數據存取方式及資源而定,可考慮區塊 QR 歸約、稀疏迭代求解或經過仔細驗證的近似低秩方法;這些方法的代價和近似誤差須另行分析。上述精確 SVD 推導提供理解,而不保證完整 SVD 便宜,也不保證某個截斷最優。正則化改變估計量,其效用同時取決於訊號和噪音,而非只由矩陣決定。
練習與解答
快速檢查
(設 、。求完整解、秩一 TSVD 解及其殘差範數。)
正對角矩陣的奇異向量就是標準基向量。
解答 · 答案
完整解為 。只保留第一方向得 ,殘差為 ,範數為 ;這等於 。
快速檢查
( 的正奇異值為 、、。觀測擾動範數最多為 時,分別估計完整最小範數解及 的 TSVD 解的係數變化。)
除以最小的保留奇異值。
解答 · 答案
兩個最壞情況上界分別為 和 。它們是固定 時絕對變化的界,不能保證未知估計誤差。
快速檢查
(定理中,若 垂直於非零矩陣 的列空間,會怎樣?)
計算奇異座標 。
解答 · 答案
所有 均為零。全部最小解都屬於 ,最小範數解為 ,殘差範數為 。任何係數都無法擬合垂直分量。