小奇異值可能使未正則化的最小二乘係數對噪音產生強烈反應。嶺迴歸改變優化問題,對每個係數施加懲罰。本單元使用未縮放的平方損失;若在損失前加上 ,懲罰參數的數值意義也會改變。
即使列相依也有唯一解
定義 10.2.1
(嶺迴歸目標函數)
令 、,固定 。懲罰全部 個係數,沒有獨立且不受懲罰的截距:
給定 的嶺迴歸估計量是 在 上的極小點。
展開並微分得到 ,問題在於駐點是否為唯一的極小點。
定理 10.2.2
(嶺迴歸解的唯一性)
對任意 、任意 及任意 ,矩陣 可逆,且 恰有一個全域極小點,
證明
(正定性與精確的二次展開)
對非零 ,。正定矩陣可逆,所以 有定義,並滿足 。對任意 展開 : 的線性項為 ,因此
當 時這嚴格為正。所以 是全域極小點,沒有其他點取得最小值。
證明透視
懲罰在哪裏發揮作用
這個展開是精確的,因為 是二次多項式,所以駐點自動是全域極小點,無須引用凸函數定理。懲罰只在 這一項出現,對每個 它都嚴格為正;數據項 單獨只是非負,並在 上為零。沒有懲罰()時,秩不足的 會給出整個仿射族的極小點,下面的秩虧例子正是如此。若某個係數方向不受懲罰,論證同樣失效,因為沿該方向第二項消失。
即使 的列相依或列數多於行數,此逆矩陣仍存在。結論使用了 及懲罰每個係數的假設;若截距或其他方向不受懲罰,則須另行檢查秩。
奇異值的作用
設秩為 ,取薄奇異值分解 ,其中 ,而 和 各自標準正交。下面的結果用這個分解表示嶺迴歸的擬合。
定理 10.2.3
(嶺迴歸擬合的譜形式)
對上述薄奇異值分解及 ,
證明
(逐個奇異方向驗證正規方程)
由於 且各 標準正交,。令 ,則 ,所以 滿足正規方程,由唯一性即 。最後由 得 的公式。
時公式仍成立,空和解作零。與未正則化的非零奇異方向擬合相比,擬合反應乘上一個介乎零與一之間的濾波係數。固定 時,較小的 對應較小的係數。當 ,擬合值趨向零;當 ,它趨向投影到 列空間的正交投影。若 秩不足,此極限不會使 時的 可逆。
概念視角幾何
嶺迴歸即限制在球內的擬合
令 。則 同時是 在球 內的極小點:球內若有損失更小的競爭者,便有 。懲罰越大,對應的球越小,嶺估計就是損失的等值橢球面最先碰到該球的那一點。
例子與擬合靈活度
例題 10.2.4
(對角設計上的嶺迴歸)
取 、、,並使用上述損失及懲罰慣例。則
濾波係數是 與 ,所以奇異值較小的方向被收縮得更多。殘差平方和為 。
此時擬合值算子是 ,其 。一般而言 ,其中 ,而
對固定 和固定 ,假設 ,且 、。則 。這促使我們把此跡稱為該線性平滑器的有效自由度;它不必是整數。若用 選擇 ,算子作為數據的函數便不再固定,不能直接把所選值代入此協方差恆等式。
反例模式
較大的懲罰不一定降低係數誤差
命題:正的懲罰只會幫助還原真實係數。取 及無噪音數據 ,其中 ,即 。在 時最小平方解就是 ,誤差為 。在 時嶺迴歸解為 ,係數誤差平方為 。收縮只在噪音方差壓過它所引入的偏差時才有幫助;數據精確時它只增加偏差。較大的懲罰產生較小的跡,通常使擬合較簡單,但這本身不能證明預測誤差低。評估由數據選出的懲罰時,應把預處理和調參放在每個訓練摺內;上述固定懲罰計算本身並非樣本外保證。
常見錯誤
(在不同損失縮放之間比較懲罰)
目標函數 與 有相同的極小點。取 ,縮放慣例下的 對應本單元慣例下的 。只報告懲罰數值而不說明損失慣例,並不能確定收縮的程度。
例題 10.2.5
(含零奇異值的設計矩陣)
設 、、。此時 、、,所以 ,。直接驗算:,,得 。反應的第二個分量落在 的列空間之外,無論 為何都不會被擬合;第二個係數為 ,因為它受懲罰卻不影響損失。有效自由度為 ,不是整數。
另一個秩虧例子:數據究竟識別了甚麼?
上面的對角矩陣例子有線性無關的列。為了看清兩個特徵不能由訓練數據區分時會發生甚麼,考慮以下另一個設計與反應:
例題 10.2.6
(秩虧設計中擬合相同而係數不同)
仍使用同一目標函數 :損失不除以樣本數,沒有獨立截距,兩個係數都受懲罰。令 ,則 ,目標中依賴數據的部分是 。向量 屬於 :加上它的任意倍數會改變兩個係數,卻不會改變任何訓練預測。觀察所能限制的是與擬合值有關的係數和,而非各個係數。
先取 。每個滿足 的向量都恰好擬合兩個訓練目標。例如 與 是不同的最小平方解,範數平方分別為 與 。前者是最小範數解,但選它是額外的約定;兩者對已觀察數據的擬合完全相同。
當 ,法方程為
兩式相減得到 ,其中 。上面的正定性論證說明 是唯一的嶺迴歸極小解。若要和另一個產生相同訓練預測的向量比較,可沿零空間移至 :殘差不變,而係數範數平方增加 ,所以帶懲罰目標恰好增加 。嶺懲罰在線上選出一點,並沒有增加觀察或改變 。
取 ,基準點為 ,其訓練預測為 。再取 ,比較點為 ,訓練預測相同。兩者的殘差平方和皆為 ,但目標值分別為 與 ,相差 。對新特徵向量 ,兩者的預測分別是 和 。這個方向不在已觀察設計的生成空間內,也沒有給出對應目標值;單憑預測不同,不能判斷哪個向量對未來結果預測得較好。
正則化法方程矩陣的特徵值是 與 。因此 時,其 2-範數條件數為 ; 時為 ,而 時矩陣奇異。這是 的條件數,不是 的條件數。以下互動正是這個獨立例子:可改變懲罰、零空間位移和查詢方向,檢查哪些量會改變。
嶺迴歸解唯一,不代表數據能識別每個係數
兩個訓練特徵完全相同。沿數據看不見的係數方向 (1,−1) 移動,再加入嶺懲罰,觀察訓練預測保持不變,但懲罰與偏離訓練設計的查詢預測如何改變。
固定數據與目標函數
X 的兩行為 (1,1)、(2,2),y=(1,2)。沒有獨立截距。目標為 Jλ(w)=||Xw−y||²+λ||w||²,不除以樣本數,並懲罰每個係數。
a=5/(10+λ); sλ=2a; 基準點=(a,a); 比較點=(a+d,a−d).
產生相同訓練預測的係數
向下的實線為 w1+w2=sλ,線上各點與基準點有相同擬合值。長虛線為 w1+w2=1,包含全部普通最小平方法極小解。λ=0 時兩線重合。實心圓是基準點,空心菱形是你的比較點;d=0 時兩者中心重合。點線圓的半徑等於基準係數範數,原點連線抵達實線上最近的點。下表列出完整數值。
基準點: (0.417, 0.417); 比較點: (1.417, −0.583). 共同係數和 sλ: 0.833.
| 模型 | w1、w2 | 訓練殘差平方和 | 係數範數平方 | 懲罰 λ||w||² | 總目標 Jλ |
|---|---|---|---|---|---|
| 基準點 | (0.417, 0.417) | 0.139 | 0.347 | 0.694 | 0.833 |
| 比較點 | (1.417, −0.583) | 0.139 | 2.347 | 4.694 | 4.833 |
| 行 | 特徵向量 | 已觀察目標 | 基準點 | 比較點 |
|---|---|---|---|---|
| 訓練行 1 | (1,1) | 1 | 0.833 | 0.833 |
| 訓練行 2 | (2,2) | 2 | 1.667 | 1.667 |
| 所選查詢 | (1,−1) | 未知 | 0.000 | 2.000 |
查詢 (1,1) 重用訓練行 1,其已觀察目標為 1。其他查詢向量沒有指定目標,也沒有新增有標記觀察。單憑預測不同,不能判斷哪個係數向量有較小測試誤差。
數值顯示至小數點後三位,核心計算使用未四捨五入的公式。這是雙特徵代數例子,並非統計模擬或測試誤差比較。
- 共同係數和 sλ
- 0.833
- 比較點目標值減基準點目標值
- 4.000
- 查詢預測:比較點減基準點
- 2.000
- XᵀX+λI 的特徵值
- 2.000, 12.000
- XᵀX+λI 的 2-範數條件數
- 6.000
- 訓練設計能識別兩個係數
- 否
λ>0 且 d≠0 時,比較點的訓練預測與嶺極小解相同,但帶懲罰目標更大。 比較點目標值減基準點目標值: 4.000; 查詢預測:比較點減基準點: 2.000.
分開數據中的資訊與目標函數加入的偏好
設 s=w1+w2,則訓練擬合向量 Xw=(s,2s),殘差為 (s−1)²+(2s−2)²=5(s−1)²。任何係數向量加上 d(1,−1),都不會改變 s 或任何訓練預測,這正是 X(1,−1)=0。因此 w↦Xw 並非單射,不論殘差多小都一樣。
λ=0 時,所有 s=1 都令殘差最小。其係數可寫成 (1/2+d,1/2−d),範數平方為 1/2+2d²,在 d=0 最小。把 (1/2,1/2) 稱為最小範數最小平方解,是從多個同樣良好的擬合中指定一個;並不證明觀察能把它與 (1,0)、(0,1) 或線上其他點分辨開。
λ>0 時,法方程為 [[5+λ,5],[5,5+λ]]w=(5,5)。兩行相減得 λ(w1−w2)=0,所以 w1=w2=a=5/(10+λ)。此解是全域唯一的:對任意擾動 u,法方程令交叉項消失,故 Jλ(基準點+u)−Jλ(基準點)=5(u1+u2)²+λ(u1²+u2²),在 u≠0 時嚴格為正。比較點取 u=d(1,−1),殘差項消失,目標差恰為 2λd²。懲罰選出唯一點,卻沒有提供新的觀察資訊。
λ=2 時,基準係數為 (5/12,5/12),訓練預測為 (5/6,5/3),殘差 5/36、懲罰 25/36、總目標 5/6,在這個獨立例子中。移動 d=1 會令目標增加四,但兩個預測不變。任意查詢 x* 的預測改變為 d(x1*−x2*),在觀察設計方向上是零,在 (1,0) 為 d,在 (1,−1) 為 2d。另 XᵀX 的特徵值是 10、0,加 λI 後變為 10+λ、λ;正 λ 消除這個矩陣的奇異性,卻不會消除 ker X。所示條件數屬於正則化法方程矩陣,而非 X 本身。
即時檢查:嶺估計唯一,能否證明未來目標對兩個特徵有相等依賴?
不能。此處相等係數來自對稱懲罰及相同特徵列。已觀察行無法分辨 (1,−1) 方向的改變,而離開其張成空間的新特徵向量可以呈現這種不確定性。預測品質需要假設與獨立評估;唯一性本身不是測試誤差較小的證據。
設計與目標固定。控制只改變 λ、沿 ker X 的位移及一個查詢向量。正 λ 時實線包含訓練預測相同的比較點,並非普通最小平方極小解。特徵縮放、不受懲罰的截距或已除以樣本數的損失,均會改變模型或 λ 的數值意義。
這裏固定設計、特徵尺度及上述懲罰慣例。若損失重新縮放或設有不受懲罰的截距,數值問題便會改變。尤其是,帶懲罰估計唯一,本身並不能證明數據能識別兩個獨立特徵效果,也不能證明測試誤差較小。
習題
快速檢查
( 時, 下的係數及擬合反應是甚麼?)
使用正規方程。
解答 · 答案
正規方程為 ,所以係數及擬合反應均為零。
快速檢查
(在對角例子中計算 。)
使用殘差向量 。
解答 · 答案
。
快速檢查
(若正奇異值滿足 ,其擬合值濾波係數是多少?)
代入 。
解答 · 答案
。
快速檢查
(若某個係數方向不受懲罰,為何正 本身不能證明唯一性?)
取第二列為零的設計,並只懲罰 。
解答 · 答案
證明中使 嚴格為正的是 。若方向 不受懲罰且 ,沿它的差為 。例如 的第二列為零而只懲罰 時, 完全不依賴 ,所以 的每個值都是極小點。