為甚麼在訓練誤差最小之前停止?
數據含雜訊時,持續降低訓練損失,最後可能連雜訊也擬合進去。在線性迴歸中,我們可以逐個方向精確計算這種權衡。但結論也有明確邊界:最佳停止時間依賴未知信號與雜訊,訓練輸入上的風險不必等於新輸入上的風險。
固定 ,設 ,其中 固定,,。下面的期望平方誤差公式不需要高斯(Gauss)分佈,也不需要雜訊座標獨立。全文都以設計矩陣為條件。設 ,取薄奇異值分解
記列向量為 ,令 ,。從 出發,用迭代 最小化 。約定 ,包括 的情況。其中 是非負整數,, 為最大奇異值。若目標函數另有 因子,允許的步長和公式都要相應調整。
定義 19.1.1
(擬合值風險)
固定設計預測風險定義為
期望針對訓練雜訊。這裏比較的是相同設計點上的擬合值與無雜訊均值;它既不是針對 的訓練損失,也不是新協變量上的預測誤差。
譜濾波及其風險
定理 19.1.2
(精確的偏差—方差分解)
在上述條件下,
因此 ,。僅憑兩個端點,並不能確定哪個中間時刻的風險最小。
證明
(在奇異座標中把迭代對角化)
令 。把更新式左乘 得
由等比求和,。所有更新都在 的生成空間內,第一式隨之成立。又因為 ,誤差在第 個方向的座標是
交叉項期望為零,且 。利用 的正交性即得風險公式。步長條件保證 ,從而得到極限。
證明透視
權衡出現在哪裏
三個假設各有分工。起點 使每個迭代都留在由 生成的行空間內,所以 條純量遞推描述了整個迭代。奇異值分解把更新解耦:每個座標 各自遵循乘數為 的一維遞推,等比求和把它精確解出。雜訊假設只在最後一步出現: 消去 與 的交叉項, 則使每個方向的方差同為 ,各方向可以直接相加而互不干擾。關鍵一步是在擬合值座標 而非參數座標中量度誤差,因此不會出現除以小 的情況;參數誤差的表現可以很不同。偏差平方項是尚未學到的信號,方差項是同一濾波因子 接納的訓練雜訊。步長條件只用於求極限。
若 ,則所有 :濾波因子 單調地從零增至一,奇異值較大的方向通常學得較快。在更寬的穩定步長範圍內,某些 為負,迭代會振盪;公式仍成立,但濾波因子可能超過一;有符號偏差會交替,方差也可能振盪,儘管偏差平方仍不增。迭代穩定並不意味著每一步都是收縮估計。
例題 19.1.3
(單一方向:插值可能增大風險)
取 ,,,,。則 ,且
在 時,風險分別為 、、。第一次更新保留一半信號,也只接納一半雜訊;最終擬合則複製全部雜訊。然而實際訓練損失 單調趨於零。因此僅憑訓練損失不能找到風險最小的時刻。
例題 19.1.4
(兩個以不同速度學習的方向)
設 、、、、,於是 、、。按約定 ,第一個方向對 的貢獻在 是 (全是偏差),在每個 也是 (全是方差):它一步便完全學到。第二個方向的貢獻是 ,其中
由於 ,而 隨 遞增,並在 與 之間越過 ,整數最小點在 ,此時 。兩個端點都給出 。
例題 19.1.5
(會振盪但穩定的步長)
取 、、、,它在穩定範圍 之內。則 ,:
偏差平方 遞減,但濾波因子 在大於一與小於一之間交替,所以方差項振盪;在 ,風險同時超過 和極限 。迭代穩定並不使每一步都成為收縮估計。
下面的互動圖對選定的設計與停止時間精確計算風險 (分為平方偏差與方差),並顯示哪個嶺參數能匹配各方向的濾波因子。
停止時間、偏差、方差與嶺回歸濾波因子
從 0 出發對奇異值為 s_j、信號坐標為 a_j 的設計運行梯度下降。風險 R_t 分為平方偏差 Σ q_j^{2t} a_j² / n 與方差 σ² Σ (1 − q_j^t)² / n。移動 t,觀察偏差下降而方差上升,再問哪個嶺參數 λ 能重現各方向的濾波因子。
下表列出若干時間的同樣數量;圖形沒有表格未述的內容。
實線: R_t · 虛線: 平方偏差 · 點線: 方差
| t | 平方偏差 | 方差 | 風險 R_t |
|---|---|---|---|
| 0 | 1 | 0 | 1 |
| 1 | 1/4 | 1/4 | 1/2 |
| 2 | 1/16 | 9/16 | 5/8 |
| 3 | 1/64 | 49/64 | 25/32 |
| 4 | 1/256 | 225/256 | 113/128 |
| 5 | 1/1024 | 961/1024 | 481/512 |
| 10 | 1/1048576 | 1046529/1048576 | 523265/524288 |
| 20 | ≈ 0.000000 | ≈ 0.999998 | ≈ 0.999998 |
| 50 | ≈ 0.000000 | ≈ 1.000000 | ≈ 1.000000 |
| 100 | ≈ 0.000000 | ≈ 1.000000 | ≈ 1.000000 |
| 200 | ≈ 0.000000 | ≈ 1.000000 | ≈ 1.000000 |
| ∞ | 0 | 1 | 1 |
| 方向 | 奇異值 s | 信號坐標 a | q_j = 1 − ηs_j² | 停止濾波因子 1 − q_j^t | 嶺回歸濾波因子 s_j²/(s_j²+λ) | 匹配的 λ_j = s_j²q_j^t/(1 − q_j^t) |
|---|---|---|---|---|---|---|
| 1 | 1 | 1 | 1/2 | 1/2 | 1/2 | 1 |
「≈」表示四捨五入的小數;其餘皆為精確分數。
- 步長 η
- 1/2
- 0 < η < 2/s₁²
- 是
- 所有 q_j ≥ 0(濾波因子保持在 [0, 1))
- 是
- 風險 R_t
- 1/2
- 平方偏差
- 1/4
- 方差
- 1/4
- R₀ = ‖Xθ*‖²/n
- 1
- R_∞ = rσ²/n
- 1
- t = 0 … 200 內的最小風險時間
- 1
- 該時間的風險
- 1/2
- λ 處的嶺回歸風險
- 1/2
- 整數 λ ∈ 0 … 20 的最小嶺回歸風險
- 1/2 (在 λ = 1)
- 存在一個嶺參數匹配所有方向
- 是
t = 1; R_t = 1/2; 平方偏差 = 1/4; 方差 = 1/4. 風險在中間時間最小:t = 1. 在此 t,一個嶺參數即可重現停止後的擬合。 在穩定範圍內的每個 η,訓練損失 ½‖Xθ_t − y‖² 都下降至零,因此無法憑它找出風險 R_t 最小的時間。
公式為何是這個形式
在坐標 j 上,更新為 b_{t+1} = q_j b_t + ηs_j u_jᵀy,b_0 = 0,故 s_j b_t = (1 − q_j^t) u_jᵀy,擬合值是數據坐標乘以 (1 − q_j^t)。
坐標 j 上的誤差是 −q_j^t a_j + (1 − q_j^t) u_jᵀε;平方並取期望,得 q_j^{2t} a_j² + σ²(1 − q_j^t)²。
嶺回歸的濾波因子是 s_j²/(s_j²+λ)。令它等於 1 − q_j^t 並求解,得 λ_j = s_j²q_j^t/(1 − q_j^t),它透過 s_j 與 q_j 而依賴於 j。
自我檢查
取 n = p = 1、s = 1、a = 1、σ² = 1、η = 1/2:R₀ = 1,R₁ = 1/2,R₂ = 5/8,R_∞ = 1,故最小風險在 t = 1。取 X = diag(1, 2)、η = 1/8、t = 1,濾波因子為 1/8 與 1/2,分別需要 λ = 7 與 λ = 4。
範圍:固定設計、均值為 0 且協方差為 σ²I 的噪聲,以及訓練輸入處擬合值的風險。它不提供可觀察的停止規則,也不涉及新輸入。
與嶺迴歸比較
對 ,嶺迴歸最小化 。在奇異座標下求解,擬合值的濾波因子為 ;提前停止使用 。當 ,兩者都抑制小奇異值方向,但定性的共同效果並不意味著存在一個共同參數使所有方向完全一致。
反例模式
一個停止時間不一定對應一個嶺參數
取 ,,。梯度濾波因子是 和 。嶺迴歸要匹配第一個,須滿足 ,即 ;要匹配第二個,須滿足 ,即 。因此不存在同時匹配兩個方向的單一 ;當數據在兩個方向上均非零時,擬合向量不同。 的零濾波只能在 時逼近; 的非零模態濾波則在 時逼近。
公式是理想化固定設計下的期望,不能直接給出可觀察的停止時間,因為 和 通常未知。實際規則需要驗證數據、雜訊模型或其他假設。用同一批觀測選擇停止時間會改變估計器,需要另行分析。在過參數化問題中, 在 的分量對這些輸入不可見,但可能影響新輸入的預測。
常見錯誤
(在訓練損失不再下降時才停止)
當 ,訓練損失 不增並趨於最小值,所以它永遠不會提示雜訊正被擬合。在單一方向例子中,訓練損失降至零,風險卻由 升回 。停止規則需要訓練損失不包含的資訊,例如保留的驗證數據。
常見錯誤
(重新縮放目標後仍沿用原步長範圍)
對 ,梯度是 ,乘數變為 ,穩定範圍是 。對平均形式的目標仍用 會使步長無謂地小;對求和形式的目標用 則會發散。
練習與解答
快速檢查
(在一維例子中,求使 最小的連續濾波值 ,並找出最佳整數 。)
把風險寫成濾波值 的函數。
解答 · 答案
配方得 ,故最優值為 。梯度濾波在 恰好達到它,所以整數時間中 最優。
快速檢查
(令 、、。更新穩定嗎?它的濾波因子屬於 嗎?)
計算 。
解答 · 答案
穩定,因為 ,且 的絕對值小於一。但 :第一次擬合越過目標。後續迭代在最小二乘擬合兩側交替並收斂。
快速檢查
(若 、、,求 的擬合向量,以及 的嶺擬合向量。)
是對角矩陣,奇異方向就是座標軸。
解答 · 答案
使用濾波因子 ,得 。嶺濾波因子為 ,得到 。匹配一個方向並不匹配另一個。
快速檢查
(設 ,。本節風險衡量甚麼?它能說明協變量 處的預測嗎?)
看得見 的哪些座標?
解答 · 答案
此時 ,固定設計風險衡量唯一觀測輸入處對零的估計誤差。第二個參數對 不可見;訓練設計沒有提供其數值的資訊。 處預測依賴該分量,所列固定設計風險不能控制它。