重新訓練時甚麼會變?
模型可以把一個樣本擬合得很好,卻對新數據作出不可靠的預測。為研究這分別,想像以獨立抽取的訓練數據集重複整個訓練程序。在固定輸入 x x x 處,所得預測會隨訓練數據改變。我們將平均預測誤差分成三項,但結果取決於損失函數,以及哪些量互相獨立。
令 D D D 為隨機訓練數據集,f ^ D ( x ) \widehat f_D(x) f D ( x ) 為固定 x x x 處所得的實數預測。對該輸入的一個新反應,寫 Y = f ( x ) + ε Y=f(x)+\varepsilon Y = f ( x ) + ε ,其中 f ( x ) = E [ Y ∣ X = x ] f(x)=\mathbb E[Y\mid X=x] f ( x ) = E [ Y ∣ X = x ] 、E [ ε ∣ X = x ] = 0 \mathbb E[\varepsilon\mid X=x]=0 E [ ε ∣ X = x ] = 0 ,且 Var ( ε ∣ X = x ) = σ 2 ( x ) \operatorname{Var}(\varepsilon\mid X=x)=\sigma^2(x) Var ( ε ∣ X = x ) = σ 2 ( x ) 。假設在此固定輸入下測試反應的噪音與 D D D 獨立,相關二階矩有限。設 m ( x ) = E D [ f ^ D ( x ) ] m(x)=\mathbb E_D[\widehat f_D(x)] m ( x ) = E D [ f D ( x )] 。對 D D D 取期望描述的是假想重複訓練樣本的變化,而非單一已擬合模型內的預測變化。
對產生 f ^ D \widehat f_D f D 的訓練程序,它在 x x x 處的偏差是 m ( x ) − f ( x ) m(x)-f(x) m ( x ) − f ( x ) ,即平均擬合預測與條件均值之差;它在 x x x 處的預測方差是 Var D ( f ^ D ( x ) ) = E D [ ( f ^ D ( x ) − m ( x ) ) 2 ] \operatorname{Var}_D\!\big(\widehat f_D(x)\big)=\mathbb E_D\big[(\widehat f_D(x)-m(x))^2\big] Var D ( f D ( x ) ) = E D [ ( f D ( x ) − m ( x ) ) 2 ] ,即擬合預測在不同訓練集之間圍繞 m ( x ) m(x) m ( x ) 的波動。兩者都是程序與數據生成分佈的性質,而不是某一個已擬合模型的性質。
分解公式
在上述條件下(固定輸入 x x x 處的新反應 Y = f ( x ) + ε Y=f(x)+\varepsilon Y = f ( x ) + ε 與 D D D 獨立,二階矩有限),逐點期望平方預測誤差為
E D , ε [ ( Y − f ^ D ( x ) ) 2 ] = σ 2 ( x ) + ( m ( x ) − f ( x ) ) 2 + Var D ( f ^ D ( x ) ) . \mathbb E_{D,\varepsilon}\big[(Y-\widehat f_D(x))^2\big]
=\sigma^2(x)+\big(m(x)-f(x)\big)^2+\operatorname{Var}_D\!\big(\widehat f_D(x)\big). E D , ε [ ( Y − f D ( x ) ) 2 ] = σ 2 ( x ) + ( m ( x ) − f ( x ) ) 2 + Var D ( f D ( x ) ) .
三項分別是新反應的噪音、偏差平方和預測方差。方差是相對於平均擬合預測 m ( x ) m(x) m ( x ) ,而非真實反應。無偏程序滿足 m ( x ) = f ( x ) m(x)=f(x) m ( x ) = f ( x ) ,但方差不一定小。若預測的是新的帶噪音反應而非條件均值,即使完全知道 f f f ,噪音項仍然存在。
寫成
Y − f ^ D ( x ) = ε + A + B , A = f ( x ) − m ( x ) , B = m ( x ) − f ^ D ( x ) . Y-\widehat f_D(x)=\varepsilon+A+B,\qquad A=f(x)-m(x),\quad B=m(x)-\widehat f_D(x). Y − f D ( x ) = ε + A + B , A = f ( x ) − m ( x ) , B = m ( x ) − f D ( x ) . 其中 A A A 是常數;由 m ( x ) m(x) m ( x ) 的定義得 E [ B ] = 0 \mathbb E[B]=0 E [ B ] = 0 ,又 E [ ε ] = 0 \mathbb E[\varepsilon]=0 E [ ε ] = 0 。展開平方得
E [ ε 2 ] + A 2 + E [ B 2 ] + 2 A E [ ε ] + 2 A E [ B ] + 2 E [ ε B ] . \mathbb E[\varepsilon^2]+A^2+\mathbb E[B^2]+2A\,\mathbb E[\varepsilon]+2A\,\mathbb E[B]+2\,\mathbb E[\varepsilon B]. E [ ε 2 ] + A 2 + E [ B 2 ] + 2 A E [ ε ] + 2 A E [ B ] + 2 E [ εB ] . 含因子 A A A 的兩項因 E [ ε ] = E [ B ] = 0 \mathbb E[\varepsilon]=\mathbb E[B]=0 E [ ε ] = E [ B ] = 0 而為零。由於 ε \varepsilon ε 與 D D D 獨立,而 B B B 是 D D D 的函數,故 E [ ε B ] = E [ ε ] E [ B ] = 0 \mathbb E[\varepsilon B]=\mathbb E[\varepsilon]\,\mathbb E[B]=0 E [ εB ] = E [ ε ] E [ B ] = 0 。餘下 σ 2 ( x ) + A 2 + Var D ( f ^ D ( x ) ) \sigma^2(x)+A^2+\operatorname{Var}_D(\widehat f_D(x)) σ 2 ( x ) + A 2 + Var D ( f D ( x )) ,而 A 2 = ( m ( x ) − f ( x ) ) 2 A^2=(m(x)-f(x))^2 A 2 = ( m ( x ) − f ( x ) ) 2 。
證明透視
獨立性用在哪裏,中間項有甚麼作用 關鍵一步是插入 m ( x ) m(x) m ( x ) ,把預測誤差拆成噪音、常數和中心化隨機部分。中心化使三個交叉項中的兩個自動消失,因為常數乘以均值為零的量,均值仍為零。新噪音與 D D D 的獨立性只用了一次,就是 E [ ε B ] \mathbb E[\varepsilon B] E [ εB ] 。若被預測的反應與訓練數據共享噪音,這一項便不為零,簡潔的三項恆等式就不成立。二階矩有限則保證上面所有期望存在。
若隨機測試輸入與整個訓練數據集獨立,且相關輸入滿足上述固定輸入條件及相關期望有限,便可再對輸入分佈取平均。若測試輸入與訓練數據相依,須使用以測試輸入為條件的訓練分佈並重新檢查噪音假設。這不表示無須額外假設便能從單一數據集求出三項。
概念視角 幾何
分解式即畢氏定理 在以 E [ U V ] \mathbb E[UV] E [ U V ] 為內積的平方可積隨機變量空間中,三個部分 ε \varepsilon ε 、A = f ( x ) − m ( x ) A=f(x)-m(x) A = f ( x ) − m ( x ) 與 B = m ( x ) − f ^ D ( x ) B=m(x)-\widehat f_D(x) B = m ( x ) − f D ( x ) 兩兩正交:ε \varepsilon ε 的均值為零且與 D D D 獨立,A A A 是常數,B B B 的均值為零。因此 ∥ ε + A + B ∥ 2 = ∥ ε ∥ 2 + ∥ A ∥ 2 + ∥ B ∥ 2 \|\varepsilon+A+B\|^2=\|\varepsilon\|^2+\|A\|^2+\|B\|^2 ∥ ε + A + B ∥ 2 = ∥ ε ∥ 2 + ∥ A ∥ 2 + ∥ B ∥ 2 ,這就是分解式。證明只用到正交性,並不依賴任何分佈形狀。
收縮族例題
假設獨立觀測各自的均值為 μ = 2 \mu=2 μ = 2 、方差為 9 9 9 ,訓練集有 n = 3 n=3 n = 3 個觀測。以 Y ‾ \overline Y Y 表示樣本均值,對預先固定的 a ∈ [ 0 , 1 ] a\in[0,1] a ∈ [ 0 , 1 ] 比較估計量 μ ^ a = a Y ‾ \widehat\mu_a=a\overline Y μ a = a Y 。樣本均值的期望為 2 2 2 、方差為 9 / 3 = 3 9/3=3 9/3 = 3 ,故
Bias ( μ ^ a ) = 2 ( a − 1 ) , Var ( μ ^ a ) = 3 a 2 , E [ ( μ ^ a − μ ) 2 ] = 4 ( 1 − a ) 2 + 3 a 2 . \operatorname{Bias}(\widehat\mu_a)=2(a-1),\qquad
\operatorname{Var}(\widehat\mu_a)=3a^2,\qquad
\mathbb E[(\widehat\mu_a-\mu)^2]=4(1-a)^2+3a^2. Bias ( μ a ) = 2 ( a − 1 ) , Var ( μ a ) = 3 a 2 , E [( μ a − μ ) 2 ] = 4 ( 1 − a ) 2 + 3 a 2 . 此處收縮一半的估計量雖有偏,誤差卻較小。但對此均值,a = 0 a=0 a = 0 比不收縮更差;若 μ = 0 \mu=0 μ = 0 ,它的估計誤差反而為零。因此不能僅因收縮降低方差便認定它一律最佳。
對 4 ( 1 − a ) 2 + 3 a 2 4(1-a)^2+3a^2 4 ( 1 − a ) 2 + 3 a 2 微分,可得知道真值時的最小化倍數 a = 4 / 7 a=4/7 a = 4/7 ,誤差為 12 / 7 12/7 12/7 。這是預知真值 的計算:一般最優值 a = μ 2 / ( μ 2 + 9 / 3 ) a=\mu^2/(\mu^2+9/3) a = μ 2 / ( μ 2 + 9/3 ) 使用未知的 μ \mu μ ,不能假裝知道真均值而依公式選擇。若用 μ ^ a \widehat\mu_a μ a 預測同一總體的一個新觀測,由於新觀測與訓練樣本獨立,其期望平方預測誤差是估計誤差加 9 9 9 。
反例模式
收縮並不總是降低誤差 命題:收縮把方差乘以 a 2 < 1 a^2\lt1 a 2 < 1 ,所以 a < 1 a\lt1 a < 1 的 a Y ‾ a\overline Y a Y 必定優於 Y ‾ \overline Y Y 。取上述 n = 3 n=3 n = 3 、方差 9 9 9 、a = 1 / 2 a=1/2 a = 1/2 ,但真均值為 μ = 10 \mu=10 μ = 10 。此時 Y ‾ \overline Y Y 的誤差為 3 3 3 ,而 μ ^ 1 / 2 \widehat\mu_{1/2} μ 1/2 的偏差平方為 ( 10 ⋅ 1 2 ) 2 = 25 (10\cdot\tfrac12)^2=25 ( 10 ⋅ 2 1 ) 2 = 25 ,方差為 3 / 4 3/4 3/4 ,誤差為 25.75 25.75 25.75 。即使 μ = 2 \mu=2 μ = 2 ,極端選擇 a = 0 a=0 a = 0 的誤差 4 4 4 也大於 3 3 3 。正確的說法是:對固定的 a ∈ ( 0 , 1 ) a\in(0,1) a ∈ ( 0 , 1 ) 和樣本均值方差 v v v ,a Y ‾ a\overline Y a Y 的誤差小於 Y ‾ \overline Y Y ,當且僅當 μ 2 < ( 1 + a ) v / ( 1 − a ) \mu^2\lt(1+a)v/(1-a) μ 2 < ( 1 + a ) v / ( 1 − a ) 。對 a = 1 / 2 a=1/2 a = 1/2 、v = 3 v=3 v = 3 ,條件是 μ 2 < 9 \mu^2\lt9 μ 2 < 9 ,在 μ = 2 \mu=2 μ = 2 時成立,在 μ = 10 \mu=10 μ = 10 時不成立。
同一個族也描述了固定 λ ≥ 0 \lambda\ge0 λ ≥ 0 的正則化目標 ∑ i = 1 n ( Y i − θ ) 2 + λ θ 2 \sum\limits_{i=1}^n(Y_i-\theta)^2+\lambda\theta^2 i = 1 ∑ n ( Y i − θ ) 2 + λ θ 2 。微分得 θ ^ = n Y ‾ / ( n + λ ) \widehat\theta=n\overline Y/(n+\lambda) θ = n Y / ( n + λ ) ,有限 λ \lambda λ 下倍數位於 ( 0 , 1 ] (0,1] ( 0 , 1 ] ;a = 0 a=0 a = 0 只在 λ → ∞ \lambda\to\infty λ → ∞ 時趨近。此懲罰向零收縮;改變目標或不懲罰截距會改變計算。此例只有截距,並非聲稱每個嶺回歸係數都有相同的單變量方差。
例題 10.1.4
(以倍數表示的懲罰及其兩個極限)
取 n = 3 n=3 n = 3 、λ = 1 \lambda=1 λ = 1 ,倍數為 a = 3 / ( 3 + 1 ) = 3 / 4 a=3/(3+1)=3/4 a = 3/ ( 3 + 1 ) = 3/4 ,誤差為 4 ( 1 / 4 ) 2 + 3 ( 3 / 4 ) 2 = 1 / 4 + 27 / 16 = 31 / 16 ≈ 1.94 4(1/4)^2+3(3/4)^2=1/4+27/16=31/16\approx1.94 4 ( 1/4 ) 2 + 3 ( 3/4 ) 2 = 1/4 + 27/16 = 31/16 ≈ 1.94 ,小於 3 3 3 。取 λ = 3 \lambda=3 λ = 3 時倍數為 1 / 2 1/2 1/2 ,誤差為 7 / 4 7/4 7/4 ,與上表一致。在極限 λ = 0 \lambda=0 λ = 0 ,倍數為 1 1 1 ,誤差為 3 3 3 ;當 λ → ∞ \lambda\to\infty λ → ∞ ,倍數趨近 0 0 0 ,誤差趨近 4 4 4 。因此誤差並不隨 λ \lambda λ 單調:中等的 λ \lambda λ 使它低於 3 3 3 ,λ \lambda λ 很大時又升到 3 3 3 以上(例如 λ = 21 \lambda=21 λ = 21 給出 a = 1 / 8 a=1/8 a = 1/8 ,誤差 4 ( 49 / 64 ) + 3 / 64 = 199 / 64 > 3 4(49/64)+3/64=199/64\gt3 4 ( 49/64 ) + 3/64 = 199/64 > 3 ;誤差超過 3 3 3 當且僅當 a < 1 / 7 a\lt1/7 a < 1/7 )。
設在固定的 x x x ,條件均值為 f ( x ) = 5 f(x)=5 f ( x ) = 5 ,噪音方差為 σ 2 ( x ) = 4 \sigma^2(x)=4 σ 2 ( x ) = 4 。程序一有 m ( x ) = 5 m(x)=5 m ( x ) = 5 、預測方差 9 9 9 ;程序二有 m ( x ) = 4 m(x)=4 m ( x ) = 4 、預測方差 1 1 1 。程序一無偏,但期望平方預測誤差為 4 + 0 + 9 = 13 4+0+9=13 4 + 0 + 9 = 13 。程序二有偏,偏差平方為 1 1 1 ,誤差為 4 + 1 + 1 = 6 4+1+1=6 4 + 1 + 1 = 6 。即使某程序有 m ( x ) = f ( x ) m(x)=f(x) m ( x ) = f ( x ) 且方差為 0 0 0 ,對新的帶噪音反應也不可能低於 σ 2 ( x ) = 4 \sigma^2(x)=4 σ 2 ( x ) = 4 ,所以噪音項是任何程序選擇都消除不了的邊界情形。
選擇與評估程序
實際上倍數或懲罰通常由數據選擇,因而本身也是隨機的;一般不能把數據選出的 a a a 直接代入固定 a a a 的方差公式。應評估整個選擇程序,包括在每個驗證折內只用訓練部分擬合預處理步驟。保留獨立測試集作最終評估,不要反覆利用它調參。交叉驗證在其分割與數據假設下估計程序表現;它不會替單一擬合模型證明精確的噪音、偏差及方差分解。
公式 Var ( μ ^ a ) = 3 a 2 \operatorname{Var}(\widehat\mu_a)=3a^2 Var ( μ a ) = 3 a 2 針對的是看到數據之前就固定的倍數。若把 a = μ 2 / ( μ 2 + 3 ) a=\mu^2/(\mu^2+3) a = μ 2 / ( μ 2 + 3 ) 中未知的 μ \mu μ 換成 Y ‾ \overline Y Y ,倍數 a = Y ‾ 2 / ( Y ‾ 2 + 3 ) a=\overline Y^2/(\overline Y^2+3) a = Y 2 / ( Y 2 + 3 ) 本身就是隨機的,並且依賴同一個樣本。此時 a Y ‾ a\overline Y a Y 的偏差和方差不再是 2 ( a − 1 ) 2(a-1) 2 ( a − 1 ) 與 3 a 2 3a^2 3 a 2 ,必須對整個程序重新計算。
以 n = 3 n=3 n = 3 、方差 9 9 9 的樣本均值預測每個訓練觀測。則 Y 1 − Y ‾ = 2 3 Y 1 − 1 3 Y 2 − 1 3 Y 3 Y_1-\overline Y=\tfrac23Y_1-\tfrac13Y_2-\tfrac13Y_3 Y 1 − Y = 3 2 Y 1 − 3 1 Y 2 − 3 1 Y 3 的方差為 9 ( 4 9 + 1 9 + 1 9 ) = 6 9(\tfrac49+\tfrac19+\tfrac19)=6 9 ( 9 4 + 9 1 + 9 1 ) = 6 ,所以訓練點上的期望平方誤差是 6 6 6 ;對獨立的新反應則是 9 + 3 = 12 9+3=12 9 + 3 = 12 。訓練值較小,是因為 Y 1 Y_1 Y 1 同時出現在兩邊,交叉項不為零。
此分解不表示訓練誤差等於測試誤差,也不表示偏差與方差必定反向變化,或平方損失適合所有任務。此外,證明需要新測試反應的獨立性;若直接評估訓練所用的觀測,交叉項可能不為零。
練習
快速檢查
(真均值固定為 μ \mu μ ,樣本均值方差為 v > 0 v>0 v > 0 。對固定實數 a a a 推導 a Y ‾ a\overline Y a Y 的風險及最小化倍數;μ = 0 \mu=0 μ = 0 時會怎樣?)
解答 · 引導解答 偏差為 ( a − 1 ) μ (a-1)\mu ( a − 1 ) μ ,方差為 a 2 v a^2v a 2 v ,所以風險為 ( 1 − a ) 2 μ 2 + a 2 v (1-a)^2\mu^2+a^2v ( 1 − a ) 2 μ 2 + a 2 v 。其導數 − 2 ( 1 − a ) μ 2 + 2 a v -2(1-a)\mu^2+2av − 2 ( 1 − a ) μ 2 + 2 a v 在 a = μ 2 / ( μ 2 + v ) a=\mu^2/(\mu^2+v) a = μ 2 / ( μ 2 + v ) 處為零,而風險是 a a a 的凸函數,所以這是最小化倍數。若 μ = 0 \mu=0 μ = 0 ,最小化倍數為 a = 0 a=0 a = 0 ,最小風險為 0 0 0 :最佳倍數完全捨棄數據,這只是因為真均值恰為零。
快速檢查
(在例題中,a = 1 / 2 a=1/2 a = 1/2 時預測一個獨立新反應的期望平方誤差是多少?為何與估計誤差不同?)
解答 · 答案 估計誤差為 7 / 4 7/4 7/4 ,噪音方差為 9 9 9 ,所以期望平方預測誤差為 7 / 4 + 9 = 43 / 4 7/4+9=43/4 7/4 + 9 = 43/4 。兩者不同,是因為新反應帶有自己的噪音,任何均值估計量都無法預測它。
快速檢查
(為何在劃分驗證折之前,先用全部數據擬合一次尺度變換,可能破壞擬合與驗證的預期分離?)
解答 · 答案 擬合出的尺度於是依賴驗證觀測,每個驗證折都影響了用來評估它的模型。驗證誤差不再是在獨立於擬合的數據上的誤差,往往偏於樂觀。尺度變換應只用每一折的訓練部分來擬合。