重新训练时什么会变?
模型可以把一个样本拟合得很好,却对新数据作出不可靠的预测。为研究这一差别,想象以独立抽取的训练数据集重复整个训练程序。在固定输入 x x x 处,所得预测会随训练数据改变。我们将平均预测误差分成三项,但结果取决于损失函数,以及哪些量互相独立。
令 D D D 为随机训练数据集,f ^ D ( x ) \widehat f_D(x) f D ( x ) 为固定 x x x 处所得的实数预测。对该输入的一个新响应,写 Y = f ( x ) + ε Y=f(x)+\varepsilon Y = f ( x ) + ε ,其中 f ( x ) = E [ Y ∣ X = x ] f(x)=\mathbb E[Y\mid X=x] f ( x ) = E [ Y ∣ X = x ] 、E [ ε ∣ X = x ] = 0 \mathbb E[\varepsilon\mid X=x]=0 E [ ε ∣ X = x ] = 0 ,且 Var ( ε ∣ X = x ) = σ 2 ( x ) \operatorname{Var}(\varepsilon\mid X=x)=\sigma^2(x) Var ( ε ∣ X = x ) = σ 2 ( x ) 。假设在此固定输入下测试响应的噪声与 D D D 独立,相关二阶矩有限。设 m ( x ) = E D [ f ^ D ( x ) ] m(x)=\mathbb E_D[\widehat f_D(x)] m ( x ) = E D [ f D ( x )] 。对 D D D 取期望描述的是假想重复训练样本的变化,而非单一已拟合模型内的预测变化。
对产生 f ^ D \widehat f_D f D 的训练程序,它在 x x x 处的偏差是 m ( x ) − f ( x ) m(x)-f(x) m ( x ) − f ( x ) ,即平均拟合预测与条件均值之差;它在 x x x 处的预测方差是 Var D ( f ^ D ( x ) ) = E D [ ( f ^ D ( x ) − m ( x ) ) 2 ] \operatorname{Var}_D\!\big(\widehat f_D(x)\big)=\mathbb E_D\big[(\widehat f_D(x)-m(x))^2\big] Var D ( f D ( x ) ) = E D [ ( f D ( x ) − m ( x ) ) 2 ] ,即拟合预测在不同训练集之间围绕 m ( x ) m(x) m ( x ) 的波动。两者都是程序与数据生成分布的性质,而不是某一个已拟合模型的性质。
分解公式
在上述条件下(固定输入 x x x 处的新响应 Y = f ( x ) + ε Y=f(x)+\varepsilon Y = f ( x ) + ε 与 D D D 独立,二阶矩有限),逐点期望平方预测误差为
E D , ε [ ( Y − f ^ D ( x ) ) 2 ] = σ 2 ( x ) + ( m ( x ) − f ( x ) ) 2 + Var D ( f ^ D ( x ) ) . \mathbb E_{D,\varepsilon}\big[(Y-\widehat f_D(x))^2\big]
=\sigma^2(x)+\big(m(x)-f(x)\big)^2+\operatorname{Var}_D\!\big(\widehat f_D(x)\big). E D , ε [ ( Y − f D ( x ) ) 2 ] = σ 2 ( x ) + ( m ( x ) − f ( x ) ) 2 + Var D ( f D ( x ) ) .
三项分别是新响应的噪声、偏差平方和预测方差。方差是相对于平均拟合预测 m ( x ) m(x) m ( x ) ,而非真实响应。无偏程序满足 m ( x ) = f ( x ) m(x)=f(x) m ( x ) = f ( x ) ,但方差不一定小。若预测的是新的带噪声响应而非条件均值,即使完全知道 f f f ,噪声项仍然存在。
写成
Y − f ^ D ( x ) = ε + A + B , A = f ( x ) − m ( x ) , B = m ( x ) − f ^ D ( x ) . Y-\widehat f_D(x)=\varepsilon+A+B,\qquad A=f(x)-m(x),\quad B=m(x)-\widehat f_D(x). Y − f D ( x ) = ε + A + B , A = f ( x ) − m ( x ) , B = m ( x ) − f D ( x ) . 其中 A A A 是常数;由 m ( x ) m(x) m ( x ) 的定义得 E [ B ] = 0 \mathbb E[B]=0 E [ B ] = 0 ,又 E [ ε ] = 0 \mathbb E[\varepsilon]=0 E [ ε ] = 0 。展开平方得
E [ ε 2 ] + A 2 + E [ B 2 ] + 2 A E [ ε ] + 2 A E [ B ] + 2 E [ ε B ] . \mathbb E[\varepsilon^2]+A^2+\mathbb E[B^2]+2A\,\mathbb E[\varepsilon]+2A\,\mathbb E[B]+2\,\mathbb E[\varepsilon B]. E [ ε 2 ] + A 2 + E [ B 2 ] + 2 A E [ ε ] + 2 A E [ B ] + 2 E [ εB ] . 含因子 A A A 的两项因 E [ ε ] = E [ B ] = 0 \mathbb E[\varepsilon]=\mathbb E[B]=0 E [ ε ] = E [ B ] = 0 而为零。由于 ε \varepsilon ε 与 D D D 独立,而 B B B 是 D D D 的函数,故 E [ ε B ] = E [ ε ] E [ B ] = 0 \mathbb E[\varepsilon B]=\mathbb E[\varepsilon]\,\mathbb E[B]=0 E [ εB ] = E [ ε ] E [ B ] = 0 。剩下 σ 2 ( x ) + A 2 + Var D ( f ^ D ( x ) ) \sigma^2(x)+A^2+\operatorname{Var}_D(\widehat f_D(x)) σ 2 ( x ) + A 2 + Var D ( f D ( x )) ,而 A 2 = ( m ( x ) − f ( x ) ) 2 A^2=(m(x)-f(x))^2 A 2 = ( m ( x ) − f ( x ) ) 2 。
证明透视
独立性用在哪里,中间项起什么作用 关键一步是插入 m ( x ) m(x) m ( x ) ,把预测误差拆成噪声、常数和中心化随机部分。中心化使三个交叉项中的两个自动消失,因为常数乘以均值为零的量,均值仍为零。新噪声与 D D D 的独立性只用了一次,就是 E [ ε B ] \mathbb E[\varepsilon B] E [ εB ] 。若被预测的响应与训练数据共享噪声,这一项就不为零,简洁的三项恒等式便不成立。二阶矩有限则保证上面所有期望存在。
若随机测试输入与整个训练数据集独立,且相关输入满足上述固定输入条件及相关期望有限,便可再对输入分布取平均。若测试输入与训练数据相依,须使用以测试输入为条件的训练分布并重新检查噪声假设。这不表示无须额外假设便能从单一数据集求出三项。
概念视角 几何
分解式即勾股定理 在以 E [ U V ] \mathbb E[UV] E [ U V ] 为内积的平方可积随机变量空间中,三个部分 ε \varepsilon ε 、A = f ( x ) − m ( x ) A=f(x)-m(x) A = f ( x ) − m ( x ) 与 B = m ( x ) − f ^ D ( x ) B=m(x)-\widehat f_D(x) B = m ( x ) − f D ( x ) 两两正交:ε \varepsilon ε 的均值为零且与 D D D 独立,A A A 是常数,B B B 的均值为零。因此 ∥ ε + A + B ∥ 2 = ∥ ε ∥ 2 + ∥ A ∥ 2 + ∥ B ∥ 2 \|\varepsilon+A+B\|^2=\|\varepsilon\|^2+\|A\|^2+\|B\|^2 ∥ ε + A + B ∥ 2 = ∥ ε ∥ 2 + ∥ A ∥ 2 + ∥ B ∥ 2 ,这就是分解式。证明只用到正交性,并不依赖任何分布形状。
收缩族例题
假设独立观测各自的均值为 μ = 2 \mu=2 μ = 2 、方差为 9 9 9 ,训练集有 n = 3 n=3 n = 3 个观测。以 Y ‾ \overline Y Y 表示样本均值,对预先固定的 a ∈ [ 0 , 1 ] a\in[0,1] a ∈ [ 0 , 1 ] 比较估计量 μ ^ a = a Y ‾ \widehat\mu_a=a\overline Y μ a = a Y 。样本均值的期望为 2 2 2 、方差为 9 / 3 = 3 9/3=3 9/3 = 3 ,故
Bias ( μ ^ a ) = 2 ( a − 1 ) , Var ( μ ^ a ) = 3 a 2 , E [ ( μ ^ a − μ ) 2 ] = 4 ( 1 − a ) 2 + 3 a 2 . \operatorname{Bias}(\widehat\mu_a)=2(a-1),\qquad
\operatorname{Var}(\widehat\mu_a)=3a^2,\qquad
\mathbb E[(\widehat\mu_a-\mu)^2]=4(1-a)^2+3a^2. Bias ( μ a ) = 2 ( a − 1 ) , Var ( μ a ) = 3 a 2 , E [( μ a − μ ) 2 ] = 4 ( 1 − a ) 2 + 3 a 2 . 此处收缩一半的估计量虽有偏,误差却较小。但对此均值,a = 0 a=0 a = 0 比不收缩更差;若 μ = 0 \mu=0 μ = 0 ,它的估计误差反而为零。因此不能仅因收缩降低方差便认定它一律最佳。
对 4 ( 1 − a ) 2 + 3 a 2 4(1-a)^2+3a^2 4 ( 1 − a ) 2 + 3 a 2 微分,可得知道真值时的最小化倍数 a = 4 / 7 a=4/7 a = 4/7 ,误差为 12 / 7 12/7 12/7 。这是理想化(已知真值 )的计算:一般最优值 a = μ 2 / ( μ 2 + 9 / 3 ) a=\mu^2/(\mu^2+9/3) a = μ 2 / ( μ 2 + 9/3 ) 使用未知的 μ \mu μ ,不能假装知道真均值而依公式选择。若用 μ ^ a \widehat\mu_a μ a 预测同一总体的一个新观测,由于新观测与训练样本独立,其期望平方预测误差是估计误差加 9 9 9 。
反例模式
收缩并不总是降低误差 命题:收缩把方差乘以 a 2 < 1 a^2\lt1 a 2 < 1 ,所以 a < 1 a\lt1 a < 1 的 a Y ‾ a\overline Y a Y 必定优于 Y ‾ \overline Y Y 。取上述 n = 3 n=3 n = 3 、方差 9 9 9 、a = 1 / 2 a=1/2 a = 1/2 ,但真均值为 μ = 10 \mu=10 μ = 10 。此时 Y ‾ \overline Y Y 的误差为 3 3 3 ,而 μ ^ 1 / 2 \widehat\mu_{1/2} μ 1/2 的偏差平方为 ( 10 ⋅ 1 2 ) 2 = 25 (10\cdot\tfrac12)^2=25 ( 10 ⋅ 2 1 ) 2 = 25 ,方差为 3 / 4 3/4 3/4 ,误差为 25.75 25.75 25.75 。即使 μ = 2 \mu=2 μ = 2 ,极端选择 a = 0 a=0 a = 0 的误差 4 4 4 也大于 3 3 3 。正确的说法是:对固定的 a ∈ ( 0 , 1 ) a\in(0,1) a ∈ ( 0 , 1 ) 和样本均值方差 v v v ,a Y ‾ a\overline Y a Y 的误差小于 Y ‾ \overline Y Y ,当且仅当 μ 2 < ( 1 + a ) v / ( 1 − a ) \mu^2\lt(1+a)v/(1-a) μ 2 < ( 1 + a ) v / ( 1 − a ) 。对 a = 1 / 2 a=1/2 a = 1/2 、v = 3 v=3 v = 3 ,条件是 μ 2 < 9 \mu^2\lt9 μ 2 < 9 ,在 μ = 2 \mu=2 μ = 2 时成立,在 μ = 10 \mu=10 μ = 10 时不成立。
同一个族也描述了固定 λ ≥ 0 \lambda\ge0 λ ≥ 0 的正则化目标 ∑ i = 1 n ( Y i − θ ) 2 + λ θ 2 \sum\limits_{i=1}^n(Y_i-\theta)^2+\lambda\theta^2 i = 1 ∑ n ( Y i − θ ) 2 + λ θ 2 。微分得 θ ^ = n Y ‾ / ( n + λ ) \widehat\theta=n\overline Y/(n+\lambda) θ = n Y / ( n + λ ) ,有限 λ \lambda λ 下倍数位于 ( 0 , 1 ] (0,1] ( 0 , 1 ] ;a = 0 a=0 a = 0 只在 λ → ∞ \lambda\to\infty λ → ∞ 时趋近。此惩罚向零收缩;改变目标或不惩罚截距会改变计算。此例只有截距,并非声称每个岭回归系数都有相同的单变量方差。
例题 10.1.4
(以倍数表示的惩罚及其两个极限)
取 n = 3 n=3 n = 3 、λ = 1 \lambda=1 λ = 1 ,倍数为 a = 3 / ( 3 + 1 ) = 3 / 4 a=3/(3+1)=3/4 a = 3/ ( 3 + 1 ) = 3/4 ,误差为 4 ( 1 / 4 ) 2 + 3 ( 3 / 4 ) 2 = 1 / 4 + 27 / 16 = 31 / 16 ≈ 1.94 4(1/4)^2+3(3/4)^2=1/4+27/16=31/16\approx1.94 4 ( 1/4 ) 2 + 3 ( 3/4 ) 2 = 1/4 + 27/16 = 31/16 ≈ 1.94 ,小于 3 3 3 。取 λ = 3 \lambda=3 λ = 3 时倍数为 1 / 2 1/2 1/2 ,误差为 7 / 4 7/4 7/4 ,与上表一致。在极限 λ = 0 \lambda=0 λ = 0 ,倍数为 1 1 1 ,误差为 3 3 3 ;当 λ → ∞ \lambda\to\infty λ → ∞ ,倍数趋近 0 0 0 ,误差趋近 4 4 4 。因此误差并不随 λ \lambda λ 单调:中等的 λ \lambda λ 使它低于 3 3 3 ,λ \lambda λ 很大时又升到 3 3 3 以上(例如 λ = 21 \lambda=21 λ = 21 给出 a = 1 / 8 a=1/8 a = 1/8 ,误差 4 ( 49 / 64 ) + 3 / 64 = 199 / 64 > 3 4(49/64)+3/64=199/64\gt3 4 ( 49/64 ) + 3/64 = 199/64 > 3 ;误差超过 3 3 3 当且仅当 a < 1 / 7 a\lt1/7 a < 1/7 )。
设在固定的 x x x ,条件均值为 f ( x ) = 5 f(x)=5 f ( x ) = 5 ,噪声方差为 σ 2 ( x ) = 4 \sigma^2(x)=4 σ 2 ( x ) = 4 。程序一有 m ( x ) = 5 m(x)=5 m ( x ) = 5 、预测方差 9 9 9 ;程序二有 m ( x ) = 4 m(x)=4 m ( x ) = 4 、预测方差 1 1 1 。程序一无偏,但期望平方预测误差为 4 + 0 + 9 = 13 4+0+9=13 4 + 0 + 9 = 13 。程序二有偏,偏差平方为 1 1 1 ,误差为 4 + 1 + 1 = 6 4+1+1=6 4 + 1 + 1 = 6 。即使某程序有 m ( x ) = f ( x ) m(x)=f(x) m ( x ) = f ( x ) 且方差为 0 0 0 ,对新的带噪声响应也不可能低于 σ 2 ( x ) = 4 \sigma^2(x)=4 σ 2 ( x ) = 4 ,所以噪声项是任何程序选择都消除不了的边界情形。
选择与评估程序
实际上倍数或惩罚通常由数据选择,因而本身也是随机的;一般不能把数据选出的 a a a 直接代入固定 a a a 的方差公式。应评估整个选择程序,包括在每个验证折内只用训练部分拟合预处理步骤。保留独立测试集作最终评估,不要反复利用它调参。交叉验证在其分割与数据假设下估计程序表现;它不会替单一拟合模型证明精确的噪声、偏差及方差分解。
公式 Var ( μ ^ a ) = 3 a 2 \operatorname{Var}(\widehat\mu_a)=3a^2 Var ( μ a ) = 3 a 2 针对的是看到数据之前就固定的倍数。若把 a = μ 2 / ( μ 2 + 3 ) a=\mu^2/(\mu^2+3) a = μ 2 / ( μ 2 + 3 ) 中未知的 μ \mu μ 换成 Y ‾ \overline Y Y ,倍数 a = Y ‾ 2 / ( Y ‾ 2 + 3 ) a=\overline Y^2/(\overline Y^2+3) a = Y 2 / ( Y 2 + 3 ) 本身就是随机的,并且依赖同一个样本。此时 a Y ‾ a\overline Y a Y 的偏差和方差不再是 2 ( a − 1 ) 2(a-1) 2 ( a − 1 ) 与 3 a 2 3a^2 3 a 2 ,必须对整个程序重新计算。
以 n = 3 n=3 n = 3 、方差 9 9 9 的样本均值预测每个训练观测。则 Y 1 − Y ‾ = 2 3 Y 1 − 1 3 Y 2 − 1 3 Y 3 Y_1-\overline Y=\tfrac23Y_1-\tfrac13Y_2-\tfrac13Y_3 Y 1 − Y = 3 2 Y 1 − 3 1 Y 2 − 3 1 Y 3 的方差为 9 ( 4 9 + 1 9 + 1 9 ) = 6 9(\tfrac49+\tfrac19+\tfrac19)=6 9 ( 9 4 + 9 1 + 9 1 ) = 6 ,所以训练点上的期望平方误差是 6 6 6 ;对独立的新响应则是 9 + 3 = 12 9+3=12 9 + 3 = 12 。训练值较小,是因为 Y 1 Y_1 Y 1 同时出现在两边,交叉项不为零。
此分解不表示训练误差等于测试误差,也不表示偏差与方差必定反向变化,或平方损失适合所有任务。此外,证明需要新测试响应的独立性;若直接评估训练所用的观测,交叉项可能不为零。
练习
快速检查
(真均值固定为 μ \mu μ ,样本均值方差为 v > 0 v>0 v > 0 。对固定实数 a a a 推导 a Y ‾ a\overline Y a Y 的风险及最小化倍数;μ = 0 \mu=0 μ = 0 时会怎样?)
解答 · 引导解答 偏差为 ( a − 1 ) μ (a-1)\mu ( a − 1 ) μ ,方差为 a 2 v a^2v a 2 v ,所以风险为 ( 1 − a ) 2 μ 2 + a 2 v (1-a)^2\mu^2+a^2v ( 1 − a ) 2 μ 2 + a 2 v 。其导数 − 2 ( 1 − a ) μ 2 + 2 a v -2(1-a)\mu^2+2av − 2 ( 1 − a ) μ 2 + 2 a v 在 a = μ 2 / ( μ 2 + v ) a=\mu^2/(\mu^2+v) a = μ 2 / ( μ 2 + v ) 处为零,而风险是 a a a 的凸函数,所以这是最小化倍数。若 μ = 0 \mu=0 μ = 0 ,最小化倍数为 a = 0 a=0 a = 0 ,最小风险为 0 0 0 :最佳倍数完全舍弃数据,这只是因为真均值恰为零。
快速检查
(在例题中,a = 1 / 2 a=1/2 a = 1/2 时预测一个独立新响应的期望平方误差是多少?为什么与估计误差不同?)
解答 · 答案 估计误差为 7 / 4 7/4 7/4 ,噪声方差为 9 9 9 ,所以期望平方预测误差为 7 / 4 + 9 = 43 / 4 7/4+9=43/4 7/4 + 9 = 43/4 。两者不同,是因为新响应带有自己的噪声,任何均值估计量都无法预测它。
快速检查
(为什么在划分验证折之前,先用全部数据拟合一次尺度变换,可能破坏拟合与验证的预期分离?)
解答 · 答案 拟合出的尺度于是依赖验证观测,每个验证折都影响了用来评估它的模型。验证误差不再是在独立于拟合的数据上的误差,往往偏于乐观。尺度变换应只用每一折的训练部分来拟合。