前面的笔记把高斯(Gauss)核用作平滑工具。例如,在均值漂移中,点沿平滑曲面的梯度上升。本节把这一曲面看作未知密度的统计估计量 ,讨论三个问题:估计结果是否确为密度?固定样本量下,它的精确均值和方差是什么?带宽 h h h 如何权衡偏差与方差?
设定与基本假设
设 X 1 , … , X n X_1,\dots,X_n X 1 , … , X n 独立同分布,在 R \mathbb{R} R 上具有勒贝格(Lebesgue)密度 f f f ,其中 n ≥ 1 n\ge 1 n ≥ 1 。固定一个不依赖数据的带宽 h > 0 h>0 h > 0 。
满足 K ≥ 0 K\ge 0 K ≥ 0 和 ∫ K ( u ) d u = 1 \int K(u)\,du=1 ∫ K ( u ) d u = 1 的 Borel 可测函数 K K K 称为核函数 。对带宽 h > 0 h>0 h > 0 ,核密度估计量 定义为
K h ( t ) = 1 h K ( t h ) , f ^ h ( x ) = 1 n ∑ i = 1 n K h ( x − X i ) . K_h(t)=\frac{1}{h}K\!\left(\frac{t}{h}\right),\qquad
\hat f_h(x)=\frac{1}{n}\sum_{i=1}^n K_h(x-X_i). K h ( t ) = h 1 K ( h t ) , f ^ h ( x ) = n 1 i = 1 ∑ n K h ( x − X i ) .
每个观测值都贡献一个总质量为 1 / n 1/n 1/ n 、以 X i X_i X i 为中心的凸起。带宽 h h h 决定凸起的宽度。
为保证下文的逐点矩有限,假设:
(A1) f f f 有界,例如 f ≤ M f\le M f ≤ M ;
(A2) R ( K ) = ∫ K ( u ) 2 d u < ∞ R(K)=\int K(u)^2\,du\lt\infty R ( K ) = ∫ K ( u ) 2 d u < ∞ 。
有界核自动满足 (A2),因为 K 2 ≤ ( sup K ) K K^2\le (\sup K)\,K K 2 ≤ ( sup K ) K 。
密度值不是概率。对连续型 X X X ,P ( X = x ) = 0 P(X=x)=0 P ( X = x ) = 0 。f ^ h ( x ) \hat f_h(x) f ^ h ( x ) 估计的是单位长度上的概率:对小 δ \delta δ ,大致有 P ( x < X ≤ x + δ ) ≈ f ( x ) δ P(x\lt X\le x+\delta)\approx f(x)\,\delta P ( x < X ≤ x + δ ) ≈ f ( x ) δ 。
密度高度不必小于或等于 1 1 1 。例如 [ 0 , 0.1 ] [0,0.1] [ 0 , 0.1 ] 上的均匀密度在那里等于 10 10 10 。
密度高度带有单位。若长度由千米改以米记录,每个密度值除以 1000 1000 1000 ,带宽 h h h 也必须相应换算。
估计结果是概率密度
对任意实际观测到的样本 x 1 , … , x n x_1,\dots,x_n x 1 , … , x n 及任意 h > 0 h>0 h > 0 ,函数 f ^ h \hat f_h f ^ h 非负,且 ∫ R f ^ h ( x ) d x = 1 \int_{\mathbb{R}}\hat f_h(x)\,dx=1 ∫ R f ^ h ( x ) d x = 1 。
每一项 K h ( x − x i ) K_h(x-x_i) K h ( x − x i ) 都非负,因此估计值非负。计算积分时固定 i i i ,令 u = ( x − x i ) / h u=(x-x_i)/h u = ( x − x i ) / h ,于是 d x = h d u dx=h\,du d x = h d u :
∫ K h ( x − x i ) d x = ∫ 1 h K ( u ) h d u = 1. \int K_h(x-x_i)\,dx=\int \frac{1}{h}K(u)\,h\,du=1. ∫ K h ( x − x i ) d x = ∫ h 1 K ( u ) h d u = 1. 求和只有有限项,故可逐项积分,得到 ∫ f ^ h = 1 n ∑ i = 1 n 1 = 1 \int\hat f_h=\frac1n\sum\limits_{i=1}^n 1=1 ∫ f ^ h = n 1 i = 1 ∑ n 1 = 1 。
这里没有用到概率:结论是确定性的。即使带宽由数据选出,只要每个实际取到的带宽仍为正,结论仍成立。
概念视角 算法
把估计看成抽取一个点的程序 对已实现的样本,f ^ h \hat f_h f ^ h 恰好是 x I + h V x_I+hV x I + hV 的密度,其中 I I I 在 { 1 , … , n } \{1,\dots,n\} { 1 , … , n } 上均匀分布,V ∼ K V\sim K V ∼ K 与 I I I 独立:先随机选一个观测值,再加上 h h h 乘以一个核抽样值作为扰动。给定 I = i I=i I = i 时密度为 K h ( x − x i ) K_h(x-x_i) K h ( x − x i ) ,对 i i i 取平均便得到 f ^ h \hat f_h f ^ h 。于是非负性与归一化自动成立,同一描述还给出了从估计中模拟的方法。
有限样本下的精确均值与方差
在 (A1)–(A2) 下,对每个 x ∈ R x\in\mathbb{R} x ∈ R 、每个 n ≥ 1 n\ge1 n ≥ 1 和每个固定的 h > 0 h>0 h > 0 ,
E [ f ^ h ( x ) ] = ∫ K ( u ) f ( x − h u ) d u , \mathbb{E}[\hat f_h(x)]=\int K(u)\,f(x-hu)\,du, E [ f ^ h ( x )] = ∫ K ( u ) f ( x − h u ) d u , Var [ f ^ h ( x ) ] = 1 n { 1 h ∫ K ( u ) 2 f ( x − h u ) d u − [ ∫ K ( u ) f ( x − h u ) d u ] 2 } . \operatorname{Var}[\hat f_h(x)]=\frac1n\left\{\frac1h\int K(u)^2 f(x-hu)\,du-\left[\int K(u)f(x-hu)\,du\right]^2\right\}. Var [ f ^ h ( x )] = n 1 { h 1 ∫ K ( u ) 2 f ( x − h u ) d u − [ ∫ K ( u ) f ( x − h u ) d u ] 2 } .
记 Y i = K h ( x − X i ) Y_i=K_h(x-X_i) Y i = K h ( x − X i ) 。由于 X i X_i X i 独立同分布且 h h h 固定,Y i Y_i Y i 也独立同分布。
单项的均值。 代入 y = x − h u y=x-hu y = x − h u ,于是 d y = − h d u dy=-h\,du d y = − h d u ,积分上下限反向:
E Y 1 = ∫ 1 h K ( x − y h ) f ( y ) d y = ∫ K ( u ) f ( x − h u ) d u ≤ M . \mathbb{E}Y_1=\int \frac1h K\!\left(\frac{x-y}{h}\right)f(y)\,dy=\int K(u)f(x-hu)\,du\le M. E Y 1 = ∫ h 1 K ( h x − y ) f ( y ) d y = ∫ K ( u ) f ( x − h u ) d u ≤ M . 二阶矩。 同样代换可得
E Y 1 2 = ∫ 1 h 2 K ( x − y h ) 2 f ( y ) d y = 1 h ∫ K ( u ) 2 f ( x − h u ) d u ≤ M R ( K ) h < ∞ . \mathbb{E}Y_1^2=\int\frac{1}{h^2}K\!\left(\frac{x-y}{h}\right)^2 f(y)\,dy=\frac1h\int K(u)^2 f(x-hu)\,du\le \frac{M\,R(K)}{h}\lt\infty. E Y 1 2 = ∫ h 2 1 K ( h x − y ) 2 f ( y ) d y = h 1 ∫ K ( u ) 2 f ( x − h u ) d u ≤ h M R ( K ) < ∞. 求平均。 展开和的方差:
Var ( 1 n ∑ Y i ) = 1 n 2 [ ∑ i Var Y i + ∑ i ≠ j Cov ( Y i , Y j ) ] . \operatorname{Var}\Big(\tfrac1n\textstyle\sum Y_i\Big)=\frac{1}{n^2}\Big[\sum_i\operatorname{Var}Y_i+\sum_{i\ne j}\operatorname{Cov}(Y_i,Y_j)\Big]. Var ( n 1 ∑ Y i ) = n 2 1 [ ∑ i Var Y i + ∑ i = j Cov ( Y i , Y j ) ] . 独立性使所有协方差为零,因此方差等于 Var ( Y 1 ) / n \operatorname{Var}(Y_1)/n Var ( Y 1 ) / n 。代入 Var Y 1 = E Y 1 2 − ( E Y 1 ) 2 \operatorname{Var}Y_1=\mathbb{E}Y_1^2-(\mathbb{E}Y_1)^2 Var Y 1 = E Y 1 2 − ( E Y 1 ) 2 即得结果。
均值是 f f f 的平滑版本。除非对 K K K 取加权平均后 f f f 不变,否则它与 f ( x ) f(x) f ( x ) 不同;两者之差称为偏差 。方差描述的是假想重复抽样时随机数 f ^ h ( x ) \hat f_h(x) f ^ h ( x ) 的波动,并不是 Var ( X ) \operatorname{Var}(X) Var ( X ) 。
公式也有适用范围。若数据相依或成簇,协方差项可能不消失,方差公式未必成立;不过,只要观测值有共同边缘密度 f f f ,均值公式仍成立。
常见错误
(由数据选出 h h h 后仍用固定带宽的矩公式)
若 h h h 由同一样本选出,f ^ h ^ ( x ) \hat f_{\hat h}(x) f ^ h ^ ( x ) 的各项可能相依;不联合分析 h ^ \hat h h ^ 与数据时,固定带宽方差公式通常不能直接使用。归一化定理在数据选出的带宽下仍成立,因为它对每一组实际样本都成立;矩公式则不然,因为它们是在 h h h 固定时对样本取平均。
取样本 ( 0 , 2 ) (0,2) ( 0 , 2 ) 、h = 1 h=1 h = 1 、K = φ K=\varphi K = φ ,其中 φ ( u ) = ( 2 π ) − 1 / 2 e − u 2 / 2 \varphi(u)=(2\pi)^{-1/2}e^{-u^2/2} φ ( u ) = ( 2 π ) − 1/2 e − u 2 /2 。利用 φ ( 0 ) ≈ 0.398942 \varphi(0)\approx0.398942 φ ( 0 ) ≈ 0.398942 、φ ( 1 ) ≈ 0.241971 \varphi(1)\approx0.241971 φ ( 1 ) ≈ 0.241971 和 φ ( 2 ) ≈ 0.053991 \varphi(2)\approx0.053991 φ ( 2 ) ≈ 0.053991 ,可得
f ^ 1 ( 1 ) = 1 2 [ φ ( 1 ) + φ ( − 1 ) ] = φ ( 1 ) ≈ 0.24197 , \hat f_1(1)=\tfrac12[\varphi(1)+\varphi(-1)]=\varphi(1)\approx0.24197, f ^ 1 ( 1 ) = 2 1 [ φ ( 1 ) + φ ( − 1 )] = φ ( 1 ) ≈ 0.24197 , f ^ 1 ( 0 ) = 1 2 [ φ ( 0 ) + φ ( − 2 ) ] = 0.398942 + 0.053991 2 = 0.2264665. \hat f_1(0)=\tfrac12[\varphi(0)+\varphi(-2)]=\frac{0.398942+0.053991}{2}=0.2264665. f ^ 1 ( 0 ) = 2 1 [ φ ( 0 ) + φ ( − 2 )] = 2 0.398942 + 0.053991 = 0.2264665. 没有数据的中点 x = 1 x=1 x = 1 反而比观测点 0 0 0 的估计值高:两个凸起对中点的贡献相等,而在 0 0 0 处较远的凸起贡献很小。取更小的 h h h 时,大小关系会反转。带宽决定曲线形状,包括均值漂移会找到多少个众数。
例题 7.8.5
(箱形核与均匀数据:内部点与边缘)
设 X ∼ U n i f o r m [ 0 , 1 ] X\sim\mathrm{Uniform}[0,1] X ∼ Uniform [ 0 , 1 ] ,K ( u ) = 1 2 1 { ∣ u ∣ ≤ 1 } K(u)=\tfrac12\mathbf 1\{|u|\le1\} K ( u ) = 2 1 1 { ∣ u ∣ ≤ 1 } ,于是 K h ( x − X i ) = 1 2 h 1 { ∣ x − X i ∣ ≤ h } K_h(x-X_i)=\frac1{2h}\mathbf 1\{|x-X_i|\le h\} K h ( x − X i ) = 2 h 1 1 { ∣ x − X i ∣ ≤ h } ,并取 0 < h ≤ 1 2 0\lt h\le\tfrac12 0 < h ≤ 2 1 。
内部点 x = 1 2 x=\tfrac12 x = 2 1 。 窗口 [ 1 2 − h , 1 2 + h ] [\tfrac12-h,\tfrac12+h] [ 2 1 − h , 2 1 + h ] 位于 [ 0 , 1 ] [0,1] [ 0 , 1 ] 内,令 Y = K h ( 1 2 − X ) Y=K_h(\tfrac12-X) Y = K h ( 2 1 − X ) ,则
E Y = 2 h 2 h = 1 , E Y 2 = 2 h 4 h 2 = 1 2 h , Var f ^ h ( 1 2 ) = 1 n ( 1 2 h − 1 ) . \mathbb{E}Y=\frac{2h}{2h}=1,\qquad \mathbb{E}Y^2=\frac{2h}{4h^2}=\frac1{2h},\qquad \operatorname{Var}\hat f_h(\tfrac12)=\frac1n\Big(\frac1{2h}-1\Big). E Y = 2 h 2 h = 1 , E Y 2 = 4 h 2 2 h = 2 h 1 , Var f ^ h ( 2 1 ) = n 1 ( 2 h 1 − 1 ) . 估计量恰好无偏。主导方差项 f ( x ) R ( K ) / ( n h ) = 1 / ( 2 n h ) f(x)R(K)/(nh)=1/(2nh) f ( x ) R ( K ) / ( nh ) = 1/ ( 2 nh ) 略去了减去的 1 / n 1/n 1/ n 。
边缘 x = 0 x=0 x = 0 。 窗口只有一半与支撑集相交:P ( X ≤ h ) = h P(X\le h)=h P ( X ≤ h ) = h ,故
E Y = h 2 h = 1 2 , E Y 2 = h 4 h 2 = 1 4 h , Var f ^ h ( 0 ) = 1 n ( 1 4 h − 1 4 ) . \mathbb{E}Y=\frac{h}{2h}=\frac12,\qquad \mathbb{E}Y^2=\frac{h}{4h^2}=\frac1{4h},\qquad \operatorname{Var}\hat f_h(0)=\frac1n\Big(\frac1{4h}-\frac14\Big). E Y = 2 h h = 2 1 , E Y 2 = 4 h 2 h = 4 h 1 , Var f ^ h ( 0 ) = n 1 ( 4 h 1 − 4 1 ) . 数值。 取 n = 100 n=100 n = 100 、h = 0.1 h=0.1 h = 0.1 ,内部点的方差为 ( 5 − 1 ) / 100 = 0.04 (5-1)/100=0.04 ( 5 − 1 ) /100 = 0.04 ,偏差为零;边缘处方差为 ( 2.5 − 0.25 ) / 100 = 0.0225 (2.5-0.25)/100=0.0225 ( 2.5 − 0.25 ) /100 = 0.0225 ,而相对于 f ( 0 + ) = 1 f(0+)=1 f ( 0 + ) = 1 的偏差在此范围内对每个 h h h 都是 − 1 2 -\tfrac12 − 2 1 。在此范围内改变 h h h 不改变两处的偏差,只改变方差:边缘偏差是估计量的性质,而不是带宽的性质。
光滑内部点的偏差
假设 (A1) 成立;又设 K K K 对称,即 K ( − u ) = K ( u ) K(-u)=K(u) K ( − u ) = K ( u ) ,且 μ 2 = ∫ u 2 K ( u ) d u < ∞ \mu_2=\int u^2K(u)\,du\lt\infty μ 2 = ∫ u 2 K ( u ) d u < ∞ 。最后假设 f f f 在整个 R \mathbb{R} R 上二次可微、∣ f ′ ′ ∣ ≤ C |f''|\le C ∣ f ′′ ∣ ≤ C ,且 f ′ ′ f'' f ′′ 在 x x x 处连续。则当 h → 0 h\to0 h → 0 时,
E [ f ^ h ( x ) ] − f ( x ) = h 2 μ 2 2 f ′ ′ ( x ) + o ( h 2 ) . \mathbb{E}[\hat f_h(x)]-f(x)=\frac{h^2\mu_2}{2}f''(x)+o(h^2). E [ f ^ h ( x )] − f ( x ) = 2 h 2 μ 2 f ′′ ( x ) + o ( h 2 ) .
核的一阶矩。 因为 ∣ u ∣ ≤ 1 + u 2 |u|\le 1+u^2 ∣ u ∣ ≤ 1 + u 2 ,所以 ∫ ∣ u ∣ K ≤ 1 + μ 2 < ∞ \int|u|K\le 1+\mu_2\lt\infty ∫ ∣ u ∣ K ≤ 1 + μ 2 < ∞ 。由对称性,∫ u K ( u ) d u = 0 \int uK(u)\,du=0 ∫ u K ( u ) d u = 0 。
余项。 定义
r h ( u ) = f ( x − h u ) − f ( x ) + h u f ′ ( x ) − 1 2 h 2 u 2 f ′ ′ ( x ) . r_h(u)=f(x-hu)-f(x)+hu\,f'(x)-\tfrac12h^2u^2f''(x). r h ( u ) = f ( x − h u ) − f ( x ) + h u f ′ ( x ) − 2 1 h 2 u 2 f ′′ ( x ) . 由拉格朗日(Lagrange)余项形式的泰勒(Taylor)定理,存在位于 x x x 与 x − h u x-hu x − h u 之间的 ξ \xi ξ ,使得
r h ( u ) = 1 2 h 2 u 2 [ f ′ ′ ( ξ ) − f ′ ′ ( x ) ] . r_h(u)=\tfrac12h^2u^2\,[f''(\xi)-f''(x)]. r h ( u ) = 2 1 h 2 u 2 [ f ′′ ( ξ ) − f ′′ ( x )] . 控制与逐点极限。 上式给出 ∣ r h ( u ) ∣ / h 2 ≤ C u 2 |r_h(u)|/h^2\le C u^2 ∣ r h ( u ) ∣/ h 2 ≤ C u 2 。固定 u u u ,当 h → 0 h\to0 h → 0 时 ξ → x \xi\to x ξ → x ;由 f ′ ′ f'' f ′′ 在 x x x 处连续,r h ( u ) / h 2 → 0 r_h(u)/h^2\to0 r h ( u ) / h 2 → 0 。由于 C u 2 K ( u ) Cu^2K(u) C u 2 K ( u ) 可积,支配收敛定理给出 h − 2 ∫ K r h → 0 h^{-2}\int K r_h\to0 h − 2 ∫ K r h → 0 。
合并各项。 将 r h r_h r h 的定义乘以 K K K 后积分,并使用 ∫ K = 1 \int K=1 ∫ K = 1 和 ∫ u K = 0 \int uK=0 ∫ u K = 0 ,得到
E f ^ h ( x ) − f ( x ) = − h f ′ ( x ) ⋅ 0 + 1 2 h 2 μ 2 f ′ ′ ( x ) + ∫ K r h , \mathbb{E}\hat f_h(x)-f(x)=-hf'(x)\cdot0+\tfrac12h^2\mu_2f''(x)+\int K r_h, E f ^ h ( x ) − f ( x ) = − h f ′ ( x ) ⋅ 0 + 2 1 h 2 μ 2 f ′′ ( x ) + ∫ K r h , 其中最后一项为 o ( h 2 ) o(h^2) o ( h 2 ) 。
证明透视
偏差展开中各个假设的作用 证明只有一个想法:在积分内把 f f f 展开到二阶,再由 K K K 的各阶矩整理各项。每个假设各有一个作用。∫ K = 1 \int K=1 ∫ K = 1 使零阶项恰为 f ( x ) f(x) f ( x ) 。K K K 的对称性消去一阶项;若不对称,偏差会是 h h h 阶,即 − h f ′ ( x ) ∫ u K -hf'(x)\int uK − h f ′ ( x ) ∫ u K 。有限二阶矩 μ 2 \mu_2 μ 2 给出系数,并通过 ∣ u ∣ ≤ 1 + u 2 |u|\le1+u^2 ∣ u ∣ ≤ 1 + u 2 保证 u K uK u K 可积。
微妙之处在于取极限。f ′ ′ f'' f ′′ 在 x x x 连续只给出逐点极限 r h ( u ) / h 2 → 0 r_h(u)/h^2\to0 r h ( u ) / h 2 → 0 ;真正用 C u 2 Cu^2 C u 2 对每个 u u u 控制余项的是全局界 ∣ f ′ ′ ∣ ≤ C |f''|\le C ∣ f ′′ ∣ ≤ C ,包括 x − h u x-hu x − h u 远离 x x x 的大 u u u 。若只有局部假设,K K K 的远端尾部可能触及 f f f 不光滑的区域;均匀密度的边界正是这种情况。
偏差的符号很有启发:f ′ ′ ( x ) < 0 f''(x)\lt0 f ′′ ( x ) < 0 时主导偏差为负,f ′ ′ ( x ) > 0 f''(x)\gt0 f ′′ ( x ) > 0 时为正。局部极值也可能是平坦的,因此其二阶导数不一定有严格符号。若 f ′ ′ ( x ) = 0 f''(x)=0 f ′′ ( x ) = 0 ,主导项消失,偏差具有更小的阶,下面的分析需要重新进行。
方差渐近式与相合性
假设 (A1)、(A2) 成立,且 f f f 在 x x x 处连续。则当 h → 0 h\to0 h → 0 时,无论伴随的 n n n 如何变化,n h Var [ f ^ h ( x ) ] → f ( x ) R ( K ) nh\operatorname{Var}[\hat f_h(x)]\to f(x)R(K) nh Var [ f ^ h ( x )] → f ( x ) R ( K ) 。若 h → 0 h\to0 h → 0 且 n h → ∞ nh\to\infty nh → ∞ ,则 E [ ( f ^ h ( x ) − f ( x ) ) 2 ] → 0 \mathbb{E}[(\hat f_h(x)-f(x))^2]\to0 E [( f ^ h ( x ) − f ( x ) ) 2 ] → 0 。
方差。 由精确公式,
n h Var = ∫ K 2 ( u ) f ( x − h u ) d u − h [ ∫ K f ( x − h u ) ] 2 . nh\operatorname{Var}=\int K^2(u)f(x-hu)\,du-h\Big[\int Kf(x-hu)\Big]^2. nh Var = ∫ K 2 ( u ) f ( x − h u ) d u − h [ ∫ K f ( x − h u ) ] 2 . 这个表达式不含 n n n 。第一项的被积函数以 M K 2 MK^2 M K 2 为可积控制函数,逐点收敛到 K 2 f ( x ) K^2f(x) K 2 f ( x ) ,故积分趋于 f ( x ) R ( K ) f(x)R(K) f ( x ) R ( K ) 。第二项至多为 h M 2 → 0 hM^2\to0 h M 2 → 0 。
偏差。 偏差为 ∫ K ( u ) [ f ( x − h u ) − f ( x ) ] d u \int K(u)[f(x-hu)-f(x)]\,du ∫ K ( u ) [ f ( x − h u ) − f ( x )] d u 。被积函数绝对值由 2 M K 2MK 2 M K 控制,且逐点趋于 0 0 0 ,故偏差趋于 0 0 0 。
均方误差。 由方差极限,Var = O ( 1 / ( n h ) ) → 0 \operatorname{Var}=O(1/(nh))\to0 Var = O ( 1/ ( nh )) → 0 。均方误差等于 偏差 2 + Var \text{偏差}^2+\operatorname{Var} 偏差 2 + Var ,因此也趋于 0 0 0 。
当 f ( x ) > 0 f(x)\gt0 f ( x ) > 0 时可以写作 Var ∼ f ( x ) R ( K ) / ( n h ) \operatorname{Var}\sim f(x)R(K)/(nh) Var ∼ f ( x ) R ( K ) / ( nh ) 。若 f ( x ) = 0 f(x)=0 f ( x ) = 0 ,定理只给出 Var = o ( 1 / ( n h ) ) \operatorname{Var}=o(1/(nh)) Var = o ( 1/ ( nh )) ;此时上述渐近等价写法没有意义。
按主导项选择带宽
设 f ( x ) > 0 f(x)\gt0 f ( x ) > 0 、f ′ ′ ( x ) ≠ 0 f''(x)\ne0 f ′′ ( x ) = 0 ,且上述两个定理的假设均成立。只保留主导项,得到近似 均方误差
A M S E ( h ) = μ 2 2 f ′ ′ ( x ) 2 4 h 4 + f ( x ) R ( K ) n h . \mathrm{AMSE}(h)=\frac{\mu_2^2f''(x)^2}{4}h^4+\frac{f(x)R(K)}{nh}. AMSE ( h ) = 4 μ 2 2 f ′′ ( x ) 2 h 4 + nh f ( x ) R ( K ) .
记 A = μ 2 2 f ′ ′ ( x ) 2 A=\mu_2^2f''(x)^2 A = μ 2 2 f ′′ ( x ) 2 、B = f ( x ) R ( K ) B=f(x)R(K) B = f ( x ) R ( K ) 。令导数 A h 3 − B / ( n h 2 ) Ah^3-B/(nh^2) A h 3 − B / ( n h 2 ) 为零,得
h opt = [ f ( x ) R ( K ) n μ 2 2 f ′ ′ ( x ) 2 ] 1 / 5 . h_{\text{opt}}=\left[\frac{f(x)R(K)}{n\mu_2^2f''(x)^2}\right]^{1/5}. h opt = [ n μ 2 2 f ′′ ( x ) 2 f ( x ) R ( K ) ] 1/5 .
二阶导数为正,故这是 AMSE 在 ( 0 , ∞ ) (0,\infty) ( 0 , ∞ ) 上的唯一最小值点。在 h opt h_{\text{opt}} h opt 处,方差项为 A h 4 Ah^4 A h 4 ,是偏差平方项的四倍,且 A M S E = 5 4 A h opt 4 \mathrm{AMSE}=\tfrac54Ah_{\text{opt}}^4 AMSE = 4 5 A h opt 4 ,其阶为 n − 4 / 5 n^{-4/5} n − 4/5 。
公式呈现了权衡关系:减小 h h h 会减小平滑偏差,却会增大方差,后者按 1 / ( n h ) 1/(nh) 1/ ( nh ) 的量级增长。增大 n n n 会降低任意固定 h h h 下的方差,因此平衡点移向更小的 h h h 。
这只是主导项之间的平衡。它依赖未知的 f ( x ) f(x) f ( x ) 和 f ′ ′ ( x ) f''(x) f ′′ ( x ) ,是逐点结论;对 x x x 积分后得到的常数不同。它不是精确有限样本 MSE 的最小值点。在 f ′ ′ ( x ) = 0 f''(x)=0 f ′′ ( x ) = 0 或接近边界时,公式会改变;它也不提供全局最优保证。
可选 能否超过 n 的负五分之四次方这一速率? 可以,只要核的二阶矩为零;但这样的核必然取负值。
自然的下一个问题
能否超过 n 的负五分之四次方这一速率? 可以,只要核的二阶矩为零;但这样的核必然取负值。
若除 ∫ u K = 0 \int uK=0 ∫ u K = 0 外还有 ∫ u 2 K = 0 \int u^2K=0 ∫ u 2 K = 0 ,h 2 h^2 h 2 偏差项便消失;当 f f f 有四阶有界导数时,偏差为 O ( h 4 ) O(h^4) O ( h 4 ) ,与 1 / ( n h ) 1/(nh) 1/ ( nh ) 平衡后均方误差的阶为 n − 8 / 9 n^{-8/9} n − 8/9 。例如 K ( u ) = 1 2 ( 3 − u 2 ) φ ( u ) K(u)=\tfrac12(3-u^2)\varphi(u) K ( u ) = 2 1 ( 3 − u 2 ) φ ( u ) 满足 ∫ K = 1 \int K=1 ∫ K = 1 且 ∫ u 2 K = 1 2 ( 3 − 3 ) = 0 \int u^2K=\tfrac12(3-3)=0 ∫ u 2 K = 2 1 ( 3 − 3 ) = 0 。代价是 ∣ u ∣ > 3 |u|\gt\sqrt3 ∣ u ∣ > 3 时 K < 0 K\lt0 K < 0 ,因此 f ^ h \hat f_h f ^ h 可能为负:归一化定理仍给出 ∫ f ^ h = 1 \int\hat f_h=1 ∫ f ^ h = 1 ,却失去了 f ^ h ≥ 0 \hat f_h\ge0 f ^ h ≥ 0 。
关闭
设 f = φ f=\varphi f = φ 、K = φ K=\varphi K = φ 、x = 0 x=0 x = 0 和 n = 100 n=100 n = 100 。则 μ 2 = 1 \mu_2=1 μ 2 = 1 ,R ( K ) = 1 / ( 2 π ) ≈ 0.282095 R(K)=1/(2\sqrt\pi)\approx0.282095 R ( K ) = 1/ ( 2 π ) ≈ 0.282095 。由于 f ′ ′ ( 0 ) = − f ( 0 ) f''(0)=-f(0) f ′′ ( 0 ) = − f ( 0 ) ,
h opt = [ R ( K ) 100 f ( 0 ) ] 1 / 5 = [ 2 / 2 100 ] 1 / 5 ≈ 0.37145. h_{\text{opt}}=\left[\frac{R(K)}{100\,f(0)}\right]^{1/5}=\left[\frac{\sqrt2/2}{100}\right]^{1/5}\approx0.37145. h opt = [ 100 f ( 0 ) R ( K ) ] 1/5 = [ 100 2 /2 ] 1/5 ≈ 0.37145. 这是理想信息(oracle )值:它使用了实际分析中未知的 f f f ,并不是从数据选出的带宽。
精确偏差。 此处可计算精确矩。均值 E f ^ h ( 0 ) = ∫ φ ( u ) φ ( h u ) d u \mathbb{E}\hat f_h(0)=\int\varphi(u)\varphi(hu)\,du E f ^ h ( 0 ) = ∫ φ ( u ) φ ( h u ) d u 是 N ( 0 , 1 + h 2 ) N(0,1+h^2) N ( 0 , 1 + h 2 ) 的密度在 0 0 0 处的值,约为 0.37398 0.37398 0.37398 。因此精确偏差约为 − 0.0250 -0.0250 − 0.0250 ,而主导项 − 1 2 h 2 f ( 0 ) -\tfrac12h^2f(0) − 2 1 h 2 f ( 0 ) 约为 − 0.0275 -0.0275 − 0.0275 。
精确方差。 我们需要
1 h ∫ φ 2 ( u ) φ ( h u ) d u = ( 2 π ) − 3 / 2 h π / ( 1 + h 2 / 2 ) ≈ 0.29304. \frac1h\int\varphi^2(u)\varphi(hu)\,du=\frac{(2\pi)^{-3/2}}{h}\sqrt{\pi/(1+h^2/2)}\approx0.29304. h 1 ∫ φ 2 ( u ) φ ( h u ) d u = h ( 2 π ) − 3/2 π / ( 1 + h 2 /2 ) ≈ 0.29304. 减去均值的平方,再除以 100 100 100 ,得到
Var ≈ 0.29304 − 0.13986 100 ≈ 0.00153. \operatorname{Var}\approx\frac{0.29304-0.13986}{100}\approx0.00153. Var ≈ 100 0.29304 − 0.13986 ≈ 0.00153. 主导项则预测 0.00303 0.00303 0.00303 。
比较。 精确 MSE 约为 0.00216 0.00216 0.00216 ,AMSE 约为 0.00379 0.00379 0.00379 。当 n = 100 n=100 n = 100 时,减去的 [ E Y 1 ] 2 / n [\mathbb{E}Y_1]^2/n [ E Y 1 ] 2 / n 远不能忽略。渐近式描述变化的阶,精确公式则描述这个具体样本量。
边界反例
反例模式
支撑集边界处的均匀数据 设 X ∼ U n i f o r m [ 0 , 1 ] X\sim\mathrm{Uniform}[0,1] X ∼ Uniform [ 0 , 1 ] 、K = φ K=\varphi K = φ 、x = 0 x=0 x = 0 ,用 Φ \Phi Φ 表示标准正态分布函数,则
E f ^ h ( 0 ) = ∫ 0 1 1 h φ ( y h ) d y = Φ ( 1 / h ) − 1 2 ⟶ 1 2 ( h → 0 ) . \mathbb{E}\hat f_h(0)=\int_0^1\frac1h\varphi\!\left(\frac yh\right)dy=\Phi(1/h)-\tfrac12\;\longrightarrow\;\tfrac12\quad(h\to0). E f ^ h ( 0 ) = ∫ 0 1 h 1 φ ( h y ) d y = Φ ( 1/ h ) − 2 1 ⟶ 2 1 ( h → 0 ) . 真实密度在边界的右极限为 1 1 1 。单点上的“f ( 0 ) f(0) f ( 0 ) ”值本身是任意的,因为只改变密度在一个点的值不会改变分布。因此这里将估计值与极限 f ( 0 + ) = 1 f(0+)=1 f ( 0 + ) = 1 比较。
核窗口的一半位于数据不可能出现的区域,所以估计量将左极限 0 0 0 与右极限 1 1 1 平均。平滑还会将质量放到 [ 0 , 1 ] [0,1] [ 0 , 1 ] 之外。偏差定理在此不适用:f f f 在 0 0 0 处不是二次可微的,故其全局假设不成立。
内部点的情况不同。对于 x = 1 2 x=\tfrac12 x = 2 1 ,精确计算得到
E f ^ h ( 1 2 ) − 1 = − 2 [ 1 − Φ ( 1 / ( 2 h ) ) ] , \mathbb{E}\hat f_h(\tfrac12)-1=-2[1-\Phi(1/(2h))], E f ^ h ( 2 1 ) − 1 = − 2 [ 1 − Φ ( 1/ ( 2 h ))] , 它以指数速度趋于零。这与局部曲率为零的直觉一致,但均匀密度仍不满足上述全局光滑性假设。
边界修正。 一种方法是反射:对 x ≥ 0 x\ge0 x ≥ 0 使用 f ^ ( x ) = 1 n ∑ [ K h ( x − X i ) + K h ( x + X i ) ] \hat f(x)=\frac1n\sum[K_h(x-X_i)+K_h(x+X_i)] f ^ ( x ) = n 1 ∑ [ K h ( x − X i ) + K h ( x + X i )] 。本例中,它在 0 0 0 处的均值为 2 Φ ( 1 / h ) − 1 → 1 2\Phi(1/h)-1\to1 2Φ ( 1/ h ) − 1 → 1 。反射和重新归一化能否改善估计,取决于对边界及 f f f 的局部形状所作的明确假设;二者都不保证一般情况下无偏。
从数据选择 h h h
实践中常以经验方法选择 h h h 。一个合理的基线方法是使用留出数据:
把样本分为训练集与验证集。
对每个候选 h h h ,在训练集上拟合 f ^ h \hat f_h f ^ h 。
以验证对数似然 ∑ j log f ^ h ( Y j ) \sum\limits_j\log\hat f_h(Y_j) j ∑ log f ^ h ( Y j ) 为每个候选值评分。
中心化、缩放等预处理都必须只用训练集估计,然后原样应用于验证集,否则验证信息会泄漏到拟合过程。
验证分数本身有噪声,也不会自动保证校准。对时间相依或成簇数据,随机划分可能造成信息泄漏;独立同分布数据的相合性结论不能自动沿用。
密度估计描述测量值如何分布,不能据此断言干预会造成什么结果。
练习
练习 7.8.9
(令 K ( u ) = 1 2 K(u)=\tfrac12 K ( u ) = 2 1 (当 ∣ u ∣ ≤ 1 |u|\le1 ∣ u ∣ ≤ 1 ),其他地方 K ( u ) = 0 K(u)=0 K ( u ) = 0 ,端点依此定义包含在内。样本为 ( 0 , 2 ) (0,2) ( 0 , 2 ) ,h = 1 h=1 h = 1 。计算 f ^ 1 ( 0 ) \hat f_1(0) f ^ 1 ( 0 ) 和 f ^ 1 ( 1 ) \hat f_1(1) f ^ 1 ( 1 ) 。)
基础
解答 (3) 1 在 0 0 0 处求值
f ^ 1 ( 0 ) = 1 2 [ K ( 0 ) + K ( − 2 ) ] = 1 2 ( 1 2 + 0 ) = 1 4 . \hat f_1(0)=\tfrac12[K(0)+K(-2)]=\tfrac12\left(\tfrac12+0\right)=\tfrac14. f ^ 1 ( 0 ) = 2 1 [ K ( 0 ) + K ( − 2 )] = 2 1 ( 2 1 + 0 ) = 4 1 . 2 在 1 1 1 处求值
f ^ 1 ( 1 ) = 1 2 [ K ( 1 ) + K ( − 1 ) ] = 1 2 ( 1 2 + 1 2 ) = 1 2 . \hat f_1(1)=\tfrac12[K(1)+K(-1)]=\tfrac12\left(\tfrac12+\tfrac12\right)=\tfrac12. f ^ 1 ( 1 ) = 2 1 [ K ( 1 ) + K ( − 1 )] = 2 1 ( 2 1 + 2 1 ) = 2 1 . 3 端点约定
点 1 1 1 位于两个窗口均包含的边界上。若改用不含端点的窗口,f ^ 1 ( 1 ) \hat f_1(1) f ^ 1 ( 1 ) 就是 0 0 0 。核函数不连续处的逐点值取决于约定,但积分不受这个单点影响。
看下一步 (2/3) 全部展开
练习 7.8.10
(求箱形核的 μ 2 \mu_2 μ 2 和 R ( K ) R(K) R ( K ) 。对上一题的样本直接验证 ∫ f ^ 1 = 1 \int\hat f_1=1 ∫ f ^ 1 = 1 ,并解释为何任意样本及任意 h h h 都满足此性质。)
基础
解答 (3) 1 核函数的常数
μ 2 = ∫ − 1 1 1 2 u 2 d u = 1 3 , R ( K ) = ∫ − 1 1 1 4 d u = 1 2 . \mu_2=\int_{-1}^1\tfrac12u^2\,du=\tfrac13,\qquad R(K)=\int_{-1}^1\tfrac14\,du=\tfrac12. μ 2 = ∫ − 1 1 2 1 u 2 d u = 3 1 , R ( K ) = ∫ − 1 1 4 1 d u = 2 1 . 2 直接验证
此处 f ^ 1 = 1 4 1 [ − 1 , 1 ] + 1 4 1 [ 1 , 3 ] \hat f_1=\tfrac14\mathbf 1_{[-1,1]}+\tfrac14\mathbf 1_{[1,3]} f ^ 1 = 4 1 1 [ − 1 , 1 ] + 4 1 1 [ 1 , 3 ] ,两个区间只在单点 x = 1 x=1 x = 1 重叠,因此 ∫ f ^ 1 = 1 4 ⋅ 2 + 1 4 ⋅ 2 = 1 \int\hat f_1=\tfrac14\cdot2+\tfrac14\cdot2=1 ∫ f ^ 1 = 4 1 ⋅ 2 + 4 1 ⋅ 2 = 1 。
3 一般原因
对每个 i i i ,代换 u = ( x − x i ) / h u=(x-x_i)/h u = ( x − x i ) / h 可得 ∫ K h ( x − x i ) d x = ∫ K = 1 \int K_h(x-x_i)\,dx=\int K=1 ∫ K h ( x − x i ) d x = ∫ K = 1 。将 n n n 个 1 1 1 取平均仍得 1 1 1 ,与数据及 h h h 无关。
看下一步 (2/3) 全部展开
练习 7.8.11
(证明独立同分布项的均值满足 Var ( Y ˉ ) = Var ( Y 1 ) / n \operatorname{Var}(\bar Y)=\operatorname{Var}(Y_1)/n Var ( Y ˉ ) = Var ( Y 1 ) / n 。利用此结果导出 f ^ h ( x ) \hat f_h(x) f ^ h ( x ) 的精确方差,并说明当 h = h ^ ( X 1 , … , X n ) h=\hat h(X_1,\dots,X_n) h = h ^ ( X 1 , … , X n ) 时结论为何可能失效。)
核心
解答 (3) 1 均值的方差
Var ( Y ˉ ) = n − 2 [ ∑ i Var Y i + ∑ i ≠ j Cov ( Y i , Y j ) ] = Var ( Y 1 ) n . \operatorname{Var}(\bar Y)=n^{-2}\Big[\sum_i\operatorname{Var}Y_i+\sum_{i\ne j}\operatorname{Cov}(Y_i,Y_j)\Big]=\frac{\operatorname{Var}(Y_1)}{n}. Var ( Y ˉ ) = n − 2 [ i ∑ Var Y i + i = j ∑ Cov ( Y i , Y j ) ] = n Var ( Y 1 ) . 依据: 独立性使协方差为零,同分布使 n n n 个方差相等。
2 单项的矩
取 Y i = K h ( x − X i ) Y_i=K_h(x-X_i) Y i = K h ( x − X i ) ,代换 y = x − h u y=x-hu y = x − h u 得
E Y 1 = ∫ K f ( x − h u ) d u , E Y 1 2 = h − 1 ∫ K 2 f ( x − h u ) d u , \mathbb{E}Y_1=\int Kf(x-hu)\,du,\qquad \mathbb{E}Y_1^2=h^{-1}\int K^2f(x-hu)\,du, E Y 1 = ∫ K f ( x − h u ) d u , E Y 1 2 = h − 1 ∫ K 2 f ( x − h u ) d u , 减去均值平方即得前述公式。
3 依赖数据的带宽
若 h ^ \hat h h ^ 依赖样本,所有 K h ^ ( x − X i ) K_{\hat h}(x-X_i) K h ^ ( x − X i ) 共享同一个依赖数据的随机带宽。它们可能相依,分布也未必与固定 h h h 的各项相同,因而原推导未必适用;需要联合分析 ( h ^ , X 1 , … , X n ) (\hat h,X_1,\dots,X_n) ( h ^ , X 1 , … , X n ) 。
看下一步 (2/3) 全部展开
练习 7.8.12
(设 X ∼ U n i f o r m [ 0 , 1 ] X\sim\mathrm{Uniform}[0,1] X ∼ Uniform [ 0 , 1 ] ,使用高斯核,导出 E f ^ h ( 0 ) \mathbb{E}\hat f_h(0) E f ^ h ( 0 ) 。解释为何 0 0 0 处的密度没有内在确定的值。令 f ^ ( 0 ) = 0 \hat f(0)=0 f ^ ( 0 ) = 0 或另选 h h h ,能否修复相对于 f ( 0 + ) f(0+) f ( 0 + ) 的偏差?)
核心
解答 (3) 1 边缘处的均值
与反例相同的积分给出 Φ ( 1 / h ) − 1 2 \Phi(1/h)-\tfrac12 Φ ( 1/ h ) − 2 1 。
2 0 0 0 处密度的含义
密度只在忽略勒贝格零测集的意义下确定。在 0 0 0 处赋予任意值都产生相同分布,故 f ( 0 ) f(0) f ( 0 ) 本身没有内在确定的值;这里有意义的边界量是右极限 f ( 0 + ) = 1 f(0+)=1 f ( 0 + ) = 1 。
3 两种修复都无效
令 f ^ ( 0 ) = 0 \hat f(0)=0 f ^ ( 0 ) = 0 只改变一个点,不改变任何积分,还使估计值离 1 1 1 更远。另选 h h h 也无济于事:每个 h > 0 h\gt0 h > 0 都满足 Φ ( 1 / h ) < 1 \Phi(1/h)\lt1 Φ ( 1/ h ) < 1 ,均值始终小于 1 2 \tfrac12 2 1 ,相对于 f ( 0 + ) f(0+) f ( 0 + ) 的偏差 Φ ( 1 / h ) − 3 2 \Phi(1/h)-\tfrac32 Φ ( 1/ h ) − 2 3 对所有带宽都小于 − 1 2 -\tfrac12 − 2 1 ,并随 h h h 增大而恶化。例如 h = 1 h=1 h = 1 时均值约为 0.341 0.341 0.341 ,h = 0.5 h=0.5 h = 0.5 时约为 0.477 0.477 0.477 。只有改变估计方法,例如在明确假设下使用反射,才能处理这一缺陷。
看下一步 (2/3) 全部展开
小结
核密度估计对每个样本都是密度。它的均值是经过核平滑的 f f f ;对于固定 h h h 和独立同分布数据,其精确方差为 1 n { 1 h ∫ K 2 f ( x − h u ) d u − [ ∫ K f ( x − h u ) d u ] 2 } \frac1n\{\frac1h\int K^2f(x-hu)\,du-[\int Kf(x-hu)\,du]^2\} n 1 { h 1 ∫ K 2 f ( x − h u ) d u − [ ∫ K f ( x − h u ) d u ] 2 } 。在光滑内部点,偏差约为 1 2 h 2 μ 2 f ′ ′ ( x ) \tfrac12h^2\mu_2f''(x) 2 1 h 2 μ 2 f ′′ ( x ) ,方差约为 f ( x ) R ( K ) / ( n h ) f(x)R(K)/(nh) f ( x ) R ( K ) / ( nh ) 。平衡主导项得到理想信息下的 h opt ∝ n − 1 / 5 h_{\text{opt}}\propto n^{-1/5} h opt ∝ n − 1/5 ,它不是普遍适用的处方。
在支撑集边界、f ′ ′ ( x ) = 0 f''(x)=0 f ′′ ( x ) = 0 的点、数据依赖的带宽及相依抽样下,各结论都需要重新推导。