先前的筆記曾用高斯(Gauss)核作平滑工具,例如均值漂移法讓點沿平滑曲面的梯度上升。本節把這個曲面視為未知密度的統計估計量 ,探討三個問題:估計結果是否真正的密度?固定樣本數下的精確均值和方差是甚麼?帶寬 h h h 如何在偏差與方差之間取得平衡?
設定與基本假設
設 X 1 , … , X n X_1,\dots,X_n X 1 , … , X n 獨立同分布,在 R \mathbb{R} R 上有勒貝格(Lebesgue)密度 f f f ,其中 n ≥ 1 n\ge 1 n ≥ 1 。固定一個不依賴數據的帶寬 h > 0 h>0 h > 0 。
滿足 K ≥ 0 K\ge 0 K ≥ 0 及 ∫ K ( u ) d u = 1 \int K(u)\,du=1 ∫ K ( u ) d u = 1 的 Borel 可測函數 K K K 稱為核 。對帶寬 h > 0 h>0 h > 0 ,核密度估計量 定義為
K h ( t ) = 1 h K ( t h ) , f ^ h ( x ) = 1 n ∑ i = 1 n K h ( x − X i ) . K_h(t)=\frac{1}{h}K\!\left(\frac{t}{h}\right),\qquad
\hat f_h(x)=\frac{1}{n}\sum_{i=1}^n K_h(x-X_i). K h ( t ) = h 1 K ( h t ) , f ^ h ( x ) = n 1 i = 1 ∑ n K h ( x − X i ) .
每個觀測值在 X i X_i X i 處貢獻一個總質量為 1 / n 1/n 1/ n 的小峰;帶寬 h h h 決定峰的寬度。
為保證以下各點的矩有限,假設:
(A1) f f f 有界,即存在 M M M 使 f ≤ M f\le M f ≤ M ;
(A2) R ( K ) = ∫ K ( u ) 2 d u < ∞ R(K)=\int K(u)^2\,du\lt\infty R ( K ) = ∫ K ( u ) 2 d u < ∞ 。
若核有界,則自動滿足 (A2),因為 K 2 ≤ ( sup K ) K K^2\le (\sup K)K K 2 ≤ ( sup K ) K 。
密度值不是概率。對連續隨機變量 X X X ,P ( X = x ) = 0 P(X=x)=0 P ( X = x ) = 0 。f ^ h ( x ) \hat f_h(x) f ^ h ( x ) 估計的是一個率:當 δ \delta δ 很小時,約有 P ( x < X ≤ x + δ ) ≈ f ( x ) δ P(x\lt X\le x+\delta)\approx f(x)\,\delta P ( x < X ≤ x + δ ) ≈ f ( x ) δ 。
密度的高度不一定不超過 1 1 1 。例如 [ 0 , 0.1 ] [0,0.1] [ 0 , 0.1 ] 上的均勻密度在該區間內等於 10 10 10 。
密度高度有單位。若把 X X X 的記錄單位由公里改成米,各密度值要除以 1000 1000 1000 ,h h h 也必須相應換算。
估計量是概率密度
對每一組實現的樣本 x 1 , … , x n x_1,\dots,x_n x 1 , … , x n 和每個 h > 0 h>0 h > 0 ,函數 f ^ h \hat f_h f ^ h 非負,而且 ∫ R f ^ h ( x ) d x = 1 \int_{\mathbb{R}}\hat f_h(x)\,dx=1 ∫ R f ^ h ( x ) d x = 1 。
每一項 K h ( x − x i ) K_h(x-x_i) K h ( x − x i ) 都非負,故其平均值也非負。對積分,固定 i i i 並代入 u = ( x − x i ) / h u=(x-x_i)/h u = ( x − x i ) / h ,則 d x = h d u dx=h\,du d x = h d u :
∫ K h ( x − x i ) d x = ∫ 1 h K ( u ) h d u = 1. \int K_h(x-x_i)\,dx=\int \frac{1}{h}K(u)\,h\,du=1. ∫ K h ( x − x i ) d x = ∫ h 1 K ( u ) h d u = 1. 和只有有限項,故可逐項積分,得到 ∫ f ^ h = 1 n ∑ i = 1 n 1 = 1 \int\hat f_h=\frac1n\sum\limits_{i=1}^n 1=1 ∫ f ^ h = n 1 i = 1 ∑ n 1 = 1 。
證明沒有用到概率:此結論是確定性的,即使 h h h 由數據選出,只要每次實現的 h h h 仍為正,結論依然成立。
概念視角 算法
把估計看成抽取一點的程序 對已實現的樣本,f ^ h \hat f_h f ^ h 恰好是 x I + h V x_I+hV x I + hV 的密度,其中 I I I 在 { 1 , … , n } \{1,\dots,n\} { 1 , … , n } 上均勻分布,V ∼ K V\sim K V ∼ K 與 I I I 獨立:先隨機選一個觀測值,再加上 h h h 乘以一個核抽樣值的擾動。給定 I = i I=i I = i 時密度為 K h ( x − x i ) K_h(x-x_i) K h ( x − x i ) ,對 i i i 取平均即得 f ^ h \hat f_h f ^ h 。於是非負性與歸一化自動成立,而同一描述也說明了如何從估計中模擬。
有限樣本的精確均值與方差
在 (A1)–(A2) 下,對每個 x ∈ R x\in\mathbb{R} x ∈ R 、n ≥ 1 n\ge1 n ≥ 1 和固定的 h > 0 h>0 h > 0 ,
E [ f ^ h ( x ) ] = ∫ K ( u ) f ( x − h u ) d u , \mathbb{E}[\hat f_h(x)]=\int K(u)\,f(x-hu)\,du, E [ f ^ h ( x )] = ∫ K ( u ) f ( x − h u ) d u , Var [ f ^ h ( x ) ] = 1 n { 1 h ∫ K ( u ) 2 f ( x − h u ) d u − [ ∫ K ( u ) f ( x − h u ) d u ] 2 } . \operatorname{Var}[\hat f_h(x)]=\frac1n\left\{\frac1h\int K(u)^2 f(x-hu)\,du-\left[\int K(u)f(x-hu)\,du\right]^2\right\}. Var [ f ^ h ( x )] = n 1 { h 1 ∫ K ( u ) 2 f ( x − h u ) d u − [ ∫ K ( u ) f ( x − h u ) d u ] 2 } .
令 Y i = K h ( x − X i ) Y_i=K_h(x-X_i) Y i = K h ( x − X i ) 。因為 X i X_i X i 獨立同分布而 h h h 固定,Y i Y_i Y i 也獨立同分布。
一項的均值。 代入 y = x − h u y=x-hu y = x − h u ,則 d y = − h d u dy=-h\,du d y = − h d u ,積分上下限反轉:
E Y 1 = ∫ 1 h K ( x − y h ) f ( y ) d y = ∫ K ( u ) f ( x − h u ) d u ≤ M . \mathbb{E}Y_1=\int \frac1h K\!\left(\frac{x-y}{h}\right)f(y)\,dy=\int K(u)f(x-hu)\,du\le M. E Y 1 = ∫ h 1 K ( h x − y ) f ( y ) d y = ∫ K ( u ) f ( x − h u ) d u ≤ M . 二階矩。 同一代換給出
E Y 1 2 = ∫ 1 h 2 K ( x − y h ) 2 f ( y ) d y = 1 h ∫ K ( u ) 2 f ( x − h u ) d u ≤ M R ( K ) h < ∞ . \mathbb{E}Y_1^2=\int\frac{1}{h^2}K\!\left(\frac{x-y}{h}\right)^2 f(y)\,dy=\frac1h\int K(u)^2 f(x-hu)\,du\le \frac{M\,R(K)}{h}\lt\infty. E Y 1 2 = ∫ h 2 1 K ( h x − y ) 2 f ( y ) d y = h 1 ∫ K ( u ) 2 f ( x − h u ) d u ≤ h M R ( K ) < ∞. 平均值。 展開和的方差:
Var ( 1 n ∑ Y i ) = 1 n 2 [ ∑ i Var Y i + ∑ i ≠ j Cov ( Y i , Y j ) ] . \operatorname{Var}\Big(\tfrac1n\textstyle\sum Y_i\Big)=\frac{1}{n^2}\Big[\sum_i\operatorname{Var}Y_i+\sum_{i\ne j}\operatorname{Cov}(Y_i,Y_j)\Big]. Var ( n 1 ∑ Y i ) = n 2 1 [ ∑ i Var Y i + ∑ i = j Cov ( Y i , Y j ) ] . 獨立性令所有協方差為零,因此方差等於 Var ( Y 1 ) / n \operatorname{Var}(Y_1)/n Var ( Y 1 ) / n 。代入 Var Y 1 = E Y 1 2 − ( E Y 1 ) 2 \operatorname{Var}Y_1=\mathbb{E}Y_1^2-(\mathbb{E}Y_1)^2 Var Y 1 = E Y 1 2 − ( E Y 1 ) 2 ,便得結論。
均值是 f f f 的平滑版本。除非對 K K K 加權平均後 f f f 不變,否則它與 f ( x ) f(x) f ( x ) 的差就是偏差 。方差則衡量假想重複抽樣時,隨機數值 f ^ h ( x ) \hat f_h(x) f ^ h ( x ) 的波動;它不是 Var ( X ) \operatorname{Var}(X) Var ( X ) 。
這個公式有其適用範圍。若數據有依賴性或來自群組,協方差項可能存在,方差公式未必成立;但若觀測值有共同邊際密度 f f f ,均值公式仍成立。
常見錯誤
(由數據選出 h h h 後仍用固定帶寬的矩公式)
若 h h h 由同一樣本選出,f ^ h ^ ( x ) \hat f_{\hat h}(x) f ^ h ^ ( x ) 的各項可能依賴;不聯合分析 h ^ \hat h h ^ 與數據時,固定帶寬方差公式一般不能直接使用。歸一化定理在數據選出的帶寬下仍成立,因為它對每一組實現的樣本都成立;矩公式則不然,因為它們是在 h h h 固定時對樣本取平均。
取樣本 ( 0 , 2 ) (0,2) ( 0 , 2 ) 、h = 1 h=1 h = 1 ,以及 K = φ K=\varphi K = φ ,其中 φ ( u ) = ( 2 π ) − 1 / 2 e − u 2 / 2 \varphi(u)=(2\pi)^{-1/2}e^{-u^2/2} φ ( u ) = ( 2 π ) − 1/2 e − u 2 /2 。利用 φ ( 0 ) ≈ 0.398942 \varphi(0)\approx0.398942 φ ( 0 ) ≈ 0.398942 、φ ( 1 ) ≈ 0.241971 \varphi(1)\approx0.241971 φ ( 1 ) ≈ 0.241971 和 φ ( 2 ) ≈ 0.053991 \varphi(2)\approx0.053991 φ ( 2 ) ≈ 0.053991 ,得
f ^ 1 ( 1 ) = 1 2 [ φ ( 1 ) + φ ( − 1 ) ] = φ ( 1 ) ≈ 0.24197 , \hat f_1(1)=\tfrac12[\varphi(1)+\varphi(-1)]=\varphi(1)\approx0.24197, f ^ 1 ( 1 ) = 2 1 [ φ ( 1 ) + φ ( − 1 )] = φ ( 1 ) ≈ 0.24197 , f ^ 1 ( 0 ) = 1 2 [ φ ( 0 ) + φ ( − 2 ) ] = 0.398942 + 0.053991 2 = 0.2264665. \hat f_1(0)=\tfrac12[\varphi(0)+\varphi(-2)]=\frac{0.398942+0.053991}{2}=0.2264665. f ^ 1 ( 0 ) = 2 1 [ φ ( 0 ) + φ ( − 2 )] = 2 0.398942 + 0.053991 = 0.2264665. 沒有觀測值的中點 x = 1 x=1 x = 1 ,估計值比觀測點 0 0 0 還高。兩個峰對中點的貢獻相等;在 0 0 0 處,遠處的峰貢獻很少。若 h h h 較小,大小次序會反過來。帶寬控制曲線形狀,包括均值漂移法所找到的眾數數目。
設 X ∼ U n i f o r m [ 0 , 1 ] X\sim\mathrm{Uniform}[0,1] X ∼ Uniform [ 0 , 1 ] ,K ( u ) = 1 2 1 { ∣ u ∣ ≤ 1 } K(u)=\tfrac12\mathbf 1\{|u|\le1\} K ( u ) = 2 1 1 { ∣ u ∣ ≤ 1 } ,故 K h ( x − X i ) = 1 2 h 1 { ∣ x − X i ∣ ≤ h } K_h(x-X_i)=\frac1{2h}\mathbf 1\{|x-X_i|\le h\} K h ( x − X i ) = 2 h 1 1 { ∣ x − X i ∣ ≤ h } ,並取 0 < h ≤ 1 2 0\lt h\le\tfrac12 0 < h ≤ 2 1 。
內點 x = 1 2 x=\tfrac12 x = 2 1 。 窗口 [ 1 2 − h , 1 2 + h ] [\tfrac12-h,\tfrac12+h] [ 2 1 − h , 2 1 + h ] 位於 [ 0 , 1 ] [0,1] [ 0 , 1 ] 內,故令 Y = K h ( 1 2 − X ) Y=K_h(\tfrac12-X) Y = K h ( 2 1 − X ) ,
E Y = 2 h 2 h = 1 , E Y 2 = 2 h 4 h 2 = 1 2 h , Var f ^ h ( 1 2 ) = 1 n ( 1 2 h − 1 ) . \mathbb{E}Y=\frac{2h}{2h}=1,\qquad \mathbb{E}Y^2=\frac{2h}{4h^2}=\frac1{2h},\qquad \operatorname{Var}\hat f_h(\tfrac12)=\frac1n\Big(\frac1{2h}-1\Big). E Y = 2 h 2 h = 1 , E Y 2 = 4 h 2 2 h = 2 h 1 , Var f ^ h ( 2 1 ) = n 1 ( 2 h 1 − 1 ) . 估計量恰好無偏。主導方差項 f ( x ) R ( K ) / ( n h ) = 1 / ( 2 n h ) f(x)R(K)/(nh)=1/(2nh) f ( x ) R ( K ) / ( nh ) = 1/ ( 2 nh ) 略去了減去的 1 / n 1/n 1/ n 。
邊緣 x = 0 x=0 x = 0 。 窗口只有一半與支持集相交:P ( X ≤ h ) = h P(X\le h)=h P ( X ≤ h ) = h ,故
E Y = h 2 h = 1 2 , E Y 2 = h 4 h 2 = 1 4 h , Var f ^ h ( 0 ) = 1 n ( 1 4 h − 1 4 ) . \mathbb{E}Y=\frac{h}{2h}=\frac12,\qquad \mathbb{E}Y^2=\frac{h}{4h^2}=\frac1{4h},\qquad \operatorname{Var}\hat f_h(0)=\frac1n\Big(\frac1{4h}-\frac14\Big). E Y = 2 h h = 2 1 , E Y 2 = 4 h 2 h = 4 h 1 , Var f ^ h ( 0 ) = n 1 ( 4 h 1 − 4 1 ) . 數值。 取 n = 100 n=100 n = 100 、h = 0.1 h=0.1 h = 0.1 ,內點的方差為 ( 5 − 1 ) / 100 = 0.04 (5-1)/100=0.04 ( 5 − 1 ) /100 = 0.04 ,偏差為零;邊緣的方差為 ( 2.5 − 0.25 ) / 100 = 0.0225 (2.5-0.25)/100=0.0225 ( 2.5 − 0.25 ) /100 = 0.0225 ,而相對於 f ( 0 + ) = 1 f(0+)=1 f ( 0 + ) = 1 的偏差在此範圍內對每個 h h h 都是 − 1 2 -\tfrac12 − 2 1 。在此範圍內改變 h h h 不改變兩處的偏差,只改變方差:邊緣偏差是估計量的性質,而非帶寬的性質。
光滑內點的偏差
假設 (A1) 成立。另假設 K K K 對稱,即 K ( − u ) = K ( u ) K(-u)=K(u) K ( − u ) = K ( u ) ,且 μ 2 = ∫ u 2 K ( u ) d u < ∞ \mu_2=\int u^2K(u)\,du\lt\infty μ 2 = ∫ u 2 K ( u ) d u < ∞ 。最後,假設 f f f 在 R \mathbb{R} R 上二次可微、∣ f ′ ′ ∣ ≤ C |f''|\le C ∣ f ′′ ∣ ≤ C ,並且 f ′ ′ f'' f ′′ 在 x x x 連續。則當 h → 0 h\to0 h → 0 ,
E [ f ^ h ( x ) ] − f ( x ) = h 2 μ 2 2 f ′ ′ ( x ) + o ( h 2 ) . \mathbb{E}[\hat f_h(x)]-f(x)=\frac{h^2\mu_2}{2}f''(x)+o(h^2). E [ f ^ h ( x )] − f ( x ) = 2 h 2 μ 2 f ′′ ( x ) + o ( h 2 ) .
核的一階矩。 由 ∣ u ∣ ≤ 1 + u 2 |u|\le 1+u^2 ∣ u ∣ ≤ 1 + u 2 ,有 ∫ ∣ u ∣ K ≤ 1 + μ 2 < ∞ \int|u|K\le 1+\mu_2\lt\infty ∫ ∣ u ∣ K ≤ 1 + μ 2 < ∞ ;再由對稱性,∫ u K ( u ) d u = 0 \int uK(u)\,du=0 ∫ u K ( u ) d u = 0 。
餘項。 定義
r h ( u ) = f ( x − h u ) − f ( x ) + h u f ′ ( x ) − 1 2 h 2 u 2 f ′ ′ ( x ) . r_h(u)=f(x-hu)-f(x)+hu\,f'(x)-\tfrac12h^2u^2f''(x). r h ( u ) = f ( x − h u ) − f ( x ) + h u f ′ ( x ) − 2 1 h 2 u 2 f ′′ ( x ) . 由帶拉格朗日(Lagrange)餘項的泰勒(Taylor)定理,存在 x x x 與 x − h u x-hu x − h u 之間的 ξ \xi ξ ,使
r h ( u ) = 1 2 h 2 u 2 [ f ′ ′ ( ξ ) − f ′ ′ ( x ) ] . r_h(u)=\tfrac12h^2u^2\,[f''(\xi)-f''(x)]. r h ( u ) = 2 1 h 2 u 2 [ f ′′ ( ξ ) − f ′′ ( x )] . 控制與逐點極限。 由上式,∣ r h ( u ) ∣ / h 2 ≤ C u 2 |r_h(u)|/h^2\le C u^2 ∣ r h ( u ) ∣/ h 2 ≤ C u 2 。固定 u u u 時,h → 0 h\to0 h → 0 令 ξ → x \xi\to x ξ → x ;由 f ′ ′ f'' f ′′ 在 x x x 連續,r h ( u ) / h 2 → 0 r_h(u)/h^2\to0 r h ( u ) / h 2 → 0 。因為 C u 2 K ( u ) Cu^2K(u) C u 2 K ( u ) 可積,控制收斂定理給出 h − 2 ∫ K r h → 0 h^{-2}\int K r_h\to0 h − 2 ∫ K r h → 0 。
合併各項。 對 r h r_h r h 的定義乘上 K K K 積分,並用 ∫ K = 1 \int K=1 ∫ K = 1 和 ∫ u K = 0 \int uK=0 ∫ u K = 0 ,得
E f ^ h ( x ) − f ( x ) = − h f ′ ( x ) ⋅ 0 + 1 2 h 2 μ 2 f ′ ′ ( x ) + ∫ K r h , \mathbb{E}\hat f_h(x)-f(x)=-hf'(x)\cdot0+\tfrac12h^2\mu_2f''(x)+\int K r_h, E f ^ h ( x ) − f ( x ) = − h f ′ ( x ) ⋅ 0 + 2 1 h 2 μ 2 f ′′ ( x ) + ∫ K r h , 最後一項是 o ( h 2 ) o(h^2) o ( h 2 ) 。
證明透視
偏差展開中各假設的作用 證明只有一個想法:在積分內把 f f f 展開到二階,再由 K K K 的各階矩整理各項。每個假設各有一個作用。∫ K = 1 \int K=1 ∫ K = 1 令零階項恰為 f ( x ) f(x) f ( x ) 。K K K 的對稱性消去一階項;若不對稱,偏差會是 h h h 階,即 − h f ′ ( x ) ∫ u K -hf'(x)\int uK − h f ′ ( x ) ∫ u K 。有限二階矩 μ 2 \mu_2 μ 2 提供係數,並透過 ∣ u ∣ ≤ 1 + u 2 |u|\le1+u^2 ∣ u ∣ ≤ 1 + u 2 保證 u K uK u K 可積。
微妙之處在於取極限。f ′ ′ f'' f ′′ 在 x x x 連續只給出逐點極限 r h ( u ) / h 2 → 0 r_h(u)/h^2\to0 r h ( u ) / h 2 → 0 ;真正以 C u 2 Cu^2 C u 2 對每個 u u u 控制餘項的是全局界 ∣ f ′ ′ ∣ ≤ C |f''|\le C ∣ f ′′ ∣ ≤ C ,包括 x − h u x-hu x − h u 離 x x x 很遠的大 u u u 。若只有局部假設,K K K 的遠端尾部可能觸及 f f f 不光滑的區域;均勻密度的邊界正是這種情況。
偏差的符號有助理解平滑:當 f ′ ′ ( x ) < 0 f''(x)\lt0 f ′′ ( x ) < 0 ,主導偏差為負;當 f ′ ′ ( x ) > 0 f''(x)\gt0 f ′′ ( x ) > 0 ,主導偏差為正。局部極值也可能是平坦的,因此其二階導數未必嚴格為正或負。若 f ′ ′ ( x ) = 0 f''(x)=0 f ′′ ( x ) = 0 ,主導項消失,偏差階數更小,以下分析便須重新進行。
方差的漸近行為與一致性
假設 (A1)、(A2) 成立,且 f f f 在 x x x 連續。則當 h → 0 h\to0 h → 0 ,無論相應的 n n n 如何取值,n h Var [ f ^ h ( x ) ] → f ( x ) R ( K ) nh\operatorname{Var}[\hat f_h(x)]\to f(x)R(K) nh Var [ f ^ h ( x )] → f ( x ) R ( K ) 。若 h → 0 h\to0 h → 0 且 n h → ∞ nh\to\infty nh → ∞ ,則 E [ ( f ^ h ( x ) − f ( x ) ) 2 ] → 0 \mathbb{E}[(\hat f_h(x)-f(x))^2]\to0 E [( f ^ h ( x ) − f ( x ) ) 2 ] → 0 。
方差。 由精確公式,
n h Var = ∫ K 2 ( u ) f ( x − h u ) d u − h [ ∫ K f ( x − h u ) ] 2 . nh\operatorname{Var}=\int K^2(u)f(x-hu)\,du-h\Big[\int Kf(x-hu)\Big]^2. nh Var = ∫ K 2 ( u ) f ( x − h u ) d u − h [ ∫ K f ( x − h u ) ] 2 . 右式不含 n n n 。第一個積分的被積函數受 M K 2 MK^2 M K 2 控制,並逐點收斂至 K 2 f ( x ) K^2f(x) K 2 f ( x ) ,故積分趨向 f ( x ) R ( K ) f(x)R(K) f ( x ) R ( K ) 。第二項最多為 h M 2 → 0 hM^2\to0 h M 2 → 0 。
偏差。 偏差為 ∫ K ( u ) [ f ( x − h u ) − f ( x ) ] d u \int K(u)[f(x-hu)-f(x)]\,du ∫ K ( u ) [ f ( x − h u ) − f ( x )] d u 。被積函數的絕對值受 2 M K 2MK 2 M K 控制,並逐點趨向 0 0 0 ,故偏差趨向 0 0 0 。
均方誤差。 由方差極限,Var = O ( 1 / ( n h ) ) → 0 \operatorname{Var}=O(1/(nh))\to0 Var = O ( 1/ ( nh )) → 0 。均方誤差等於偏差平方加方差,故也趨向 0 0 0 。
當 f ( x ) > 0 f(x)\gt0 f ( x ) > 0 ,可寫成 Var ∼ f ( x ) R ( K ) / ( n h ) \operatorname{Var}\sim f(x)R(K)/(nh) Var ∼ f ( x ) R ( K ) / ( nh ) 。當 f ( x ) = 0 f(x)=0 f ( x ) = 0 ,定理只給出 Var = o ( 1 / ( n h ) ) \operatorname{Var}=o(1/(nh)) Var = o ( 1/ ( nh )) ;此時寫成上述漸近等價式並無意義。
主導項給出的帶寬
設 f ( x ) > 0 f(x)\gt0 f ( x ) > 0 、f ′ ′ ( x ) ≠ 0 f''(x)\ne0 f ′′ ( x ) = 0 ,並滿足上述兩個定理的假設。只保留主導項,得到近似 均方誤差
A M S E ( h ) = μ 2 2 f ′ ′ ( x ) 2 4 h 4 + f ( x ) R ( K ) n h . \mathrm{AMSE}(h)=\frac{\mu_2^2f''(x)^2}{4}h^4+\frac{f(x)R(K)}{nh}. AMSE ( h ) = 4 μ 2 2 f ′′ ( x ) 2 h 4 + nh f ( x ) R ( K ) .
記 A = μ 2 2 f ′ ′ ( x ) 2 A=\mu_2^2f''(x)^2 A = μ 2 2 f ′′ ( x ) 2 及 B = f ( x ) R ( K ) B=f(x)R(K) B = f ( x ) R ( K ) 。令導數 A h 3 − B / ( n h 2 ) Ah^3-B/(nh^2) A h 3 − B / ( n h 2 ) 為零,得
h opt = [ f ( x ) R ( K ) n μ 2 2 f ′ ′ ( x ) 2 ] 1 / 5 . h_{\text{opt}}=\left[\frac{f(x)R(K)}{n\mu_2^2f''(x)^2}\right]^{1/5}. h opt = [ n μ 2 2 f ′′ ( x ) 2 f ( x ) R ( K ) ] 1/5 .
二階導數為正,故這是 AMSE 在 ( 0 , ∞ ) (0,\infty) ( 0 , ∞ ) 上唯一的最小點。在 h opt h_{\text{opt}} h opt ,方差項等於 A h 4 Ah^4 A h 4 ,是偏差平方項的四倍,故 A M S E = 5 4 A h opt 4 \mathrm{AMSE}=\tfrac54Ah_{\text{opt}}^4 AMSE = 4 5 A h opt 4 ,其階數為 n − 4 / 5 n^{-4/5} n − 4/5 。
公式展示了權衡:減小 h h h 可縮小平滑偏差,卻增加以 1 / ( n h ) 1/(nh) 1/ ( nh ) 階數增長的方差。固定 h h h 時增加 n n n 會降低方差,因而平衡點移向較小的 h h h 。
這只是主導項之間的平衡。公式依賴未知的 f ( x ) f(x) f ( x ) 和 f ′ ′ ( x ) f''(x) f ′′ ( x ) ,且是逐點的;對 x x x 積分會得到不同常數。它不是精確有限樣本 MSE 的最小點。當 f ′ ′ ( x ) = 0 f''(x)=0 f ′′ ( x ) = 0 或接近邊界時,形式會改變;它也不保證全局最優。
可選 能否勝過 n 的負五分之四次方這個速率? 可以,只要核的二階矩為零;但這樣的核必然取負值。
自然延伸的下一個問題
能否勝過 n 的負五分之四次方這個速率? 可以,只要核的二階矩為零;但這樣的核必然取負值。
若除了 ∫ u K = 0 \int uK=0 ∫ u K = 0 之外還有 ∫ u 2 K = 0 \int u^2K=0 ∫ u 2 K = 0 ,h 2 h^2 h 2 偏差項便消失;當 f f f 有四階有界導數時,偏差為 O ( h 4 ) O(h^4) O ( h 4 ) ,與 1 / ( n h ) 1/(nh) 1/ ( nh ) 平衡後均方誤差的階為 n − 8 / 9 n^{-8/9} n − 8/9 。例如 K ( u ) = 1 2 ( 3 − u 2 ) φ ( u ) K(u)=\tfrac12(3-u^2)\varphi(u) K ( u ) = 2 1 ( 3 − u 2 ) φ ( u ) 滿足 ∫ K = 1 \int K=1 ∫ K = 1 及 ∫ u 2 K = 1 2 ( 3 − 3 ) = 0 \int u^2K=\tfrac12(3-3)=0 ∫ u 2 K = 2 1 ( 3 − 3 ) = 0 。代價是當 ∣ u ∣ > 3 |u|\gt\sqrt3 ∣ u ∣ > 3 時 K < 0 K\lt0 K < 0 ,所以 f ^ h \hat f_h f ^ h 可以為負:歸一化定理仍給出 ∫ f ^ h = 1 \int\hat f_h=1 ∫ f ^ h = 1 ,卻失去 f ^ h ≥ 0 \hat f_h\ge0 f ^ h ≥ 0 。
關閉
設 f = φ f=\varphi f = φ 、K = φ K=\varphi K = φ 、x = 0 x=0 x = 0 及 n = 100 n=100 n = 100 。則 μ 2 = 1 \mu_2=1 μ 2 = 1 、R ( K ) = 1 / ( 2 π ) ≈ 0.282095 R(K)=1/(2\sqrt\pi)\approx0.282095 R ( K ) = 1/ ( 2 π ) ≈ 0.282095 。由 f ′ ′ ( 0 ) = − f ( 0 ) f''(0)=-f(0) f ′′ ( 0 ) = − f ( 0 ) ,
h opt = [ R ( K ) 100 f ( 0 ) ] 1 / 5 = [ 2 / 2 100 ] 1 / 5 ≈ 0.37145. h_{\text{opt}}=\left[\frac{R(K)}{100\,f(0)}\right]^{1/5}=\left[\frac{\sqrt2/2}{100}\right]^{1/5}\approx0.37145. h opt = [ 100 f ( 0 ) R ( K ) ] 1/5 = [ 100 2 /2 ] 1/5 ≈ 0.37145. 這是預知真相(oracle )的數值:計算用到了分析者無法事先知道的 f f f ,它並非實際選出的帶寬。
精確偏差。 這裏可以計算精確矩。均值 E f ^ h ( 0 ) = ∫ φ ( u ) φ ( h u ) d u \mathbb{E}\hat f_h(0)=\int\varphi(u)\varphi(hu)\,du E f ^ h ( 0 ) = ∫ φ ( u ) φ ( h u ) d u 是 N ( 0 , 1 + h 2 ) N(0,1+h^2) N ( 0 , 1 + h 2 ) 密度在 0 0 0 的值,約為 0.37398 0.37398 0.37398 。故精確偏差約為 − 0.0250 -0.0250 − 0.0250 ,而主導項 − 1 2 h 2 f ( 0 ) -\tfrac12h^2f(0) − 2 1 h 2 f ( 0 ) 約為 − 0.0275 -0.0275 − 0.0275 。
精確方差。 所需二階矩為 1 h ∫ φ 2 ( u ) φ ( h u ) d u = ( 2 π ) − 3 / 2 h π / ( 1 + h 2 / 2 ) ≈ 0.29304 \frac1h\int\varphi^2(u)\varphi(hu)\,du=\frac{(2\pi)^{-3/2}}{h}\sqrt{\pi/(1+h^2/2)}\approx0.29304 h 1 ∫ φ 2 ( u ) φ ( h u ) d u = h ( 2 π ) − 3/2 π / ( 1 + h 2 /2 ) ≈ 0.29304 。減去均值平方再除以 100 100 100 ,得
Var ≈ 0.29304 − 0.13986 100 ≈ 0.00153. \operatorname{Var}\approx\frac{0.29304-0.13986}{100}\approx0.00153. Var ≈ 100 0.29304 − 0.13986 ≈ 0.00153. 主導項則預測 0.00303 0.00303 0.00303 。
比較。 精確 MSE 約為 0.00216 0.00216 0.00216 ,AMSE 則約為 0.00379 0.00379 0.00379 。在 n = 100 n=100 n = 100 時,減去的平方項 [ E Y 1 ] 2 / n [\mathbb{E}Y_1]^2/n [ E Y 1 ] 2 / n 遠未小至可以忽略。漸近式描述的是階數;精確公式描述的是此樣本數下的情況。
邊界反例
反例模式
支持集邊緣的均勻數據 設 X ∼ U n i f o r m [ 0 , 1 ] X\sim\mathrm{Uniform}[0,1] X ∼ Uniform [ 0 , 1 ] 、K = φ K=\varphi K = φ 及 x = 0 x=0 x = 0 。以 Φ \Phi Φ 表示標準正態分布函數,則
E f ^ h ( 0 ) = ∫ 0 1 1 h φ ( y h ) d y = Φ ( 1 / h ) − 1 2 ⟶ 1 2 ( h → 0 ) . \mathbb{E}\hat f_h(0)=\int_0^1\frac1h\varphi\!\left(\frac yh\right)dy=\Phi(1/h)-\tfrac12\;\longrightarrow\;\tfrac12\quad(h\to0). E f ^ h ( 0 ) = ∫ 0 1 h 1 φ ( h y ) d y = Φ ( 1/ h ) − 2 1 ⟶ 2 1 ( h → 0 ) . 真實密度在邊界的右極限為 1 1 1 。單點的「f ( 0 ) f(0) f ( 0 ) 」本身可任意指定,因為改變密度在一點的值不改變分布。因此,應把這裏的差異與極限 f ( 0 + ) = 1 f(0+)=1 f ( 0 + ) = 1 比較。
核窗口有一半落在數據不可能出現的地方,因此估計量把左極限 0 0 0 與右極限 1 1 1 平均。平滑也會把質量放到 [ 0 , 1 ] [0,1] [ 0 , 1 ] 之外。偏差定理在此不適用:f f f 在 0 0 0 不二次可微,故其全局假設不成立。
內點的行為不同。在 x = 1 2 x=\tfrac12 x = 2 1 ,精確計算得到
E f ^ h ( 1 2 ) − 1 = − 2 [ 1 − Φ ( 1 / ( 2 h ) ) ] , \mathbb{E}\hat f_h(\tfrac12)-1=-2[1-\Phi(1/(2h))], E f ^ h ( 2 1 ) − 1 = − 2 [ 1 − Φ ( 1/ ( 2 h ))] , 這是指數小的。結果符合局部曲率為零的直觀,但對均勻密度而言,上述全局光滑假設仍不成立。
邊界修正。 一個補救方法是反射法:對 x ≥ 0 x\ge0 x ≥ 0 ,令 f ^ ( x ) = 1 n ∑ [ K h ( x − X i ) + K h ( x + X i ) ] \hat f(x)=\frac1n\sum[K_h(x-X_i)+K_h(x+X_i)] f ^ ( x ) = n 1 ∑ [ K h ( x − X i ) + K h ( x + X i )] 。本例中,它在 0 0 0 的均值為 2 Φ ( 1 / h ) − 1 → 1 2\Phi(1/h)-1\to1 2Φ ( 1/ h ) − 1 → 1 。反射和重新歸一化只有在邊界及 f f f 的局部形狀滿足明確假設時才有幫助;兩者都不能保證一般情況下無偏。
從數據選擇 h h h
實際上 h h h 由數據選出。一個合理的基準方法是使用留出的數據:
把樣本分為訓練集與驗證集。
對每個候選 h h h ,在訓練集上擬合 f ^ h \hat f_h f ^ h 。
用驗證集的對數似然 ∑ j log f ^ h ( Y j ) \sum\limits_j\log\hat f_h(Y_j) j ∑ log f ^ h ( Y j ) 評分。
任何預處理,例如中心化或尺度變換,都必須只在訓練集上估計,再不作改動地套用至驗證集;否則驗證集的資訊會洩漏到擬合過程。
驗證分數本身亦有雜訊,不能自動保證校準。若數據有時間或群組依賴,隨機分割可能洩漏資訊,而獨立同分布數據的一致性結果亦不能自動沿用。
密度估計描述測量值如何分布,不能支持有關干預後結果的因果聲稱。
練習
練習 7.8.9
(設 K ( u ) = 1 2 K(u)=\tfrac12 K ( u ) = 2 1 (當 ∣ u ∣ ≤ 1 |u|\le1 ∣ u ∣ ≤ 1 ),其餘地方 K ( u ) = 0 K(u)=0 K ( u ) = 0 ,端點如式所示包含在內。樣本為 ( 0 , 2 ) (0,2) ( 0 , 2 ) ,h = 1 h=1 h = 1 ,計算 f ^ 1 ( 0 ) \hat f_1(0) f ^ 1 ( 0 ) 和 f ^ 1 ( 1 ) \hat f_1(1) f ^ 1 ( 1 ) 。)
基礎
解答 (3) 1 在 0 0 0 處求值
f ^ 1 ( 0 ) = 1 2 [ K ( 0 ) + K ( − 2 ) ] = 1 2 ( 1 2 + 0 ) = 1 4 . \hat f_1(0)=\tfrac12[K(0)+K(-2)]=\tfrac12\left(\tfrac12+0\right)=\tfrac14. f ^ 1 ( 0 ) = 2 1 [ K ( 0 ) + K ( − 2 )] = 2 1 ( 2 1 + 0 ) = 4 1 . 2 在 1 1 1 處求值
f ^ 1 ( 1 ) = 1 2 [ K ( 1 ) + K ( − 1 ) ] = 1 2 ( 1 2 + 1 2 ) = 1 2 . \hat f_1(1)=\tfrac12[K(1)+K(-1)]=\tfrac12\left(\tfrac12+\tfrac12\right)=\tfrac12. f ^ 1 ( 1 ) = 2 1 [ K ( 1 ) + K ( − 1 )] = 2 1 ( 2 1 + 2 1 ) = 2 1 . 3 端點約定
點 1 1 1 位於兩個窗口均包含的邊界上。若端點不包含在內,f ^ 1 ( 1 ) \hat f_1(1) f ^ 1 ( 1 ) 會是 0 0 0 。核不連續處的逐點值依賴約定,但積分不受影響。
看下一步 (2/3) 全部展開
練習 7.8.10
(求箱形核的 μ 2 \mu_2 μ 2 和 R ( K ) R(K) R ( K ) 。直接驗證上一題的樣本滿足 ∫ f ^ 1 = 1 \int\hat f_1=1 ∫ f ^ 1 = 1 ,並解釋為何這對所有樣本和所有 h h h 都成立。)
基礎
解答 (3) 1 核的常數
μ 2 = ∫ − 1 1 1 2 u 2 d u = 1 3 , R ( K ) = ∫ − 1 1 1 4 d u = 1 2 . \mu_2=\int_{-1}^1\tfrac12u^2\,du=\tfrac13,\qquad R(K)=\int_{-1}^1\tfrac14\,du=\tfrac12. μ 2 = ∫ − 1 1 2 1 u 2 d u = 3 1 , R ( K ) = ∫ − 1 1 4 1 d u = 2 1 . 2 直接驗證
此處 f ^ 1 = 1 4 1 [ − 1 , 1 ] + 1 4 1 [ 1 , 3 ] \hat f_1=\tfrac14\mathbf 1_{[-1,1]}+\tfrac14\mathbf 1_{[1,3]} f ^ 1 = 4 1 1 [ − 1 , 1 ] + 4 1 1 [ 1 , 3 ] ,而在 x = 1 x=1 x = 1 的重疊只有一點,因此 ∫ f ^ 1 = 1 4 ⋅ 2 + 1 4 ⋅ 2 = 1 \int\hat f_1=\tfrac14\cdot2+\tfrac14\cdot2=1 ∫ f ^ 1 = 4 1 ⋅ 2 + 4 1 ⋅ 2 = 1 。
3 一般原因
代入 u = ( x − x i ) / h u=(x-x_i)/h u = ( x − x i ) / h ,每個 i i i 都滿足 ∫ K h ( x − x i ) d x = ∫ K = 1 \int K_h(x-x_i)\,dx=\int K=1 ∫ K h ( x − x i ) d x = ∫ K = 1 。將 n n n 個 1 1 1 平均便得 1 1 1 ,與數據及 h h h 無關。
看下一步 (2/3) 全部展開
練習 7.8.11
(證明獨立同分布各項的平均值有方差 Var ( Y 1 ) / n \operatorname{Var}(Y_1)/n Var ( Y 1 ) / n 。利用此結果推導 f ^ h ( x ) \hat f_h(x) f ^ h ( x ) 的精確方差,並解釋當 h = h ^ ( X 1 , … , X n ) h=\hat h(X_1,\dots,X_n) h = h ^ ( X 1 , … , X n ) 時,結果為何可能失效。)
核心
解答 (3) 1 平均值的方差
Var ( Y ˉ ) = n − 2 [ ∑ i Var Y i + ∑ i ≠ j Cov ( Y i , Y j ) ] = Var ( Y 1 ) n . \operatorname{Var}(\bar Y)=n^{-2}\Big[\sum_i\operatorname{Var}Y_i+\sum_{i\ne j}\operatorname{Cov}(Y_i,Y_j)\Big]=\frac{\operatorname{Var}(Y_1)}{n}. Var ( Y ˉ ) = n − 2 [ i ∑ Var Y i + i = j ∑ Cov ( Y i , Y j ) ] = n Var ( Y 1 ) . 依據: 獨立性消去協方差,同分布令 n n n 個方差相等。
2 一項的矩
令 Y i = K h ( x − X i ) Y_i=K_h(x-X_i) Y i = K h ( x − X i ) ,代入 y = x − h u y=x-hu y = x − h u 得
E Y 1 = ∫ K f ( x − h u ) d u , E Y 1 2 = h − 1 ∫ K 2 f ( x − h u ) d u , \mathbb{E}Y_1=\int Kf(x-hu)\,du,\qquad \mathbb{E}Y_1^2=h^{-1}\int K^2f(x-hu)\,du, E Y 1 = ∫ K f ( x − h u ) d u , E Y 1 2 = h − 1 ∫ K 2 f ( x − h u ) d u , 減去均值平方便得到所述公式。
3 依賴數據的帶寬
若 h ^ \hat h h ^ 依賴樣本,各項 K h ^ ( x − X i ) K_{\hat h}(x-X_i) K h ^ ( x − X i ) 共同使用一個依賴數據的隨機帶寬。它們可能不獨立,分布也未必與固定 h h h 時的各項相同。因此推導未必適用,必須聯合分析 ( h ^ , X 1 , … , X n ) (\hat h,X_1,\dots,X_n) ( h ^ , X 1 , … , X n ) 。
看下一步 (2/3) 全部展開
練習 7.8.12
(設 X ∼ U n i f o r m [ 0 , 1 ] X\sim\mathrm{Uniform}[0,1] X ∼ Uniform [ 0 , 1 ] ,使用高斯核,推導 E f ^ h ( 0 ) \mathbb{E}\hat f_h(0) E f ^ h ( 0 ) 。解釋為何 0 0 0 處的密度不是內在確定的量。令 f ^ ( 0 ) = 0 \hat f(0)=0 f ^ ( 0 ) = 0 ,或另選 h h h ,能否修正相對於 f ( 0 + ) f(0+) f ( 0 + ) 的偏差?)
核心
解答 (3) 1 邊緣處的均值
與反例相同的積分給出 Φ ( 1 / h ) − 1 2 \Phi(1/h)-\tfrac12 Φ ( 1/ h ) − 2 1 。
2 0 0 0 處密度的含義
密度只在相差勒貝格測度零的集合以外唯一確定。在 0 0 0 指定任何值都得到同一分布,故 f ( 0 ) f(0) f ( 0 ) 不是內在確定的量;內在的邊界量是右極限 f ( 0 + ) = 1 f(0+)=1 f ( 0 + ) = 1 。
3 兩種修正都無效
令 f ^ ( 0 ) = 0 \hat f(0)=0 f ^ ( 0 ) = 0 只改變一點,不改變任何積分,卻令估計值離 1 1 1 更遠。另選 h h h 也無濟於事:對每個 h > 0 h\gt0 h > 0 ,Φ ( 1 / h ) < 1 \Phi(1/h)\lt1 Φ ( 1/ h ) < 1 ,所以均值始終小於 1 2 \tfrac12 2 1 ,而相對於 f ( 0 + ) f(0+) f ( 0 + ) 的偏差 Φ ( 1 / h ) − 3 2 \Phi(1/h)-\tfrac32 Φ ( 1/ h ) − 2 3 對每個帶寬都小於 − 1 2 -\tfrac12 − 2 1 ,且隨 h h h 增大而惡化。例如 h = 1 h=1 h = 1 時均值約為 0.341 0.341 0.341 ,h = 0.5 h=0.5 h = 0.5 時約為 0.477 0.477 0.477 。要處理此缺陷,須改變估計量,例如在所述假設下使用反射法。
看下一步 (2/3) 全部展開
小結
對每組樣本,核密度估計都是一個密度。其均值是經核平滑的 f f f ;當 h h h 固定且數據獨立同分布,其精確方差為 1 n { 1 h ∫ K 2 f ( x − h u ) d u − [ ∫ K f ( x − h u ) d u ] 2 } \frac1n\{\frac1h\int K^2f(x-hu)\,du-[\int Kf(x-hu)\,du]^2\} n 1 { h 1 ∫ K 2 f ( x − h u ) d u − [ ∫ K f ( x − h u ) d u ] 2 } 。在光滑內點,偏差近似 1 2 h 2 μ 2 f ′ ′ ( x ) \tfrac12h^2\mu_2f''(x) 2 1 h 2 μ 2 f ′′ ( x ) ,方差近似 f ( x ) R ( K ) / ( n h ) f(x)R(K)/(nh) f ( x ) R ( K ) / ( nh ) 。平衡主導項得到預知真相的 h opt ∝ n − 1 / 5 h_{\text{opt}}\propto n^{-1/5} h opt ∝ n − 1/5 ,並非普遍適用的選擇法。
在支持集邊界、f ′ ′ ( x ) = 0 f''(x)=0 f ′′ ( x ) = 0 的點、使用依賴數據的帶寬或依賴性抽樣時,各項結論都須重新推導。