為甚麼要重抽樣?
先前討論抽樣風險時,我們把樣本平均數 Xˉ=n−1i=1∑nXi 視為隨機變量。若 X1,…,Xn 獨立同分布,平均數為 μ,方差 σ2 有限,則 Var(Xˉ)=σ2/n。標準誤 σ/n 描述的是:假想整個數據收集過程重複多次,Xˉ 通常離 μ 有多遠。置信區間正是利用這個量構造的。
但還有兩個困難。首先,σ2 是未知的總體性質。其次,對中位數、截尾平均數、比率或已擬合分類器的準確率等統計量,往往沒有簡單的方差公式。非參數自助法(bootstrap)用手上已有的數據構造一個人造抽樣實驗,以處理這些問題。
樣本平均數是學習此法的好起點:這時每個自助量都可精確計算,我們因而能看清自助法估計甚麼、它與傳統標準誤有何關係,以及它在哪些情況下可能失效。
兩層隨機性
先固定觀察到的實數 x1,…,xn,其中 n≥2。記
xˉ=n1i=1∑nxi,vn=n1i=1∑n(xi−xˉ)2,S2=n−11i=1∑n(xi−xˉ)2.
vn 和 S2 由同一個平方和計算,只是除數不同,因此 vn=(n−1)S2/n。
經驗分布 F^n 在每個觀察值上放置質量 1/n;相同數值出現多次時,其質量累加。要得到一個自助樣本,獨立、均勻地從 {1,…,n} 抽取指標 I1,…,In,然後令 Xj∗=xIj。等價地說,就是從 F^n 有放回地抽取 n 個值。自助平均數為 Xˉ∗=n−1j=1∑nXj∗。
星號記號 P∗、E∗、Var∗ 表示給定數據後,僅就重抽樣而言的概率、期望和方差。此時 xi 固定不變,隨機的只有抽到哪些指標。這個條件世界必須與原本的抽樣世界分開:在後者,數據本身也是隨機的。
還要分清兩個數目:
- n 是每個自助樣本的大小,等於原樣本量,因為我們要模仿以 n 個觀察值計算的統計量。
- B 是電腦抽取的自助樣本數,控制蒙地卡羅(Monte Carlo)精度,並不增加原數據所含的資訊。
精確的條件矩
給定觀察數據,對每個 j=1,…,n,
E∗(Xj∗)=xˉ,Var∗(Xj∗)=vn,而且
E∗(Xˉ∗)=xˉ,Var∗(Xˉ∗)=nvn=n2(n−1)S2.
由於 Ij 均勻分布於 {1,…,n},抽出的 Xj∗=xIj 滿足
E∗(Xj∗)=i=1∑nn1xi=xˉ.按指標而非不同數值求和,便自動處理了相同觀察值:出現兩次的值貢獻兩次。
至於方差,
Var∗(Xj∗)=E∗[(Xj∗−xˉ)2]=i=1∑nn1(xi−xˉ)2=vn.除數是 n 而不是 n−1,因為我們把 F^n 當作平均數已知為 xˉ 的確切總體。在重抽樣世界內沒有估計總體平均數的問題,所以不作自由度修正。
由線性性,E∗(Xˉ∗)=n−1j∑xˉ=xˉ。指標 I1,…,In 互相獨立,因此 Xj∗ 在條件下獨立,方差可以相加:
Var∗(Xˉ∗)=n21j=1∑nvn=nvn.代入 vn=(n−1)S2/n 便得到最後一式。
因此平均數的自助標準誤為 vn/n。它只依賴數據;式中沒有總體參數,因為重抽樣世界只知道 F^n。
概念視角組合
把自助樣本看成計數向量
重要的只是每個指標被抽中的次數。設 Ni 為指標 i 被抽中的次數,則 (N1,…,Nn) 服從試驗次數為 n、各概率為 1/n 的多項分布,且 Xˉ∗=n−1i∑Nixi。由 Var∗Ni=(n−1)/n 及 i=k 時 Cov∗(Ni,Nk)=−1/n,可重新得到 Var∗Xˉ∗=n−2[i∑xi2−nxˉ2]=vn/n。計數向量共有 (n2n−1) 個;n=2 時有三個,對應下面例子中 Xˉ∗ 的三個取值。
例題 7.7.3
(數據集 (0,2))
令 n=2,x1=0,x2=2,則 xˉ=1。離差為 −1 和 1,平方和為 2,故 vn=2/2=1,S2=2/1=2。
一個自助樣本是按次序抽出的兩個值;以下四對各有概率 1/4:
因此 Xˉ∗ 取值 0,1,2 的概率分別為 1/4,1/2,1/4。其條件平均數是 1=xˉ,條件方差為
41(0−1)2+21(1−1)2+41(2−1)2=21,與 vn/n=1/2 和 (n−1)S2/n2=2/4 一致。
自助標準誤是 1/2≈0.707,傳統代入式標準誤則是 S/n=2/2=1,兩者相差因子 (n−1)/n=1/2。
這兩個數都不是總體標準差。如果沒有說明 0 和 2 如何產生的模型,這裏的計算並不能告訴我們 σ2。
回到原本的抽樣風險
自助方差 vn/n 由數據計算,因此我們可以問:當數據本身是隨機的,它會如何表現?假設 X1,…,Xn 獨立同分布,平均數為 μ、方差 σ2 有限,並以 Vn=n−1i∑(Xi−Xˉ)2 表示 vn 的隨機版本。
在獨立同分布且方差 σ2 有限的抽樣下,
E[nVn]=n2(n−1)σ2=nn−1⋅Var(Xˉ).平均而言,樣本平均數的精確自助方差為真實抽樣方差的 (n−1)/n 倍,故有所低估。
以 μ 為中心展開:
i=1∑n(Xi−Xˉ)2=i=1∑n(Xi−μ)2−n(Xˉ−μ)2.這是因為交叉項為
−2(Xˉ−μ)i∑(Xi−μ)=−2n(Xˉ−μ)2,與 +n(Xˉ−μ)2 合併後便得上式。
取期望。每一項 E(Xi−μ)2=σ2,而 E(Xˉ−μ)2=Var(Xˉ)=σ2/n,所以
Ei∑(Xi−Xˉ)2=nσ2−σ2=(n−1)σ2.除以 n 得 EVn=(n−1)σ2/n,再除以 n 即得結論。與 σ2/n 比較,比例為 (n−1)/n。
證明透視
失去的一個自由度到了哪裏
證明中的恆等式把數據圍繞未知 μ 的離散程度分成兩部分:圍繞樣本平均數的離散程度,以及 n(Xˉ−μ)2,即估計 μ 所吸收的部分。後者的期望恰為 σ2,相當於一個觀察值的方差,所以殘差平方和的期望是 (n−1)σ2 而非 nσ2。
重抽樣世界從不付出這個代價。在其中 F^n 的平均數是確切已知的,所以自助法除以 n,vn/n 便繼承了這個不足。證明只用到觀察值互不相關及方差有限,不需要正態性。把 vn/n 乘以 n/(n−1) 便得 S2/n,因此同一論證也是 S2 為 σ2 無偏估計量的熟悉證明。
例題 7.7.5
(在 n=2 時直接核對偏低因子)
此時 Xˉ=(X1+X2)/2,兩個離差分別為 ±(X1−X2)/2,所以 V2=(X1−X2)2/4。
獨立性給出 E(X1−X2)2=Var(X1)+Var(X2)=2σ2,因為交叉項 −2E[(X1−μ)(X2−μ)] 為零。故 EV2=σ2/2,E[V2/2]=σ2/4。真實方差為 Var(Xˉ)=σ2/2,兩者比例確為 1/2=(n−1)/n。對數據集 (0,2),這正是前面兩個標準誤之間的因子 1/2。
解讀這個結果時要注意三點:
- 這是關於期望的陳述。 對某一組數據,vn/n 可以大於 σ2/n,也可以遠低於它。
- 相對不足的比例 1/n 隨 n 增大而消失,因為 (n−1)/n→1。但 n 小時不可忽略;例如 n=5 時,自助方差平均低 20%。
- 這結果專屬於樣本平均數。 對其他統計量,並無一般規則保證自助方差一定保守或一定偏低。中位數和最大值的情形須另行研究,表現可能截然不同。
蒙地卡羅這一層
平均數的 Var∗(Xˉ∗) 有封閉公式;大多數統計量 θ^=t(x1,…,xn) 則沒有,所以我們用模擬。給定數據後,獨立抽取 B≥2 個自助樣本,計算重複值 θ1∗,…,θB∗。令
θˉ∗=B1b=1∑Bθb∗,sB2=B−11b=1∑B(θb∗−θˉ∗)2.
給定數據,假設 θ1∗,…,θB∗ 獨立,且共同條件平均數為 m∗,有限條件方差為 τ2=Var∗(θ1∗),則 E∗(sB2)=τ2。
在 P∗ 下使用之前同一個恆等式:
b=1∑B(θb∗−θˉ∗)2=b=1∑B(θb∗−m∗)2−B(θˉ∗−m∗)2.第一個和式的每一項,條件期望均為 τ2。由條件獨立性,Var∗(θˉ∗)=τ2/B,故右邊的條件期望為 Bτ2−τ2=(B−1)τ2。除以 B−1 即完成證明;實際上兩兩不相關已足夠。
這裏的目標是條件自助方差 τ2,不是總體抽樣方差。無偏不代表 sB2 精確等於目標:它仍然是隨機數。在條件四階矩有限時,其自身的條件方差為 O(1/B);本節平均數的經驗重抽樣空間有限,所以滿足此條件。
有限的 B 會在自助法本身的誤差之上加入蒙地卡羅變動。增大 B 能在極限下減少前者,卻不能消除後者。對數據集 (0,2),當 B→∞ 時 sB2 趨向精確自助方差 1/2,而相對於傳統的 S2/n=1 的因子 (n−1)/n=1/2 依然存在。對下面反例中全為零的 Bernoulli 樣本,任何 B 都給出 sB2=0。
若採用 B−1b∑(θb∗−θˉ∗)2,其條件期望為 (B−1)τ2/B。B 大時與 sB2 的差別不大,但報告仍應說明使用哪個慣例。
上述證明假設給定數據後,B 次重抽樣互相獨立;這種獨立性由算法建立,並不表示原始觀察值互相獨立。後者取決於抽樣設計,下文會討論。
自助置信區間
令 G∗(t)=P∗(θ^∗≤t) 為自助統計量的條件分布函數,以下列左連續反函數定義其分位數:
qp∗=inf{t:G∗(t)≥p},0<p<1.
對標稱水平 1−α:
- 百分位區間為 [qα/2∗, q1−α/2∗];
- 基本區間為 [2θ^−q1−α/2∗, 2θ^−qα/2∗]。它把自助分位數以 θ^ 為中心反射,並以 θ^∗−θ^ 近似 θ^−θ。
模擬時,以 B 個重複值的經驗分布代替 G∗,於是需要選定次序統計量的慣例,例如 qp∗≈θ(⌈pB⌉)∗。不同軟件可能採用不同慣例。
上面的方差恆等式並不保證覆蓋率。實際覆蓋率受多個因素影響:
- 樣本量;
- G∗ 的離散性,可能令標稱水平無法準確達到;
- θ^ 的偏差與偏斜;
- 極值統計量的問題:直接重抽樣在此類情況已知可能表現欠佳;
- 獨立同分布抽樣模型是否正確。
例題 7.7.8
(數據集 (0,2) 的百分位區間)
這裏 G∗ 在 0、1、2 處的跳躍分別為 1/4、1/2、1/4,故 G∗(0)=1/4、G∗(1)=3/4、G∗(2)=1。
90% 水平。 由 G∗(0)=1/4≥0.05 得 q0.05∗=0;由 G∗(1)=3/4<0.95≤G∗(2) 得 q0.95∗=2。百分位區間是 [0,2]。它在 G∗ 下的條件概率是 1 而非 0.90,因為 G∗ 在值 2 處由 3/4 直接跳至 1。由 θ^=1,基本區間 [2−2,2−0] 也是 [0,2]。
50% 水平。 q0.25∗=0、q0.75∗=1,故百分位區間是 [0,1],其條件概率為 P∗(Xˉ∗≤1)=3/4,而非 1/2。可取得的條件概率是相鄰跳躍 1/4、1/2、1/4 之和,所以大多數標稱水平都無法準確達到。
數據給出虛假確定感的時候
反例模式
未被觀察到的罕見值
令 X1,…,Xn 獨立同分布,服從 Bernoulli(0.1),n 固定。樣本平均數的真實方差為 0.1×0.9/n=0.09/n>0。
所有觀察值均為 0 的事件概率是 0.9n。在此事件上:
- F^n 是集中在 0 的點質量;
- 每個自助樣本都只有零;
- Xˉ∗=0 的條件概率為 1;
- vn/n=0,任何 sB2 也等於 0;
- 百分位區間與基本區間都縮成 {0}。
對於一個實際上會隨樣本改變的量,此程序卻報告完全確定。
自助法不能抽出從未觀察過的值。它只探索數據的支持集,因此看不到未觀察到的尾部或罕見類別行為。
這個反例顯示某些數據集會產生虛假的確定感;它並沒有顯示自助法對每個樣本都失效,也沒有否定大樣本理論。對指定的 Bernoulli(0.1) 總體,隨 n 增大,全部為零的事件會愈來愈罕見。同樣,樣本方差為零並不能證明總體是常數,只表示這個樣本沒有變異。
自助法的目標及其界限
非參數自助法計算的是給定觀察到的經驗分布後,重抽樣分布的性質。把它們當作 θ^ 的真實抽樣分布的近似,是額外的建模步驟。這一步依賴觀察值為獨立同分布樣本,使 F^n 能合理代替未知的 F;也依賴 θ^ 是適合用這種代入方法處理的統計量。
重抽樣設計必須反映實際的數據生成結構:
- 群組數據。 每名病人、每所學校或每位用戶有多行數據時,可能須重抽獨立群組而非個別行。逐行重抽會破壞群組內的依賴關係,可能錯估變異;其有效性取決於抽樣設計。
- 時間序列。 有序列依賴的數據需要保留依賴關係的方法,例如區塊重抽樣。
- 完整流程。 評估整個程序時,每個由數據決定的步驟都須在每次重抽樣中重新進行,包括標準化、缺失值填補、特徵選擇、超參數調整和模型選擇。若先用全部數據擬合這些步驟,只對最後一步做自助法,便可能錯估變異並洩漏資訊。
- 留出的測試集。 留待最終評估的測試集在整個過程中都不應動用;不可把它重抽入訓練集,也不可用來調參。
以上判斷都要視乎目標量和重抽樣設計;自助法不會自行提供其所需的獨立性。
練習
練習 7.7.9
(對數據 (1,3),求 Xˉ∗ 的自助分布及其條件方差,並與 S2 和 S2/n 比較。)
基礎
解答(3)
1自助分布
這裏 xˉ=2,離差為 ±1,vn=1,S2=2。四個等概率有序抽樣結果給出 Xˉ∗∈{1,2,2,3},因此取值 1,2,3 的概率分別為 1/4,1/2,1/4。
2條件方差
41(1)+41(1)=21=vn/n.這是 (0,2) 的例子整體平移 1,方差不受平移影響。
3比較
單次自助抽樣的方差 vn=1 是 S2=2 的一半;自助平均數的方差 1/2 也是傳統估計 S2/n=1 的一半。兩者都反映因子 (n−1)/n=1/2。
練習 7.7.10
(對數據 (0,0,3),求 xˉ、vn、平均數的自助方差和標準誤,以及 P∗(Xˉ∗=0)。寫出 Xˉ∗ 的完整分布。)
核心
解答(4)
1摘要量
平均數 xˉ=1,離差為 −1,−1,2,平方和為 6,故 vn=6/3=2、S2=3。自助方差為 vn/n=2/3,標準誤為 2/3≈0.816。
2全為零的重抽樣
每次抽到 0 的概率為 2/3,因此 P∗(Xˉ∗=0)=(2/3)3=8/27。
3完整分布
關鍵一步
自助平均數 Xˉ∗=3K/3=K,所以
P∗(Xˉ∗=k)=278, 2712, 276, 271依次對應 k=0,1,2,3.依據: 只有抽到 3 的次數 K 有關,而 K∼Binomial(3,1/3)。
4核對
E∗K=1=xˉ,以及 Var∗K=3⋅31⋅32=2/3,與定理一致。
練習 7.7.11
(三個自助重複平均數為 0,1,2。計算 sB2,並解釋它為何不一定等於精確條件方差。)
核心
解答(3)
1計算 sB2
重複值的平均數為 θˉ∗=1,離差平方和為 1+0+1=2,故 sB2=2/(3−1)=1;以 1/B 為除數則得 2/3。
2兩組數據,同一組重複值
這三個重複值可由數據 (0,0,3) 產生,其精確條件方差為 2/3;也可由 (0,2) 產生,其精確條件方差為 1/2。對 (0,2),以任意次序得到重複值 {0,1,2} 的概率為 3!⋅41⋅21⋅41=3/16。
3解讀
兩種情況下 sB2=1 均與真值不同。sB2 是一個無偏估計量的一次隨機實現,並非目標本身;無偏性是對多次蒙地卡羅運行取平均的性質。有限 B 時也可能碰巧相等,而 B 增大時的收斂是另一個陳述。
練習 7.7.12
(假設數據獨立同分布為 Bernoulli(0.1),且 n=20。求平均數的精確條件自助方差為零的概率、真實標準誤,以及令此概率不超過 0.05 的最小 n。)
綜合
解答(4)
1精確自助方差何時為零
精確條件自助方差為零,當且僅當所有觀察值相等。全零及全一均導致此結果,所以概率為 0.920+0.120≈0.1216。即使數據並非常數,有限 B 的蒙地卡羅方差估計也可能因所有模擬重複值碰巧相等而為零。
2真實標準誤
真實標準誤為 0.09/20≈0.0671。在任一常數數據事件上,自助標準誤均為 0;全零時百分位區間為 {0},全一時為 {1}。
3最小的充分 n
我們需要 0.9n+0.1n≤0.05。此和隨正整數 n 增大而減少;n=28 時約為 0.0523,n=29 時約為 0.0471。因此最小的 n 是 29。
4解讀
即使如此,該事件仍可能發生。全零樣本仍與一個小但正的成功概率相容,不能據此斷言沒有變異。
小結
從 F^n 重抽樣得到只依賴數據的精確公式:E∗(Xˉ∗)=xˉ,Var∗(Xˉ∗)=vn/n。在獨立同分布抽樣下,這個方差的平均值是真實抽樣方差的 (n−1)/n 倍。使用 B 個重複值模擬會另外引入可減少的蒙地卡羅誤差。
由自助分布構造的區間並無自動的覆蓋率保證。此方法只能反映樣本所顯示的資訊,以及重抽樣設計所保留的結構。