为什么重抽样?
先前的抽样风险笔记把样本均值 Xˉ=n−1i=1∑nXi 视为随机变量。如果 X1,…,Xn 独立同分布,均值为 μ、方差 σ2 有限,则 Var(Xˉ)=σ2/n。标准误 σ/n 描述在假想的完整数据收集过程重复中,Xˉ 通常离 μ 有多远;置信区间由此构造。
仍有两个困难。第一,σ2 是未知的总体性质。第二,许多统计量,例如中位数、截尾均值、比率或拟合分类器的准确率,没有简单的方差公式。非参数自助法(bootstrap)利用手上的数据构造一个人工抽样实验,处理这两个问题。
均值是学习此方法的合适起点,因为它的各项自助量都能精确计算。我们因此可以看清自助法估计什么、与经典标准误有何关系以及何时会失效。
两层随机性
固定观测实数 x1,…,xn,n≥2。记
xˉ=n1i=1∑nxi,vn=n1i=1∑n(xi−xˉ)2,S2=n−11i=1∑n(xi−xˉ)2.
vn 与 S2 使用同一个平方和,只是分母不同,所以 vn=(n−1)S2/n。
经验分布 F^n 给每个观测赋予质量 1/n;重复值的质量累加。自助样本通过从 {1,…,n} 独立均匀抽取下标 I1,…,In,再令 Xj∗=xIj 得到。等价地,从 F^n 有放回地抽取 n 个值。自助均值是 Xˉ∗=n−1j=1∑nXj∗。
星号记号 P∗、E∗、Var∗ 分别表示给定数据,仅对重抽样计算的概率、期望和方差。xi 固定,变化的只有抽中的下标。必须将这个条件世界与原始抽样世界区分开:后者的数据本身是随机的。
还须区分两个计数:
- n 是每个自助样本的大小。它等于原样本量,因为我们要模仿用 n 个观测计算的统计量。
- B 是计算机抽取的自助样本个数。它控制蒙特卡洛(Monte Carlo)精度,与数据所含的信息量无关。
精确条件矩
给定观测数据,对每个 j=1,…,n,
E∗(Xj∗)=xˉ,Var∗(Xj∗)=vn,并且
E∗(Xˉ∗)=xˉ,Var∗(Xˉ∗)=nvn=n2(n−1)S2.
因为 Ij 在 {1,…,n} 上均匀,抽取值 Xj∗=xIj 满足
E∗(Xj∗)=i=1∑nn1xi=xˉ.使用下标而非不同数值自动处理并列:出现两次的数值贡献两次。
方差为
Var∗(Xj∗)=E∗[(Xj∗−xˉ)2]=i=1∑nn1(xi−xˉ)2=vn.分母是 n 而不是 n−1,因为这里把 F^n 当成均值 xˉ 已知的精确总体。重抽样世界中没有另外估计总体均值,因此不出现自由度修正。
由线性性质,E∗(Xˉ∗)=n−1j∑xˉ=xˉ。下标 I1,…,In 独立,故 Xj∗ 条件独立,方差相加:
Var∗(Xˉ∗)=n21j=1∑nvn=nvn.代入 vn=(n−1)S2/n 即得最后一式。
均值的自助标准误因此为 vn/n,它只依赖数据。重抽样世界只知道 F^n,所以不可能出现总体参数。
概念视角组合
把自助样本看成计数向量
要紧的只是每个下标被抽中的次数。记 Ni 为下标 i 被抽中的次数,则 (N1,…,Nn) 服从试验次数为 n、各概率均为 1/n 的多项分布,且 Xˉ∗=n−1i∑Nixi。由 Var∗Ni=(n−1)/n 以及 i=k 时 Cov∗(Ni,Nk)=−1/n,可重新得到 Var∗Xˉ∗=n−2[i∑xi2−nxˉ2]=vn/n。计数向量共有 (n2n−1) 个;n=2 时有三个,对应下面例子中 Xˉ∗ 的三个取值。
例题 7.7.3
(数据 (0,2))
取 n=2,x1=0、x2=2,则 xˉ=1。偏差为 −1 和 1,平方和为 2,故 vn=2/2=1、S2=2/1=2。
一个自助样本是有序抽样对,四对各有概率 1/4:
因此 Xˉ∗ 取 0,1,2 的概率分别为 1/4,1/2,1/4。其条件均值为 1=xˉ,条件方差为
41(0−1)2+21(1−1)2+41(2−1)2=21,与 vn/n=1/2 和 (n−1)S2/n2=2/4 一致。
自助标准误为 1/2≈0.707,常规代入标准误为 S/n=2/2=1。两者相差因子 (n−1)/n=1/2。
这两个数都不是总体标准差。若没有 0 和 2 如何产生的模型,此处不能确定 σ2。
回到抽样风险
自助方差 vn/n 由数据计算,所以可问数据本身随机时它如何表现。设 X1,…,Xn 独立同分布,均值 μ、有限方差 σ2。令 Vn=n−1i∑(Xi−Xˉ)2 为 vn 的随机版本。
在有限方差的独立同分布抽样下,
E[nVn]=n2(n−1)σ2=nn−1⋅Var(Xˉ).平均而言,样本均值的精确自助方差是实际抽样方差的 (n−1)/n 倍。
在 μ 附近展开:
i=1∑n(Xi−Xˉ)2=i=1∑n(Xi−μ)2−n(Xˉ−μ)2.这是因为交叉项为
−2(Xˉ−μ)i∑(Xi−μ)=−2n(Xˉ−μ)2,与 +n(Xˉ−μ)2 合并后得到上式。
取期望:每个 E(Xi−μ)2=σ2,而 E(Xˉ−μ)2=Var(Xˉ)=σ2/n。因此
Ei∑(Xi−Xˉ)2=nσ2−σ2=(n−1)σ2.除以 n 得 EVn=(n−1)σ2/n,再次除以 n 得所需结论。与 σ2/n 比较得到比值 (n−1)/n。
证明透视
失去的一个自由度去了哪里
证明中的恒等式把数据围绕未知 μ 的离散程度分成两部分:围绕样本均值的离散程度,以及 n(Xˉ−μ)2,即估计 μ 所吸收的部分。后者的期望恰为 σ2,相当于一个观测的方差,所以残差平方和的期望是 (n−1)σ2 而不是 nσ2。
重抽样世界从不付出这个代价。在其中 F^n 的均值是确切已知的,所以自助法除以 n,vn/n 便继承了这一不足。证明只用到观测互不相关及方差有限,不需要正态性。把 vn/n 乘以 n/(n−1) 得到 S2/n,因此同一论证也是 S2 为 σ2 的无偏估计这一熟悉结论的证明。
例题 7.7.5
(n=2 时直接核验偏低因子)
此时 Xˉ=(X1+X2)/2,各偏差为 ±(X1−X2)/2,所以 V2=(X1−X2)2/4。
独立性给出 E(X1−X2)2=Var(X1)+Var(X2)=2σ2,因为交叉项 −2E[(X1−μ)(X2−μ)] 为零。因此 EV2=σ2/2、E[V2/2]=σ2/4。真实方差是 Var(Xˉ)=σ2/2,比值为 1/2=(n−1)/n。对数据集 (0,2),这正是前面两个标准误之间的因子 1/2。
理解这个结论须注意:
- 它讨论期望。 对某个具体数据集,vn/n 可能大于 σ2/n,也可能远小于它。
- 相对差额 1/n 随 n 增大而消失,因为 (n−1)/n→1;样本小时则不可忽略。n=5 时自助方差平均偏低 20%。
- 它只针对样本均值。 并无一般规律保证其他统计量的自助方差总偏保守或总偏反保守。中位数或最大值需要分别研究,表现可能很不一样。
蒙特卡洛层
对均值,Var∗(Xˉ∗) 有闭式公式;对大多数统计量 θ^=t(x1,…,xn) 则没有,因此使用模拟。给定数据,独立抽取 B≥2 个自助样本并计算重复值 θ1∗,…,θB∗。令
θˉ∗=B1b=1∑Bθb∗,sB2=B−11b=1∑B(θb∗−θˉ∗)2.
给定数据,假设 θ1∗,…,θB∗ 独立,具有共同条件均值 m∗ 和有限条件方差 τ2=Var∗(θ1∗)。则 E∗(sB2)=τ2。
在 P∗ 下应用先前的恒等式:
b=1∑B(θb∗−θˉ∗)2=b=1∑B(θb∗−m∗)2−B(θˉ∗−m∗)2.第一项求和中的每项条件期望都是 τ2。由条件独立性,Var∗(θˉ∗)=τ2/B。因此右边的条件期望为 Bτ2−τ2=(B−1)τ2。除以 B−1 即得证明;事实上两两不相关已足够。
目标是条件自助方差 τ2,不是总体抽样方差。无偏并不使 sB2 精确:它仍是随机数。若条件四阶矩有限,则其自身条件方差为 O(1/B);此处样本均值的经验重抽样空间有限,因此满足该条件。
有限 B 在自助法本身的误差之外增加蒙特卡洛变动。增大 B 可在极限中减小前一种误差,却不能消除后一种。对数据集 (0,2),当 B→∞ 时 sB2 趋于精确自助方差 1/2,而相对于传统的 S2/n=1 的因子 (n−1)/n=1/2 仍然存在。对下面反例中全为零的 Bernoulli 样本,任何 B 都给出 sB2=0。
若采用约定 B−1b∑(θb∗−θˉ∗)2,其条件期望为 (B−1)τ2/B。B 大时它与 sB2 的差别不大,但报告应说明采用何种约定。
证明假设给定数据时 B 次重抽样独立。这种独立性由算法产生,并不能说明原始观测是否独立;后者属于下文讨论的设计问题。
自助置信区间
令 G∗(t)=P∗(θ^∗≤t) 为自助统计量的条件分布函数。用左连续逆定义分位数:
qp∗=inf{t:G∗(t)≥p},0<p<1.
对名义水平 1−α:
- 百分位区间是 [qα/2∗, q1−α/2∗];
- 基本区间是 [2θ^−q1−α/2∗, 2θ^−qα/2∗]。它将自助分位数绕 θ^ 反射,用 θ^∗−θ^ 代替 θ^−θ。
模拟时用 B 个重复值的经验分布代替 G∗。此时需要指定次序统计量约定,例如 qp∗≈θ(⌈pB⌉)∗;不同软件采用不同约定。
以上方差恒等式不保证覆盖率。实际覆盖受多种因素影响:
- 样本量;
- G∗ 的离散性,可能使名义水平无法达到;
- θ^ 的偏差和偏斜;
- 极值统计量,对其直接重抽样已知表现可能很差;
- 独立同分布抽样模型是否正确。
例题 7.7.8
(数据集 (0,2) 的百分位区间)
这里 G∗ 在 0、1、2 处的跳跃分别为 1/4、1/2、1/4,故 G∗(0)=1/4、G∗(1)=3/4、G∗(2)=1。
90% 水平。 由 G∗(0)=1/4≥0.05 得 q0.05∗=0;由 G∗(1)=3/4<0.95≤G∗(2) 得 q0.95∗=2。百分位区间为 [0,2]。在 G∗ 下它的条件概率是 1 而不是 0.90,因为 G∗ 在 2 处从 3/4 直接跳到 1。由 θ^=1,基本区间 [2−2,2−0] 也是 [0,2]。
50% 水平。 q0.25∗=0、q0.75∗=1,故百分位区间为 [0,1],其条件概率为 P∗(Xˉ∗≤1)=3/4,而不是 1/2。能取到的条件概率是相邻跳跃 1/4、1/2、1/4 之和,所以大多数名义水平都无法准确达到。
数据看似过于确定时
反例模式
未出现的稀有值
设固定 n 下,X1,…,Xn 独立同分布于 Bernoulli(0.1)。样本均值的真实方差是 0.1×0.9/n=0.09/n>0。
所有观测均为 0 的事件概率为 0.9n。在该事件上:
- F^n 是集中于 0 的点质量;
- 每个自助样本全为零;
- Xˉ∗=0 的条件概率为 1;
- vn/n=0,任何 sB2 均为 0;
- 百分位区间和基本区间均退化为 {0}。
此程序对一个确实随样本变化的量报告完全确定。
自助法无法重抽从未观测的值。它只探索数据的支撑,因此看不到未出现的尾部或稀有类别行为。
反例说明部分数据集看似过于确定,并不说明每个样本的自助法都失效,也不说明大样本理论无效。对给定的 Bernoulli(0.1) 总体,事件 {全为零} 随 n 增大变得罕见。同样,样本方差为零不能证明总体为常数,只说明该样本没有变化。
自助法的目标与局限
非参数自助法计算的是以观测到的经验分布为条件的重抽样分布的性质。把它们当作 θ^ 真实抽样分布的近似,是额外的建模步骤;这依赖观测独立同分布,使 F^n 能合理替代未知 F,还依赖 θ^ 是该代入法适用的统计量。
重抽样方案必须反映实际数据生成结构:
- 聚类数据。 同一患者、学校或用户有多行时,可能需要重抽独立簇,而非单行。按行重抽会破坏簇内依赖,可能误示变异;有效性取决于抽样设计。
- 时间序列。 序列依赖数据需要保留依赖的方案,例如区块重抽样。
- 完整流程。 若评估完整程序,每次重抽样中都要重复各个依赖数据的步骤,包括标准化、插补、特征选择、超参数调整和模型选择。在完整数据上只拟合一次这些步骤、之后仅对最后一步做自助法,可能误示变异并泄漏信息。
- 留出的测试集。 保留供最终评估的测试集始终不动,既不重抽进入训练,也不用来调参。
这些结论均针对具体目标和重抽样设计。自助法不会自行提供它所需的独立性。
练习
练习 7.7.9
(对数据 (1,3),求 Xˉ∗ 的自助分布和条件方差,并与 S2 及 S2/n 比较。)
基础
解答(3)
1自助分布
这里 xˉ=2,偏差为 ±1,vn=1,S2=2。四个等可能的有序抽取给出 Xˉ∗∈{1,2,2,3},因此 Xˉ∗ 取 1,2,3 的概率分别为 1/4,1/2,1/4。
2条件方差
41(1)+41(1)=21=vn/n.这是 (0,2) 的例子整体平移 1,而方差不受平移影响。
3比较
单次抽取的自助方差 vn=1 是 S2=2 的一半;均值的自助方差 1/2 也是传统估计 S2/n=1 的一半。两者都反映因子 (n−1)/n=1/2。
练习 7.7.10
(对数据 (0,0,3),计算 xˉ、vn、均值的自助方差和标准误,以及 P∗(Xˉ∗=0)。给出 Xˉ∗ 的完整分布。)
核心
解答(4)
1汇总量
均值为 xˉ=1。偏差为 −1,−1,2,平方和为 6,所以 vn=6/3=2,S2=3。自助方差为 vn/n=2/3,标准误为 2/3≈0.816。
2全为零的重抽样
每次抽到 0 的概率为 2/3,因此 P∗(Xˉ∗=0)=(2/3)3=8/27。
3完整分布
关键一步
自助均值为 Xˉ∗=3K/3=K,所以
P∗(Xˉ∗=k)=278, 2712, 276, 271分别对应 k=0,1,2,3.依据: 只有抽到 3 的次数 K 起作用,且 K∼Binomial(3,1/3)。
4检验
E∗K=1=xˉ,Var∗K=3⋅31⋅32=2/3,与定理一致。
练习 7.7.11
(三个自助重复均值为 0,1,2。计算 sB2,并解释为何它不必等于精确条件方差。)
核心
解答(3)
1计算 sB2
重复值均值为 θˉ∗=1,偏差平方和为 1+0+1=2,所以 sB2=2/(3−1)=1;若用 1/B 约定则为 2/3。
2两组数据,同一组重复值
这三个重复值在数据 (0,0,3) 下可能出现,其精确条件方差为 2/3;在 (0,2) 下也可能出现,其精确条件方差为 1/2。在 (0,2) 下,重复值以某种顺序取遍 {0,1,2} 的概率为 3!⋅41⋅21⋅41=3/16。
3解释
两种情况下 sB2=1 均不同于真实条件方差。sB2 是无偏估计量的一次随机实现,而不是目标本身;无偏性指多次蒙特卡洛运行的平均。有限 B 下也可能偶然相等,而 B 增大时的收敛是另一回事。
练习 7.7.12
(假设数据独立同分布于 Bernoulli(0.1),n=20。求均值的精确条件自助方差为零的概率、真实标准误,以及使该概率至多为 0.05 的最小 n。)
综合
解答(4)
1精确自助方差何时为零
精确条件自助方差恰在所有观测相等时为零。全零与全一都会使其为零,因此概率为 0.920+0.120≈0.1216。即使数据非常数,有限 B 的蒙特卡洛方差估计也可能因为所有模拟重复值偶然相同而为零。
2真实标准误
真实标准误为 0.09/20≈0.0671。在任一常数数据事件上,自助标准误都为 0;全零时百分位区间为 {0},全一时为 {1}。
3最小的充分 n
要求 0.9n+0.1n≤0.05。此和随正整数 n 递减;n=28 时约 0.0523,n=29 时约 0.0471。所以最小 n 为 29。
4解释
即使如此,该事件仍有可能发生。全零样本仍与小但正的成功概率相容;样本无变化并不是总体无变化的证据。
小结
从 F^n 重抽样产生精确、只依赖数据的公式:E∗(Xˉ∗)=xˉ、Var∗(Xˉ∗)=vn/n。在独立同分布抽样下,这个方差平均为真实值的 (n−1)/n 倍。用 B 个重复值模拟还增加一种单独、可减小的蒙特卡洛误差。
由自助分布构造的区间没有自动的覆盖率保证。方法只能反映样本所显示的信息,以及重抽样设计所尊重的结构。