前面讨论样本方差时曾提醒过:当 σ 已知,统计量 n(Xˉ−μ)/σ 服从标准正态分布,因此可以把 Xˉ 的概率界转化为 μ 的区间。当 σ 未知时,人们可能想用 S 替换它,继续使用正态分位数;这一步却没有根据。S 本身也是随机的,随样本而变化,而且它可能与 Xˉ 相关。要除以 S 并仍然得到精确的概率,首先必须知道 Xˉ 与 S2 的联合分布。
本节为正态样本证明这一缺失的定理,再推导 μ 和 σ2 的精确置信区间,并说明区间能够保证什么、不能保证什么。
模型
以下始终假设:
- X1,…,Xn 相互独立;
- 每个 Xi 服从同一个分布 N(μ,σ2);
- σ2>0 且 n≥2;
- μ 与 σ2 是固定但未知的数。
记
Xˉ=n1i=1∑nXi,S2=n−11i=1∑n(Xi−Xˉ)2,ν=n−1.
正态性是对数据生成机制的假设。下文所有精确性结论都依赖这一假设。
正交坐标
证明的关键是旋转坐标系,使样本均值成为一个坐标,而其余坐标承载围绕均值的离散程度。
构造。 我们需要一个首行为 (1/n,…,1/n) 的 n×n 正交矩阵 A。一个具体选择是 Helmert 矩阵。对于 k=2,…,n,第 k 行在
- 第 1,…,k−1 个位置的元素为 1/k(k−1);
- 第 k 个位置的元素为 −(k−1)/k(k−1);
- 其余位置的元素为零。
下面验证各行标准正交。
- 第 1 行的长度平方为 n⋅n1=1。
- 第 k 行的长度平方为 k(k−1)(k−1)+(k−1)2=kk=1。
- 第 k 行元素之和为 k(k−1)(k−1)−(k−1)=0,因此它与第 1 行正交。
- 取 2≤j<k 的第 j 行和第 k 行。第 j 行只在位置 1,…,j 可能非零;这些位置都属于 1,…,k−1,第 k 行在这些位置的值恒为 1/k(k−1)。故内积等于该常数乘以第 j 行元素之和,即 0。
因此 AAT=I。
令 Wi=(Xi−μ)/σ,Y=AW,其中 A 为首行 (1/n,…,1/n) 的正交矩阵。那么 Y1,…,Yn 相互独立且服从 N(0,1)。此外,
Y1=σn(Xˉ−μ),j=2∑nYj2=σ2(n−1)S2.
由于 σ>0,每个 Wi 均有定义。Wi 相互独立且服从 N(0,1),所以 W 的联合密度为
fW(w)=(2π)−n/2exp(−21∥w∥2).任取 Borel 集 B⊆Rn。因为 A−1=AT,变量替换 w=ATy 给出
P(Y∈B)=P(W∈ATB)=∫BfW(ATy)∣detAT∣dy.由 (detA)2=det(AAT)=1 得 ∣detAT∣=1。正交变换保持长度,因此 ∥ATy∥=∥y∥。于是 Y 的密度为
(2π)−n/2e−∥y∥2/2=j=1∏n2π1e−yj2/2.联合密度分解为各标准正态密度,恰好意味着 Yj 相互独立且服从 N(0,1)。
第一个坐标为 Y1=n1i∑Wi=nWˉ,而 Wˉ=(Xˉ−μ)/σ。
为证明第二个等式,围绕均值展开。由于 i∑(Wi−Wˉ)=0,有 i∑Wi2=i∑(Wi−Wˉ)2+nWˉ2。长度保持不变,所以 j∑Yj2=i∑Wi2。两边减去 Y12=nWˉ2 得
j≥2∑Yj2=i∑(Wi−Wˉ)2.最后,Wi−Wˉ=(Xi−Xˉ)/σ,因此右边等于 (n−1)S2/σ2。
证明透视
均值与离散程度为何分开
唯一的概率输入是:W 的联合密度只通过 ∥w∥ 依赖于 w。观测的独立性和正态性都在这里用到,别处不再使用。其余全是几何:A 的第一行把均值隔离在一个坐标中,勾股定理则把残差平方和放到其余 n−1 个坐标中。
于是 Xˉ 与 S2 的独立性无须计算,因为它们是互不重叠的独立坐标组的函数。两个假设都不可缺少:下面的反例表明,边缘正态但完全相依时 S=0;而对独立的 Bernoulli 观测,S=0 恰在 Xˉ∈{0,1} 时发生,所以均值与离散程度相互依赖。
这个结论比初看更强。Xˉ 只依赖 Y1,而 S2 只依赖 (Y2,…,Yn)。因此坐标的独立性推出 Xˉ 与 S2 独立。这是正态模型的特殊性质,并非一般样本都有的性质。
卡方分布与 Student t 分布
定义 7.2.2
(卡方分布与 Student t 分布)
对整数 ν≥1,卡方分布 χν2 是 Z12+⋯+Zν2 的分布,其中 Z1,…,Zν 相互独立且服从 N(0,1)。
若 Z∼N(0,1) 和 Q∼χν2 相互独立,Student t 分布 tν 是 Z/Q/ν 的分布。
这个比值以概率一有定义,因为 P(Q=0)≤P(Z1=0)=0。
分位数记号。 本节的分位数均为下尾分位数:
P(Q≤χp,ν2)=p,P(T≤tp,ν)=p,p∈(0,1).
这些定义没有歧义,理由如下。
-
分位数唯一。 两个分布的分布函数都连续,且在其支持集上严格递增,因此每个分位数存在且唯一。
-
没有原子。 单点的概率为零。例如,利用独立性,
P(Z/Q/ν=c)=E[P(Z=cQ/ν∣Q)]=0.
所以在概率表达式中可以互换 ≤ 和 <。
-
卡方分位数为正。 P(Q≤0)=0<p,所以 χp,ν2>0。
t 的对称性。 (−Z,Q) 与 (Z,Q) 的联合分布相同,所以 tν 关于 0 对称。因此 tα/2,ν=−t1−α/2,ν。
两个枢轴量
在上述模型下,取 ν=n−1,定义
Z=σn(Xˉ−μ),Q=σ2(n−1)S2.则 Z∼N(0,1),Q∼χν2,且 Z 与 Q 独立。因此
T=Sn(Xˉ−μ)=Q/νZ∼tν,并且 S>0 以概率一成立。
由正交坐标定理,Z=Y1,Q=Y22+⋯+Yn2。后者是 n−1≥1 个独立标准正态变量的平方和,故由定义 Q∼χn−12。Z 仅是 Y1 的函数,而 Q 仅是 (Y2,…,Yn) 的函数,因此二者独立。
现在相除,约去因子 σ:
Q/νZ=S/σn(Xˉ−μ)/σ=T.由定义,这服从 tν 分布。最后,P(S=0)=P(Q=0)=0。
每个统计量称为枢轴量,因为它同时满足两点:
- 它涉及数据和所关注的参数;
- 它的分布不依赖 μ 或 σ2。
第二点使同一张分位数表能用于任何正态总体。
概念视角几何
把 t 统计量看成角度
对候选值 μ,把 x−μ1 分解为沿 1=(1,…,1) 的分量(长度 n∣xˉ−μ∣)和与之正交的残差(长度 n−1s)。若 θ 是 x−μ1 与 1 所在直线的夹角,则 ∣T∣=n−1cotθ。在模型下,无论 μ 与 σ 取何值,X−μ1=σW 的方向都在球面上均匀分布,所以 T 是枢轴量。t 区间恰好保留夹角不太小的那些 μ。
置信区间
固定 α∈(0,1)。于是 α/2 和 1−α/2 都属于 (0,1),且 α/2<1−α/2,因此下列分位数都存在且顺序正确。
对每个固定的 μ∈R 和每个固定的 σ2>0,
Pμ,σ2(Xˉ−t1−α/2,νnS≤μ≤Xˉ+t1−α/2,νnS)=1−α,Pμ,σ2(χ1−α/2,ν2(n−1)S2≤σ2≤χα/2,ν2(n−1)S2)=1−α.
均值区间。 记 c=t1−α/2,ν。由 tν 的对称性和连续性,
P(−c≤T≤c)=(1−2α)−2α=1−α.在概率为一的事件 S>0 上,将不等式 −c≤n(Xˉ−μ)/S≤c 乘以正数 S/n,再对 μ 整理:
Xˉ−cS/n≤μ≤Xˉ+cS/n.两个事件有相同的概率,即 1−α。
方差区间。 记 a=χα/2,ν2、b=χ1−α/2,ν2,则 0<a<b。由连续性,
P(a≤Q≤b)=1−α.由于 σ2>0,且 Q>0 几乎必然成立,可以对不等式 a≤(n−1)S2/σ2≤b 移项而不改变事件。正数取倒数会反转不等号,得到
b(n−1)S2≤σ2≤a(n−1)S2.
方差区间中,较大的分位数 χ1−α/2,ν2 出现在下端点的分母中。这是取倒数所迫,并不是可以自行选择的约定。把两个分位数对调,会得到“下端点”大于“上端点”的结果,正如下面关于给定分位数的练习所示。
σ 的区间。 映射 x↦x 在 (0,∞) 上严格递增,因此分别对两个端点开平方,得到覆盖率完全相同的 σ 区间。
精确覆盖率的含义
精确区间定理中,端点是随机变量,参数是常数。结论描述的是方法:从同一正态总体重新抽样、计算区间并重复。长期来看,计算出的区间有 1−α 的比例包含固定的真值。对于每个 μ 和每个 σ2>0,这一结论都精确成立。
一旦观测到数据,区间就是一对数,例如 [1.04,4.96]。固定的 μ 要么在其中,要么不在;频率学派的覆盖率结论并未给这个特定的包含事件赋予 0.95 的概率。定理从未把 μ 或 σ2 视作随机量。“95% 置信”指产生区间的方法在长期重复抽样中的可靠程度。
三个容易混淆的量
半宽是估计标准误乘以 Student 分位数。对有限的 ν,该分位数严格大于正态分位数 z1−α/2;增加的宽度反映 S 的不确定性。
例题
设观测值为 x=(1,2,3,4,5),并将其建模为正态样本,因此 n=5,ν=4。
汇总统计量。
- 均值为 xˉ=15/5=3。
- 与均值的偏差为 −2,−1,0,1,2,平方和为 4+1+0+1+4=10。
- 所以 s2=10/4=2.5,s=2.5≈1.58114。
- 估计标准误为 s/5=0.5≈0.707107。
分位数。 使用以下给定的分布分位数数值:
- t0.975,4≈2.776445,
- χ0.025,42≈0.484419,
- χ0.975,42≈11.143287。
95% 均值区间。 半宽为 2.776445×0.707107≈1.963243,所以
[3−1.963243,3+1.963243]≈[1.03676,4.96324].95% 方差区间。 此处 (n−1)s2=10,因此
[11.14328710,0.48441910]≈[0.89740,20.6433].用乘法检查计算。
- 11.143287×0.89740≈9.99999。
- 0.484419×20.6433≈10.0000。
检查分位数。 当 ν=4 时,两个分布函数均有初等闭式:
- χ42:F(x)=1−e−x/2(1+x/2)。由此 F(11.143287)≈0.97500,F(0.484419)≈0.02500。
- t4:F(t)=21+41u(3−u2),其中 u=t/t2+4。当 t=2.776445,得到 u≈0.811401,u(3−u2)≈1.90000,故 F≈0.97500。
σ 的区间。 开平方得到近似区间 [0.9473,4.5435]。
注意方差区间关于 s2=2.5 很不对称。只有四个自由度时,Q 取小值仍然相当可能,而较小的 Q 对应较大的 σ2。
定理的适用边界
n=1。 此时 S2=0/0 无定义,ν=0,因此没有 t 枢轴量。一个观测值无法提供有关离散程度的内部信息。
σ2=0。 此时每个 Xi=μ,Z 和 Q 都出现除以零,上述推导均不适用。模型有意排除了此情形。
其他数据生成机制。 对以下数据,定理不提供保证:
- 非正态数据;
- 相互依赖的数据;
- 查看数据后再筛选的数据;
- 经过删失的数据;
- 按自适应停止规则收集的数据;
- 各观测值分布不一致的数据。
每种情况都可能破坏证明中的某个步骤。其中有些情形可能存在近似结果,但那需要其他定理。
这里没有任何结果能证明 Xˉ±z1−α/2S/n 有所声称的覆盖率。当 n=5 且 z0.975≈1.959964,由上述 t4 分布函数,取 u=1.959964/1.9599642+4≈0.699921,得到真实覆盖率
P(∣T∣≤1.959964)=2F(1.959964)−1=21u(3−u2)≈0.878.这明显低于 95%:正态分位数忽略了 S 的变异。
诊断不能证明正态性。 正态分位数图或拟合优度检验可以揭示明显偏离正态的情形。然而,没有检测出偏离并不能证明数据服从正态分布。正态性仍然是一个假设。
反例模式
边缘分布正态但不独立
设 Z∼N(0,1),固定 σ>0,并对每个 i 令 Xi=μ+σZ。
每个 Xi 都严格服从 N(μ,σ2),但 S=0 以概率一成立。因此:
- T 因分母为零而无定义(分子 nσZ 几乎必然非零);
- 方差“区间”为 [0,0],它永不包含 σ2>0,所以覆盖率为 0。
边缘分布为正态并不够;证明需要相互独立坐标的联合密度。
仅有独立性也不够:证明同样用到每个观测的正态形状。
反例模式
$n=2$ 的离散样本
令 X1,X2 独立服从 Bernoulli(1/2),故 μ=1/2、σ2=1/4。恰当 X1=X2 时 S=0,其概率为 1/2。
使用 ν=1 的 95% 公式,取 t0.975,1≈12.7062(见下方 n=2 练习的推导)、χ0.975,12≈5.023886 和 χ0.025,12≈0.000982。
当 X1=X2。 此时 xˉ=1/2,s2=1/2。
- 均值区间为 1/2±6.3531,包含 1/2。
- 方差区间约为 [0.0995,509.1],包含 1/4。
当 X1=X2。 两个区间均退化为单点:
- 均值区间为 {0} 或 {1},均不包含 μ=1/2;
- 方差区间为 {0},不包含 σ2=1/4。
因此两种方法的覆盖率都恰好是 1/2,远低于标称的 0.95。卡方分布与 t 分布的结论从来不适用于这个样本。
置信水平与宽度
设 0<α′<α<1,则 1−α′ 是较高的置信水平。由于分布函数严格递增,
- t1−α′/2,ν>t1−α/2,ν;
- χα′/2,ν2<χα/2,ν2;
- χ1−α′/2,ν2>χ1−α/2,ν2。
因此,对固定且 s>0 的数据集,较高置信水平的区间包含较低置信水平的区间。
例题 7.2.6
(五个观测值的 90% 与 95% 嵌套区间)
五个观测值的估计标准误为 0.707107。取 t0.95,4≈2.131847,90% 半宽为 2.131847×0.707107≈1.507443,所以 90% 均值区间为
3±1.507443≈[1.49256,4.50744].95% 区间 [1.03676,4.96324] 使用较大的分位数 2.776445,因而包含它。两者宽度之比为 2.776445/2.131847≈1.302;对每个 n=5 的数据集都相同,因为两个宽度都是同一个 S/n 的倍数。
加宽区间提高了方法的长期覆盖率,却不能告诉我们这两个已实现的区间中哪一个包含 μ。
置信区间、预测区间和联合覆盖率
预测。 置信区间的目标是固定的数 μ。预测区间的目标是未来观测值 Xn+1∼N(μ,σ2),它独立于样本抽取。
-
正态分子。 Xn+1−Xˉ∼N(0,σ2(1+1/n))。
-
与 S2 独立。 Xn+1 与 (Xˉ,S2) 独立,且 Xˉ 与 S2 独立,因此分子与 S2 独立。
-
枢轴量。 除以 S 的适当倍数得到
S1+1/nXn+1−Xˉ∼tν.
-
区间。 95% 预测区间为 Xˉ±t0.975,νS1+1/n。
这里 n=5,所以 1+1/n=1.2,而 s1.2=2.5×1.2=3≈1.732051。半宽为 2.776445×1.732051≈4.808943,因此 95% 预测区间为
3±4.808943≈[−1.80894,7.80894].它远宽于置信区间 [1.03676,4.96324]:两者半宽之比为 1+n=6≈2.449。
从同一正态总体重复独立同分布抽样时,随着 n 增大,置信区间宽度依概率收敛到零,而预测区间宽度依概率收敛到 2z0.975σ>0:新观测值仍有自身的离散程度。
联合覆盖率。 令 A 表示均值区间覆盖 μ 的事件,B 表示方差区间覆盖 σ2 的事件。各自概率均为 0.95,但两个区间同时覆盖的概率并非 0.95。
因此联合覆盖率严格介于 0.90 与 0.95 之间。要保证联合覆盖率至少为 1−α,可将每个区间分别构造成水平为 1−α/2 的区间。
练习
练习 7.2.8
(设 Yi=a+bXi,其中 b=0,且 Xi 构成正态样本。)
核心
- 证明由 Y 数据算出的 95% 均值区间,是 X 区间在映射 m↦a+bm 下的像。
- 证明方差区间按 b2 缩放。
- 将例题中的单位从厘米换算为毫米。
解答(5)
1模型保持不变
Yi 相互独立且服从 N(a+bμ,b2σ2),并且 b2σ2>0,所以精确区间定理适用于 Y 数据,ν 不变。
2变换统计量
有 Yˉ=a+bXˉ,Yi−Yˉ=b(Xi−Xˉ),故 SY2=b2SX2 且 SY=∣b∣SX。
3均值区间
Y 的区间为
a+bXˉ±c∣b∣SX/n.当 m 遍历 Xˉ±cSX/n 时,a+bm 恰好遍历这个集合。当 b<0 时两个端点交换位置,这并无妨碍。
4方差区间
两个端点均含因子 (n−1)SY2=b2(n−1)SX2,故按 b2 缩放。
5单位
取 a=0、b=10,把厘米换算为毫米。
- 均值区间约为 [10.3676,49.6324] 毫米。
- 方差区间约为 [89.740,2064.33] 平方毫米。
方差的单位也要平方,因此方差区间按 b2=100 缩放,而均值区间按 10 缩放。
练习 7.2.9
(取 n=2,则 ν=1。)
综合
- 用 X1,X2 表示 S 和两个区间。
- 证明 χp,12=z(1+p)/22,其中 zq=Φ−1(q)。
- 证明 t1−α/2,1=tan(π(1−α)/2)。
- 求数据 (3,7) 的 95% 均值区间。
解答(4)
1统计量
Xˉ=(X1+X2)/2,每个偏差分别为 ±(X1−X2)/2。因此
S2=2(X1−X2)2,2S=2∣X1−X2∣.均值区间为 Xˉ±t1−α/2,1∣X1−X2∣/2。
2卡方分位数
若 Q=Z2 且 Z∼N(0,1),则对 c>0,
P(Q≤c)=P(∣Z∣≤c)=2Φ(c)−1.令其等于 p,得到 Φ(c)=(1+p)/2,故 c=z(1+p)/2。分别取 p=1−α/2 和 p=α/2,方差区间为
[2z1−α/42(X1−X2)2,2z1/2+α/42(X1−X2)2]. 3t1 分位数
-
写作 T=Z/∣V∣,其中 Z,V 相互独立且服从 N(0,1)。
-
(V,Z) 的联合密度只依赖 r=v2+z2。在极坐标 (V,Z)=R(cosΘ,sinΘ) 中,密度变为 re−r2/2/(2π)。这个密度可以分解,因此 Θ 在 [0,2π) 上均匀分布。
-
对 t>0,事件 ∣T∣≤t 即 ∣tanΘ∣≤t。满足条件的角度集合总长度为 4arctant,所以
P(∣T∣≤t)=2π4arctant=π2arctant.
-
令其等于 1−α,得到 t1−α/2,1=tan(π(1−α)/2)。
当 α=0.05,tan(0.475π)=tan85.5∘≈12.7062。
4数据 (3,7)
此处 xˉ=5,∣x1−x2∣/2=2。区间为
5±25.4124=[−20.4124,30.4124].该区间是精确的,但非常宽:一个自由度提供的关于 σ 的信息很少。
练习 7.2.10
(由 n=10 个以克计量的质量组成的正态样本满足 xˉ=20.0 和 s2=9。使用下列给定分位数。)
核心
- t0.975,9≈2.262157,
- χ0.025,92≈2.700389,
- χ0.975,92≈19.022768。
- 求 μ、σ2 和 σ 的 95% 区间。
- 一位同学给出 σ2 的区间 [81/2.700389,81/19.022768]。错误在哪里?
解答(4)
1均值
估计标准误为 3/10≈0.948683。半宽为 2.262157×0.948683≈2.146071,因此区间约为 [17.85393,22.14607] g。
2方差
此处 (n−1)s2=81,所以区间为
[19.02276881,2.70038981]≈[4.25806,29.99568] g2.检查:19.022768×4.25806≈81.000,2.700389×29.99568≈81.000。
3标准差
开平方得到近似区间 [2.0635,5.4768] g。
4同学的错误
所报告的“区间”下端点(约 30.0)高于上端点(约 4.26)。该同学把较小分位数放在下端点的分母中。取倒数会反转顺序,所以较大分位数 χ0.975,92 必须用于下端点的分母。
练习 7.2.11
(对五名受试者分别在处理前后测量。差值(处理后减处理前)为 d=(1,2,3,4,5)。一位分析者却把十个原始测量值合并成一个“样本”。解释错误,并给出均值差 δ 的正确 95% 区间。)
核心
解答(3)
1为什么合并缺乏依据
十个原始值未必满足模型。
- 同一受试者的两次测量通常相互依赖。
- 处理前后的数值可能有不同均值。
因此已知信息不能确立这十个值独立同分布于 N(μ,σ2)。即使合并均值可以估计,它通常也不是均值差 δ 的估计目标;精确区间定理不能据此将合并数据区间作为 δ 的区间。
2配对模型
假设各受试者相互独立,且差值 Di 独立同分布于 N(δ,τ2),其中 τ2>0。这些仍是假设。此时精确区间定理可用于五个差值,ν=4。
3区间
这正是例题中的数据,故 δ 的 95% 区间约为 [1.03676,4.96324]。
配对并非需要被平均掉的麻烦。取差可以消去共享的受试者加性效应,但差值的独立性和正态性仍须另行假设。
小结
对于 n≥2 且 σ2>0 的独立正态样本,正交坐标变换给出三个事实:
- Xˉ 与 S2 独立;
- (n−1)S2/σ2∼χn−12;
- n(Xˉ−μ)/S∼tn−1。
这些枢轴量给出 Xˉ±t1−α/2,νS/n 和 [(n−1)S2/χ1−α/2,ν2,(n−1)S2/χα/2,ν2] 的精确 1−α 覆盖率。覆盖率是固定参数下方法的长期性质,完全依赖证明中使用的独立性和正态性假设。