单样本 t t t 区间回答的是关于一个总体均值的问题。但许多实际问题涉及比较:方法 A A A 的测量值是否比方法 B B B 大?大多少?本节从单样本理论出发建立双样本方法,也为 t t t 对比和方差分析作准备:在这些方法中,同一个合并方差会以误差均方的形式再次出现。
我们的目标始终是总体均值之差
Δ = μ A − μ B . \Delta=\mu_A-\mu_B. Δ = μ A − μ B .
估计量通常就是样本均值之差。真正需要仔细处理的是它的标准误 以及标准化统计量的分布 ,两者都取决于数据如何收集。因此,套用公式前必须先明确设计、抽样单位和模型。
具有共同方差的独立样本
模型。 设 X 1 , … , X n A X_1,\dots,X_{n_A} X 1 , … , X n A 独立同分布于 N ( μ A , σ 2 ) N(\mu_A,\sigma^2) N ( μ A , σ 2 ) ,Y 1 , … , Y n B Y_1,\dots,Y_{n_B} Y 1 , … , Y n B 独立同分布于 N ( μ B , σ 2 ) N(\mu_B,\sigma^2) N ( μ B , σ 2 ) ,两组样本相互独立,σ 2 > 0 \sigma^2>0 σ 2 > 0 ,且 n A , n B ≥ 2 n_A,n_B\ge2 n A , n B ≥ 2 。定义
X ˉ = 1 n A ∑ i = 1 n A X i , S A 2 = 1 n A − 1 ∑ i = 1 n A ( X i − X ˉ ) 2 , \bar X=\frac1{n_A}\sum_{i=1}^{n_A}X_i,\qquad
S_A^2=\frac1{n_A-1}\sum_{i=1}^{n_A}(X_i-\bar X)^2, X ˉ = n A 1 i = 1 ∑ n A X i , S A 2 = n A − 1 1 i = 1 ∑ n A ( X i − X ˉ ) 2 ,
并类似地定义 Y ˉ \bar Y Y ˉ 和 S B 2 S_B^2 S B 2 。S A 2 S_A^2 S A 2 与 S B 2 S_B^2 S B 2 都是同一个 σ 2 \sigma^2 σ 2 的无偏估计,但它们所含的信息量不同:前者由 n A − 1 n_A-1 n A − 1 个独立的残差变动分量构成,后者由 n B − 1 n_B-1 n B − 1 个构成。
合并方差为何采用这个形式? 在上述模型下,( n A − 1 ) S A 2 / σ 2 ∼ χ n A − 1 2 (n_A-1)S_A^2/\sigma^2\sim\chi^2_{n_A-1} ( n A − 1 ) S A 2 / σ 2 ∼ χ n A − 1 2 ,( n B − 1 ) S B 2 / σ 2 ∼ χ n B − 1 2 (n_B-1)S_B^2/\sigma^2\sim\chi^2_{n_B-1} ( n B − 1 ) S B 2 / σ 2 ∼ χ n B − 1 2 。把残差平方和相加,再除以残差自由度总数,得到下面的估计量。
对样本量 n A , n B ≥ 2 n_A,n_B\ge2 n A , n B ≥ 2 、样本方差为 S A 2 S_A^2 S A 2 与 S B 2 S_B^2 S B 2 的两个独立样本,合并方差 为
S p 2 = ( n A − 1 ) S A 2 + ( n B − 1 ) S B 2 n A + n B − 2 . S_p^2=\frac{(n_A-1)S_A^2+(n_B-1)S_B^2}{n_A+n_B-2}. S p 2 = n A + n B − 2 ( n A − 1 ) S A 2 + ( n B − 1 ) S B 2 .
这是两个方差的加权平均,权重与自由度成正比。它是无偏的,因为 E [ S p 2 ] = [ ( n A − 1 ) σ 2 + ( n B − 1 ) σ 2 ] / ( n A + n B − 2 ) = σ 2 \mathbb E[S_p^2]=[(n_A-1)\sigma^2+(n_B-1)\sigma^2]/(n_A+n_B-2)=\sigma^2 E [ S p 2 ] = [( n A − 1 ) σ 2 + ( n B − 1 ) σ 2 ] / ( n A + n B − 2 ) = σ 2 。它恰好也是两组单因素方差分析中的误差均方。记 ν = n A + n B − 2 \nu=n_A+n_B-2 ν = n A + n B − 2 ,则如下面证明所示,ν S p 2 / σ 2 ∼ χ ν 2 \nu S_p^2/\sigma^2\sim\chi^2_\nu ν S p 2 / σ 2 ∼ χ ν 2 。
定理 7.4.2
(精确的合并方差双样本 t t t 区间)
在上述独立样本模型下,令 ν = n A + n B − 2 \nu=n_A+n_B-2 ν = n A + n B − 2 ,则
T = X ˉ − Y ˉ − Δ S p 1 / n A + 1 / n B ∼ t ν . T=\frac{\bar X-\bar Y-\Delta}{S_p\sqrt{1/n_A+1/n_B}}\sim t_\nu. T = S p 1/ n A + 1/ n B X ˉ − Y ˉ − Δ ∼ t ν . 因此,对 0 < α < 1 0\lt\alpha\lt1 0 < α < 1 ,随机区间
( X ˉ − Y ˉ ) ± t ν , 1 − α / 2 S p 1 n A + 1 n B (\bar X-\bar Y)\pm t_{\nu,1-\alpha/2}\,S_p\sqrt{\frac1{n_A}+\frac1{n_B}} ( X ˉ − Y ˉ ) ± t ν , 1 − α /2 S p n A 1 + n B 1 以恰好 1 − α 1-\alpha 1 − α 的概率包含 Δ \Delta Δ ;这一结论对所有 σ 2 > 0 \sigma^2>0 σ 2 > 0 的参数 ( μ A , μ B , σ 2 ) (\mu_A,\mu_B,\sigma^2) ( μ A , μ B , σ 2 ) 都成立。
第一步(一组样本)。 考虑 A A A 组,取一个 n A × n A n_A\times n_A n A × n A 正交矩阵 Q Q Q ,其第一行为 ( 1 , … , 1 ) / n A (1,\dots,1)/\sqrt{n_A} ( 1 , … , 1 ) / n A 。令 Z = Q ( X − μ A 1 ) / σ Z=Q(X-\mu_A\mathbf1)/\sigma Z = Q ( X − μ A 1 ) / σ 。由于 X − μ A 1 ∼ N ( 0 , σ 2 I ) X-\mu_A\mathbf1\sim N(0,\sigma^2I) X − μ A 1 ∼ N ( 0 , σ 2 I ) 且 Q Q Q 正交,Z ∼ N ( 0 , I ) Z\sim N(0,I) Z ∼ N ( 0 , I ) 。其第一坐标为 Z 1 = n A ( X ˉ − μ A ) / σ Z_1=\sqrt{n_A}(\bar X-\mu_A)/\sigma Z 1 = n A ( X ˉ − μ A ) / σ 。正交变换保持长度,故
∑ k = 2 n A Z k 2 = ∥ Z ∥ 2 − Z 1 2 = 1 σ 2 [ ∑ i ( X i − μ A ) 2 − n A ( X ˉ − μ A ) 2 ] = ( n A − 1 ) S A 2 σ 2 . \sum_{k=2}^{n_A}Z_k^2=\|Z\|^2-Z_1^2
=\frac1{\sigma^2}\Big[\sum_i(X_i-\mu_A)^2-n_A(\bar X-\mu_A)^2\Big]
=\frac{(n_A-1)S_A^2}{\sigma^2}. k = 2 ∑ n A Z k 2 = ∥ Z ∥ 2 − Z 1 2 = σ 2 1 [ i ∑ ( X i − μ A ) 2 − n A ( X ˉ − μ A ) 2 ] = σ 2 ( n A − 1 ) S A 2 . Z Z Z 的各坐标是独立标准正态变量。因此 X ˉ ∼ N ( μ A , σ 2 / n A ) \bar X\sim N(\mu_A,\sigma^2/n_A) X ˉ ∼ N ( μ A , σ 2 / n A ) ,( n A − 1 ) S A 2 / σ 2 ∼ χ n A − 1 2 (n_A-1)S_A^2/\sigma^2\sim\chi^2_{n_A-1} ( n A − 1 ) S A 2 / σ 2 ∼ χ n A − 1 2 ,且两者独立。B B B 组同理。
第二步(合并)。 两组样本独立,所以 X ˉ \bar X X ˉ 、S A 2 S_A^2 S A 2 、Y ˉ \bar Y Y ˉ 、S B 2 S_B^2 S B 2 四者相互独立。于是
U = X ˉ − Y ˉ − Δ σ 1 / n A + 1 / n B ∼ N ( 0 , 1 ) , W = ν S p 2 σ 2 = ( n A − 1 ) S A 2 σ 2 + ( n B − 1 ) S B 2 σ 2 ∼ χ ν 2 , U=\frac{\bar X-\bar Y-\Delta}{\sigma\sqrt{1/n_A+1/n_B}}\sim N(0,1),\qquad
W=\frac{\nu S_p^2}{\sigma^2}=\frac{(n_A-1)S_A^2}{\sigma^2}+\frac{(n_B-1)S_B^2}{\sigma^2}\sim\chi^2_\nu, U = σ 1/ n A + 1/ n B X ˉ − Y ˉ − Δ ∼ N ( 0 , 1 ) , W = σ 2 ν S p 2 = σ 2 ( n A − 1 ) S A 2 + σ 2 ( n B − 1 ) S B 2 ∼ χ ν 2 , 这里用到了独立卡方变量之和仍服从卡方分布,且自由度相加。U U U 只依赖均值,W W W 只依赖方差,故二者独立。
第三步(取比值)。 未知的 σ \sigma σ 抵消,得到 T = U / W / ν T=U/\sqrt{W/\nu} T = U / W / ν 。根据定义,标准正态变量除以独立的 χ ν 2 / ν \chi^2_\nu/\nu χ ν 2 / ν 的平方根,服从 t ν t_\nu t ν 分布。
第四步(分母)。 W W W 的分布连续,故 P ( W = 0 ) = 0 P(W=0)=0 P ( W = 0 ) = 0 。所以 S p > 0 S_p>0 S p > 0 几乎必然成立,T T T 以概率一有定义。这一步用到 σ 2 > 0 \sigma^2>0 σ 2 > 0 和 ν ≥ 2 \nu\ge2 ν ≥ 2 。
第五步(反演)。 t ν t_\nu t ν 分布连续且对称,故 P ( ∣ T ∣ ≤ t ν , 1 − α / 2 ) = 1 − α P(|T|\le t_{\nu,1-\alpha/2})=1-\alpha P ( ∣ T ∣ ≤ t ν , 1 − α /2 ) = 1 − α 。将 ∣ T ∣ ≤ q |T|\le q ∣ T ∣ ≤ q 改写成关于 Δ \Delta Δ 的不等式,即得该区间。
证明透视
各个假设在合并 t 证明中的位置 每个假设都在一个可以指认的步骤中使用。正态性只在第一步用到:N ( 0 , σ 2 I ) N(0,\sigma^2I) N ( 0 , σ 2 I ) 向量经正交旋转后仍是 N ( 0 , σ 2 I ) N(0,\sigma^2I) N ( 0 , σ 2 I ) ;这一个事实同时给出均值的分布、残差平方和的分布以及两者的独立性。两组之间的独立性在第二步用来使四个统计量相互独立。
共同方差同样在第二步用到,而且正是它让论证得以完成。它使两个残差平方和处在同一尺度 σ 2 \sigma^2 σ 2 上,所以其和是 σ 2 \sigma^2 σ 2 乘以一个 χ ν 2 \chi^2_\nu χ ν 2 变量,第三步才能消去同一个 σ \sigma σ 。若 σ A 2 ≠ σ B 2 \sigma_A^2\ne\sigma_B^2 σ A 2 = σ B 2 ,合并的残差平方和是 σ A 2 χ n A − 1 2 + σ B 2 χ n B − 1 2 \sigma_A^2\chi^2_{n_A-1}+\sigma_B^2\chi^2_{n_B-1} σ A 2 χ n A − 1 2 + σ B 2 χ n B − 1 2 ,不是单个卡方变量的倍数;这正是 Welch 一节遇到的困难。
关键一步是消去 σ \sigma σ 。它使 T T T 成为枢轴量:在真值 Δ \Delta Δ 下,其分布不依赖三个参数中的任何一个。这就是覆盖率对每个 ( μ A , μ B , σ 2 ) (\mu_A,\mu_B,\sigma^2) ( μ A , μ B , σ 2 ) 都恰为 1 − α 1-\alpha 1 − α 的原因。
假设意味着什么? 固定组内及组间独立、正态性、共同方差和固定样本量是精确性的充分 条件,却不是唯一的必要 条件。例如,将每个误差同时乘以同一个正数,真值 Δ \Delta Δ 下的 T T T 不变。因此,若拼接后的误差向量服从任意球对称分布,具有有限一阶矩且在零点没有概率质量,T T T 仍精确服从 t ν t_\nu t ν ,尽管误差可以相依;若二阶矩存在,不同坐标便不相关。反过来,如果独立误差明显偏斜或有重尾,而样本又小,覆盖率可能偏离 1 − α 1-\alpha 1 − α ,需要另行分析。
定理描述的是围绕总体均值的抽样变异,并不解释均值为何 不同。要把 Δ \Delta Δ 解释为 A A A 相对 B B B 的因果效应,需有使两组可比的设计(通常是随机分配),或明确并论证相应假设。否则,Δ \Delta Δ 描述的是总体关联。
一个完整计算
例题 7.4.3
(A = ( 2 , 4 , 6 ) A=(2,4,6) A = ( 2 , 4 , 6 ) 与 B = ( 1 , 2 , 3 ) B=(1,2,3) B = ( 1 , 2 , 3 ) 的合并方差区间)
这里 n A = n B = 3 n_A=n_B=3 n A = n B = 3 ,x ˉ = 4 \bar x=4 x ˉ = 4 ,y ˉ = 2 \bar y=2 y ˉ = 2 ,故 Δ ^ = 2 \hat\Delta=2 Δ ^ = 2 。
A A A 组残差为 − 2 , 0 , 2 -2,0,2 − 2 , 0 , 2 ,所以 s A 2 = ( 4 + 0 + 4 ) / 2 = 4 s_A^2=(4+0+4)/2=4 s A 2 = ( 4 + 0 + 4 ) /2 = 4 ;B B B 组残差为 − 1 , 0 , 1 -1,0,1 − 1 , 0 , 1 ,所以 s B 2 = ( 1 + 0 + 1 ) / 2 = 1 s_B^2=(1+0+1)/2=1 s B 2 = ( 1 + 0 + 1 ) /2 = 1 。
合并方差为 s p 2 = ( 2 ⋅ 4 + 2 ⋅ 1 ) / 4 = 2.5 s_p^2=(2\cdot4+2\cdot1)/4=2.5 s p 2 = ( 2 ⋅ 4 + 2 ⋅ 1 ) /4 = 2.5 ,自由度 ν = 4 \nu=4 ν = 4 。
标准误为 s p 1 / 3 + 1 / 3 = 2.5 ⋅ 2 / 3 = 5 / 3 ≈ 1.291 s_p\sqrt{1/3+1/3}=\sqrt{2.5\cdot2/3}=\sqrt{5/3}\approx1.291 s p 1/3 + 1/3 = 2.5 ⋅ 2/3 = 5/3 ≈ 1.291 。
检验 H 0 : Δ = 0 H_0:\Delta=0 H 0 : Δ = 0 的统计量为 t = 2 / 5 / 3 ≈ 1.549 t=2/\sqrt{5/3}\approx1.549 t = 2/ 5/3 ≈ 1.549 。
由 t 4 , 0.975 ≈ 2.776 t_{4,0.975}\approx2.776 t 4 , 0.975 ≈ 2.776 ,误差限为 2.776 × 1.291 ≈ 3.584 2.776\times1.291\approx3.584 2.776 × 1.291 ≈ 3.584 。因此 95% 区间约为
[ − 1.584 , 5.584 ] . [-1.584,\;5.584]. [ − 1.584 , 5.584 ] . 它包含 0 0 0 ,相应地 ∣ t ∣ = 1.549 < 2.776 |t|=1.549\lt2.776 ∣ t ∣ = 1.549 < 2.776 。
解释。 “95%”描述的是方法 :按照模型反复抽样,用此方法构造的区间有 95% 包含固定的 Δ \Delta Δ 。计算出的具体区间 [ − 1.584 , 5.584 ] [-1.584,5.584] [ − 1.584 , 5.584 ] 要么包含 Δ \Delta Δ ,要么不包含;计算之后不能再给这个固定区间附上 95% 的包含概率。
检验与区间的对偶性。 在该模型下,对 H 0 : Δ = Δ 0 H_0:\Delta=\Delta_0 H 0 : Δ = Δ 0 进行双侧 α \alpha α 水平检验:当 ∣ X ˉ − Y ˉ − Δ 0 ∣ / ( S p 1 / n A + 1 / n B ) > t ν , 1 − α / 2 |\bar X-\bar Y-\Delta_0|/\big(S_p\sqrt{1/n_A+1/n_B}\big)\gt t_{\nu,1-\alpha/2} ∣ X ˉ − Y ˉ − Δ 0 ∣/ ( S p 1/ n A + 1/ n B ) > t ν , 1 − α /2 时拒绝。该检验恰在 Δ 0 \Delta_0 Δ 0 位于 ( 1 − α ) (1-\alpha) ( 1 − α ) 区间之外时拒绝,因为两者表达的是同一个不等式。因此,区间由所有未被检验拒绝的零假设值组成。
概念视角 结构
合并区间作为回归系数 把全部 n A + n B n_A+n_B n A + n B 个观测叠在一起,用最小二乘拟合 Z = β 0 + β 1 g + ε Z=\beta_0+\beta_1g+\varepsilon Z = β 0 + β 1 g + ε ,其中 A A A 组取 g = 1 g=1 g = 1 ,B B B 组取 g = 0 g=0 g = 0 。拟合值就是两组的均值,所以 β ^ 1 = X ˉ − Y ˉ \widehat\beta_1=\bar X-\bar Y β 1 = X ˉ − Y ˉ ;残差平方和除以 n A + n B − 2 n_A+n_B-2 n A + n B − 2 就是 S p 2 S_p^2 S p 2 ;而 β ^ 1 \widehat\beta_1 β 1 的通常标准误是 S p 1 / n A + 1 / n B S_p\sqrt{1/n_A+1/n_B} S p 1/ n A + 1/ n B 。合并区间正是同方差正态误差下 β 1 \beta_1 β 1 的回归区间,因此它的共同方差假设也就是回归的假设。
方差不等:Welch 区间
现在允许 Y j ∼ N ( μ B , σ B 2 ) Y_j\sim N(\mu_B,\sigma_B^2) Y j ∼ N ( μ B , σ B 2 ) 、X i ∼ N ( μ A , σ A 2 ) X_i\sim N(\mu_A,\sigma_A^2) X i ∼ N ( μ A , σ A 2 ) ,其中可能有 σ A 2 ≠ σ B 2 \sigma_A^2\ne\sigma_B^2 σ A 2 = σ B 2 。此时 Var ( X ˉ − Y ˉ ) = σ A 2 / n A + σ B 2 / n B \operatorname{Var}(\bar X-\bar Y)=\sigma_A^2/n_A+\sigma_B^2/n_B Var ( X ˉ − Y ˉ ) = σ A 2 / n A + σ B 2 / n B 。当总体方差与样本量均不同时,合并方差公式未必正确估计这个方差;我们改用
S E ^ 2 = S A 2 n A + S B 2 n B . \widehat{\mathrm{SE}}^2=\frac{S_A^2}{n_A}+\frac{S_B^2}{n_B}. SE 2 = n A S A 2 + n B S B 2 .
分子 X ˉ − Y ˉ − Δ \bar X-\bar Y-\Delta X ˉ − Y ˉ − Δ 仍为正态,且仍独立于 ( S A 2 , S B 2 ) (S_A^2,S_B^2) ( S A 2 , S B 2 ) 。困难在于分母:
S A 2 n A + S B 2 n B = σ A 2 n A ( n A − 1 ) W A + σ B 2 n B ( n B − 1 ) W B , W A ∼ χ n A − 1 2 , W B ∼ χ n B − 1 2 . \frac{S_A^2}{n_A}+\frac{S_B^2}{n_B}
=\frac{\sigma_A^2}{n_A(n_A-1)}W_A+\frac{\sigma_B^2}{n_B(n_B-1)}W_B,
\qquad W_A\sim\chi^2_{n_A-1},\;W_B\sim\chi^2_{n_B-1}. n A S A 2 + n B S B 2 = n A ( n A − 1 ) σ A 2 W A + n B ( n B − 1 ) σ B 2 W B , W A ∼ χ n A − 1 2 , W B ∼ χ n B − 1 2 .
这是独立卡方变量的加权和,权重一般不同,因而通常不是 按常数缩放的卡方变量。因此,学生化后的比值一般不精确服从任何自由度的 t t t 分布。
Satterthwaite 矩匹配。 将分母写成 V = a A W A + a B W B V=a_AW_A+a_BW_B V = a A W A + a B W B ,令 f A = n A − 1 f_A=n_A-1 f A = n A − 1 、f B = n B − 1 f_B=n_B-1 f B = n B − 1 。那么 E V = a A f A + a B f B \mathbb EV=a_Af_A+a_Bf_B E V = a A f A + a B f B ,Var V = 2 ( a A 2 f A + a B 2 f B ) \operatorname{Var}V=2(a_A^2f_A+a_B^2f_B) Var V = 2 ( a A 2 f A + a B 2 f B ) 。我们用具有相同一、二阶矩的 c χ ν 2 c\,\chi^2_\nu c χ ν 2 近似 V V V :令 c ν = E V c\nu=\mathbb EV c ν = E V ,2 c 2 ν = Var V 2c^2\nu=\operatorname{Var}V 2 c 2 ν = Var V ,解得 ν = ( E V ) 2 / ( a A 2 f A + a B 2 f B ) \nu=(\mathbb EV)^2/(a_A^2f_A+a_B^2f_B) ν = ( E V ) 2 / ( a A 2 f A + a B 2 f B ) 。由于 a A f A = σ A 2 / n A a_Af_A=\sigma_A^2/n_A a A f A = σ A 2 / n A ,代入估计值得到下面的定义。
定义 7.4.4
(用估计自由度构造的 Welch 区间)
Welch–Satterthwaite 自由度 为
ν W = ( S A 2 / n A + S B 2 / n B ) 2 ( S A 2 / n A ) 2 n A − 1 + ( S B 2 / n B ) 2 n B − 1 , \nu_W=\frac{\big(S_A^2/n_A+S_B^2/n_B\big)^2}{\dfrac{(S_A^2/n_A)^2}{n_A-1}+\dfrac{(S_B^2/n_B)^2}{n_B-1}}, ν W = n A − 1 ( S A 2 / n A ) 2 + n B − 1 ( S B 2 / n B ) 2 ( S A 2 / n A + S B 2 / n B ) 2 , 只要分母为正就有定义;Welch 区间 为
( X ˉ − Y ˉ ) ± t ν W , 1 − α / 2 S A 2 / n A + S B 2 / n B . (\bar X-\bar Y)\pm t_{\nu_W,1-\alpha/2}\sqrt{S_A^2/n_A+S_B^2/n_B}. ( X ˉ − Y ˉ ) ± t ν W , 1 − α /2 S A 2 / n A + S B 2 / n B .
这是近似 区间。这里有两层近似:以缩放卡方分布代替 V V V 的分布,以及用数据估计 ν W \nu_W ν W 。一般不存在有限样本精确覆盖率保证。对正态数据,其覆盖率常接近标称值,但这种接近是经验和渐近意义上的性质,并非精确性定理。
有三点需要注意。
使用 Welch 方法前不必先检验 σ A 2 = σ B 2 \sigma_A^2=\sigma_B^2 σ A 2 = σ B 2 。根据这类预检验选择区间会改变整个方法的实际覆盖率。
Welch 区间并不总比合并方差区间短,也不总比它长。下文的两个例子分别展示这两种情况。
像 S A 2 = S B 2 = 0 S_A^2=S_B^2=0 S A 2 = S B 2 = 0 这样的情况,在连续模型下概率为零,但在数据经过严重舍入时可能出现,此时分母为零。这类情况及非正态重尾数据都需要另行分析。
无论使用哪种方法,n A n_A n A 和 n B n_B n B 都必须计算真正独立的单位。对同一标本反复拍摄的图像,或对同一受试者的多次读数,是伪重复,不能算成各自独立的单位。若把它们作为独立观测输入,1 / n A + 1 / n B \sqrt{1/n_A+1/n_B} 1/ n A + 1/ n B 中的样本量和自由度都会被夸大,所声称的覆盖率便不再适用;最后一道关于聚集数据的练习量化了这一影响。
例题 7.4.5
(A = ( 2 , 4 , 6 ) A=(2,4,6) A = ( 2 , 4 , 6 ) 与 B = ( 1 , 2 , 3 ) B=(1,2,3) B = ( 1 , 2 , 3 ) 的 Welch 自由度)
当 n A = n B = 3 n_A=n_B=3 n A = n B = 3 时,Welch 的 S E ^ 2 = 4 / 3 + 1 / 3 = 5 / 3 \widehat{\mathrm{SE}}^2=4/3+1/3=5/3 SE 2 = 4/3 + 1/3 = 5/3 ,与合并方法相同。只要 n A = n B n_A=n_B n A = n B ,两种标准误就相同,因为这时 S p 2 ( 1 / n A + 1 / n B ) = ( S A 2 + S B 2 ) / n A S_p^2(1/n_A+1/n_B)=(S_A^2+S_B^2)/n_A S p 2 ( 1/ n A + 1/ n B ) = ( S A 2 + S B 2 ) / n A 。不过,
ν W = ( 5 / 3 ) 2 ( 4 / 3 ) 2 / 2 + ( 1 / 3 ) 2 / 2 = 25 / 9 17 / 18 = 50 17 ≈ 2.941. \nu_W=\frac{(5/3)^2}{(4/3)^2/2+(1/3)^2/2}=\frac{25/9}{17/18}=\frac{50}{17}\approx2.941. ν W = ( 4/3 ) 2 /2 + ( 1/3 ) 2 /2 ( 5/3 ) 2 = 17/18 25/9 = 17 50 ≈ 2.941. t t t 分位数随自由度增加而减小,因此 t 2.941 , 0.975 t_{2.941,0.975} t 2.941 , 0.975 严格位于 t 3 , 0.975 ≈ 3.182 t_{3,0.975}\approx3.182 t 3 , 0.975 ≈ 3.182 与 t 2 , 0.975 ≈ 4.303 t_{2,0.975}\approx4.303 t 2 , 0.975 ≈ 4.303 之间。乘以 5 / 3 ≈ 1.291 \sqrt{5/3}\approx1.291 5/3 ≈ 1.291 ,误差限约在 4.11 4.11 4.11 与 5.56 5.56 5.56 之间,而合并方法的误差限为 3.584 3.584 3.584 。所以这里近似 Welch 区间更宽:样本量相等时,它的标准误相同,自由度却更少。
配对样本
模型。 假设设计产生 m ≥ 2 m\ge2 m ≥ 2 对观测 ( X i , Y i ) (X_i,Y_i) ( X i , Y i ) ,这些二元随机向量在不同 i i i 之间独立同分布,且差值 D i = X i − Y i D_i=X_i-Y_i D i = X i − Y i 独立同分布于 N ( Δ , σ D 2 ) N(\Delta,\sigma_D^2) N ( Δ , σ D 2 ) ,其中 σ D 2 > 0 \sigma_D^2>0 σ D 2 > 0 。独立性要求的是不同配对之间 独立。同一对中的 X i X_i X i 与 Y i Y_i Y i 可以相关,而且通常相关。
令 D ˉ = 1 m ∑ D i \bar D=\frac1m\sum D_i D ˉ = m 1 ∑ D i ,S D 2 = 1 m − 1 ∑ ( D i − D ˉ ) 2 S_D^2=\frac1{m-1}\sum(D_i-\bar D)^2 S D 2 = m − 1 1 ∑ ( D i − D ˉ ) 2 ,则
D ˉ − Δ S D / m ∼ t m − 1 , \frac{\bar D-\Delta}{S_D/\sqrt m}\sim t_{m-1}, S D / m D ˉ − Δ ∼ t m − 1 , 而 D ˉ ± t m − 1 , 1 − α / 2 S D / m \bar D\pm t_{m-1,1-\alpha/2}\,S_D/\sqrt m D ˉ ± t m − 1 , 1 − α /2 S D / m 是 Δ \Delta Δ 的精确 ( 1 − α ) (1-\alpha) ( 1 − α ) 置信区间。
D i D_i D i 构成一个独立同分布的正态样本,故前面证明的第一步适用,只需将 n A n_A n A 换成 m m m 。于是 D ˉ ∼ N ( Δ , σ D 2 / m ) \bar D\sim N(\Delta,\sigma_D^2/m) D ˉ ∼ N ( Δ , σ D 2 / m ) ,且它独立于 ( m − 1 ) S D 2 / σ D 2 ∼ χ m − 1 2 (m-1)S_D^2/\sigma_D^2\sim\chi^2_{m-1} ( m − 1 ) S D 2 / σ D 2 ∼ χ m − 1 2 ;因此比值服从 t m − 1 t_{m-1} t m − 1 。由于 σ D 2 > 0 \sigma_D^2>0 σ D 2 > 0 ,S D S_D S D 几乎必然为正。
点估计没有改变,因为 D ˉ = X ˉ − Y ˉ \bar D=\bar X-\bar Y D ˉ = X ˉ − Y ˉ 。改变的是方差:
σ D 2 = Var ( X ) + Var ( Y ) − 2 Cov ( X , Y ) . \sigma_D^2=\operatorname{Var}(X)+\operatorname{Var}(Y)-2\operatorname{Cov}(X,Y). σ D 2 = Var ( X ) + Var ( Y ) − 2 Cov ( X , Y ) .
与其他条件相当、每组使用 m m m 个单位的独立设计相比,后者有 Var ( X ˉ − Y ˉ ) = ( Var X + Var Y ) / m \operatorname{Var}(\bar X-\bar Y)=\big(\operatorname{Var}X+\operatorname{Var}Y\big)/m Var ( X ˉ − Y ˉ ) = ( Var X + Var Y ) / m 。对内协方差为正时配对提高精度;为负时则降低精度。
独立样本的标准误假设 Cov ( X ˉ , Y ˉ ) = 0 \operatorname{Cov}(\bar X,\bar Y)=0 Cov ( X ˉ , Y ˉ ) = 0 。在配对设计中,X ˉ − Y ˉ = D ˉ \bar X-\bar Y=\bar D X ˉ − Y ˉ = D ˉ 的真实方差是 ( Var X + Var Y − 2 Cov ( X , Y ) ) / m (\operatorname{Var}X+\operatorname{Var}Y-2\operatorname{Cov}(X,Y))/m ( Var X + Var Y − 2 Cov ( X , Y )) / m ,而且两组样本并不独立,所以合并 t t t 分布不成立。忽略配对时,协方差为正会高估方差,协方差为负则会低估方差。若 Var X = Var Y = 1 \operatorname{Var}X=\operatorname{Var}Y=1 Var X = Var Y = 1 、Cov ( X , Y ) = − 0.75 \operatorname{Cov}(X,Y)=-0.75 Cov ( X , Y ) = − 0.75 ,独立公式用 2 / m 2/m 2/ m ,真实方差却是 3.5 / m 3.5/m 3.5/ m 。
假设设计确实将相同位置相连:单位 i i i 同时产生 x i x_i x i 和 y i y_i y i ,不同单位独立抽样。那么 D = ( 2 − 1 , 4 − 2 , 6 − 3 ) = ( 1 , 2 , 3 ) D=(2-1,\,4-2,\,6-3)=(1,2,3) D = ( 2 − 1 , 4 − 2 , 6 − 3 ) = ( 1 , 2 , 3 ) 。由此 d ˉ = 2 \bar d=2 d ˉ = 2 、s D 2 = 1 s_D^2=1 s D 2 = 1 、标准误为 1 / 3 ≈ 0.577 1/\sqrt3\approx0.577 1/ 3 ≈ 0.577 ,且 ν = 2 \nu=2 ν = 2 。
取 t 2 , 0.975 ≈ 4.303 t_{2,0.975}\approx4.303 t 2 , 0.975 ≈ 4.303 ,误差限为 4.303 × 0.577 ≈ 2.484 4.303\times0.577\approx2.484 4.303 × 0.577 ≈ 2.484 。基于该模型的精确 95% 区间约为
[ − 0.484 , 4.484 ] . [-0.484,\;4.484]. [ − 0.484 , 4.484 ] . 虽然自由度较少,该区间仍比合并方差区间窄,因为配对差值的变动很小。
反例模式
配对是设计提供的信息,不是从数字中选出来的 保持 A = ( 2 , 4 , 6 ) A=(2,4,6) A = ( 2 , 4 , 6 ) ,但将 B B B 排列为 ( 3 , 2 , 1 ) (3,2,1) ( 3 , 2 , 1 ) 。数值集合没有变化,配对却不同了。现在 D = ( − 1 , 2 , 5 ) D=(-1,2,5) D = ( − 1 , 2 , 5 ) ,均值仍为 d ˉ = 2 \bar d=2 d ˉ = 2 ,但 s D 2 = ( 9 + 0 + 9 ) / 2 = 9 s_D^2=(9+0+9)/2=9 s D 2 = ( 9 + 0 + 9 ) /2 = 9 ,故标准误为 3 ≈ 1.732 \sqrt3\approx1.732 3 ≈ 1.732 。
仅凭数据值无法判断哪一种配对正确,甚至无法判断是否存在配对。只有抽样设计将两个测量关联起来时,配对才合理,例如同一单位的两次测量,或测量之前形成的匹配组。分析者不能事后根据哪种方法给出更小的 p p p 值来选择“配对”或“独立”;这样做会使所声称的错误率失效。数值吻合也不能证明不同配对彼此独立,更不能证明 Δ \Delta Δ 是因果效应。
每个单位的观测次数不等、配对对象缺失,或配对之间存在依赖(例如连续几天测量的配对共同受到漂移影响),都超出此模型,需要恰当的其他模型。一个常见例子是在同一测试案例上比较两个固定的、已训练好的预测器:逐案例损失之差自然形成配对。但如果案例按时间排列或聚集,例如同一用户有多条记录,各案例的差值未必独立。此时仅因为使用了相同案例,并不足以使用配对 t t t 分布。
练习
练习 7.4.8
(有效配对设计得到差值 ( 1 , 3 , 5 ) (1,3,5) ( 1 , 3 , 5 ) 。在配对正态模型下,计算 Δ \Delta Δ 的 95% 区间。)
基础
解答 (2) 1 汇总统计量
m = 3 m=3 m = 3 ,d ˉ = 3 \bar d=3 d ˉ = 3 。残差为 − 2 , 0 , 2 -2,0,2 − 2 , 0 , 2 ,因此 s D 2 = 8 / 2 = 4 s_D^2=8/2=4 s D 2 = 8/2 = 4 ,s D = 2 s_D=2 s D = 2 。标准误为 2 / 3 ≈ 1.155 2/\sqrt3\approx1.155 2/ 3 ≈ 1.155 ,自由度 ν = 2 \nu=2 ν = 2 。
2 区间
取 t 2 , 0.975 ≈ 4.303 t_{2,0.975}\approx4.303 t 2 , 0.975 ≈ 4.303 ,
3 ± 4.303 ⋅ 2 3 ≈ 3 ± 4.968 , 3\pm4.303\cdot\frac2{\sqrt3}\approx3\pm4.968, 3 ± 4.303 ⋅ 3 2 ≈ 3 ± 4.968 , 即约 [ − 1.968 , 7.968 ] [-1.968,\,7.968] [ − 1.968 , 7.968 ] 。在所述模型下,这是精确区间。
看下一步 (2/2) 全部展开
练习 7.4.9
(两独立正态组的数据为 n A = 4 n_A=4 n A = 4 、s A 2 = 1 s_A^2=1 s A 2 = 1 、n B = 6 n_B=6 n B = 6 、s B 2 = 4 s_B^2=4 s B 2 = 4 。计算 Welch 的 S E ^ 2 \widehat{\mathrm{SE}}^2 SE 2 和 ν W \nu_W ν W ,描述所得区间,并与合并方差区间比较。)
核心
解答 (3) 1 Welch 标准误与自由度
S E ^ 2 = 1 / 4 + 4 / 6 = 11 / 12 \widehat{\mathrm{SE}}^2=1/4+4/6=11/12 SE 2 = 1/4 + 4/6 = 11/12 ,且
ν W = ( 11 / 12 ) 2 ( 1 / 4 ) 2 / 3 + ( 2 / 3 ) 2 / 5 = 121 / 144 1 / 48 + 4 / 45 = 121 / 144 79 / 720 = 605 79 ≈ 7.658. \nu_W=\frac{(11/12)^2}{(1/4)^2/3+(2/3)^2/5}=\frac{121/144}{1/48+4/45}=\frac{121/144}{79/720}=\frac{605}{79}\approx7.658. ν W = ( 1/4 ) 2 /3 + ( 2/3 ) 2 /5 ( 11/12 ) 2 = 1/48 + 4/45 121/144 = 79/720 121/144 = 79 605 ≈ 7.658. 2 Welch 区间
区间为 ( x ˉ − y ˉ ) ± t 7.658 , 0.975 11 / 12 (\bar x-\bar y)\pm t_{7.658,0.975}\sqrt{11/12} ( x ˉ − y ˉ ) ± t 7.658 , 0.975 11/12 。其分位数位于 t 8 , 0.975 t_{8,0.975} t 8 , 0.975 和 t 7 , 0.975 t_{7,0.975} t 7 , 0.975 之间,可由软件求得。覆盖率约为 95%,并非精确的 95%。
3 与合并方法比较
合并方差为 s p 2 = ( 3 + 20 ) / 8 = 2.875 s_p^2=(3+20)/8=2.875 s p 2 = ( 3 + 20 ) /8 = 2.875 ,对应 S E 2 = 2.875 ⋅ ( 1 / 4 + 1 / 6 ) ≈ 1.198 \mathrm{SE}^2=2.875\cdot(1/4+1/6)\approx1.198 SE 2 = 2.875 ⋅ ( 1/4 + 1/6 ) ≈ 1.198 ,大于 11 / 12 ≈ 0.917 11/12\approx0.917 11/12 ≈ 0.917 。这里 Welch 的标准误较小,因为合并时样本较大组的较大方差得到更高权重。Welch 与合并方法的 95% 误差限分别约为 2.225 2.225 2.225 和 2.524 2.524 2.524 ,所以此例中 Welch 区间也较短;而在样本量相等的算例中,Welch 区间较宽。
看下一步 (2/3) 全部展开
练习 7.4.10
(有效的独立同分布配对满足 Var X = Var Y = 1 \operatorname{Var}X=\operatorname{Var}Y=1 Var X = Var Y = 1 和 Cov ( X , Y ) = − 0.75 \operatorname{Cov}(X,Y)=-0.75 Cov ( X , Y ) = − 0.75 。比较 Var ( X − Y ) \operatorname{Var}(X-Y) Var ( X − Y ) 与两个独立单次观测之差的方差。)
基础
解答 (2) 1 同一对之内
Var ( X − Y ) = 1 + 1 − 2 ( − 0.75 ) = 3.5 \operatorname{Var}(X-Y)=1+1-2(-0.75)=3.5 Var ( X − Y ) = 1 + 1 − 2 ( − 0.75 ) = 3.5 。
2 独立观测
独立观测的协方差为零,所以方差为 1 + 1 = 2 1+1=2 1 + 1 = 2 。当协方差为负时,配对使方差增加至原来的 1.75 1.75 1.75 倍,故配对未必提高精度。
看下一步 (2/2) 全部展开
练习 7.4.11
(给出真正配对的数据收集方案。再给出一个聚集数据的反例,说明简单地把个体视为独立单位构造 t t t 区间时,统计量不服从所假定的分布。)
综合
解答 (4) 1 真正配对的方案
从明确的总体中独立抽取 m m m 个标本。将每个标本分成两半,并随机决定哪一半由方法 A A A 测量。同一标本的两个测量因共有成分而相关;由于标本独立抽样,不同标本的配对彼此独立。随机分配两半有助于将 Δ \Delta Δ 解释为方法对该总体测量的影响。如果改为由人们自行选择方法,则 Δ \Delta Δ 只描述关联。
2 聚集模型
假设每组有五个班级,每班三十名学生。设相互独立且均值为零的班级效应的方差为 τ 2 \tau^2 τ 2 ,相互独立且均值为零的个体误差的方差为 σ e 2 \sigma_e^2 σ e 2 。班内组内相关系数为 ρ = τ 2 / ( τ 2 + σ e 2 ) \rho=\tau^2/(\tau^2+\sigma_e^2) ρ = τ 2 / ( τ 2 + σ e 2 ) 。一组均值的方差为
( τ 2 + σ e 2 ) [ 1 + ( k − 1 ) ρ ] C k , k = 30 , C = 5. \frac{(\tau^2+\sigma_e^2)\,[1+(k-1)\rho]}{Ck},\qquad k=30,\;C=5. C k ( τ 2 + σ e 2 ) [ 1 + ( k − 1 ) ρ ] , k = 30 , C = 5. 依据: 所有班级及两组之间的班级效应与个体误差相互独立。
3 与简单模型比较
关键一步
将学生简单视作独立、并采用 ν = 298 \nu=298 ν = 298 的模型会把这个方差当作 ( τ 2 + σ e 2 ) / 150 (\tau^2+\sigma_e^2)/150 ( τ 2 + σ e 2 ) /150 。若 ρ = 0.1 \rho=0.1 ρ = 0.1 ,它忽略了因子 1 + 29 ( 0.1 ) = 3.9 1+29(0.1)=3.9 1 + 29 ( 0.1 ) = 3.9 :真实组均值的标准差约为该模型给出的标准差的 3.9 ≈ 1.97 \sqrt{3.9}\approx1.97 3.9 ≈ 1.97 倍。这里比较的是总体标准差,而不是某次算出的标准误估计。相依性也会改变分母的分布,因此不能直接采用 t 298 t_{298} t 298 作为参照,也不能保证标称的 95% 覆盖率。
4 恰当的分析
抽样单位是班级,必须在评价之前确定。如果各班均值独立同分布且服从具有共同方差的正态分布(班级人数相同有助于满足这一条件),对十个班级均值使用自由度 ν = 8 \nu=8 ν = 8 的合并方差 t t t 区间是适当的分析。所得 Δ \Delta Δ 是否具有因果解释,仍取决于班级是否被随机分配到各组。
看下一步 (2/4) 全部展开