單樣本 t t t 區間回答的是單一總體平均數的問題。許多實際問題卻是比較性的:方法 A A A 的測量值是否比方法 B B B 大?大多少?本節從單樣本理論出發建立雙樣本方法,亦為 t t t 對比和方差分析鋪路;在後者之中,同一個合併方差會以誤差均方的形式出現。
本節的目標是總體平均數之差
Δ = μ A − μ B . \Delta=\mu_A-\mu_B. Δ = μ A − μ B .
估計量通常是樣本平均數之差。真正需要仔細處理的是它的標準誤 ,以及標準化統計量的分布 ;兩者都取決於數據如何收集。因此,在套用任何公式之前,我們必須先確定設計、抽樣單位和模型。
共同方差下的獨立樣本
模型。 設 X 1 , … , X n A X_1,\dots,X_{n_A} X 1 , … , X n A 獨立同分布於 N ( μ A , σ 2 ) N(\mu_A,\sigma^2) N ( μ A , σ 2 ) ,Y 1 , … , Y n B Y_1,\dots,Y_{n_B} Y 1 , … , Y n B 獨立同分布於 N ( μ B , σ 2 ) N(\mu_B,\sigma^2) N ( μ B , σ 2 ) ;兩組樣本互相獨立,σ 2 > 0 \sigma^2>0 σ 2 > 0 ,且 n A , n B ≥ 2 n_A,n_B\ge2 n A , n B ≥ 2 。定義
X ˉ = 1 n A ∑ i = 1 n A X i , S A 2 = 1 n A − 1 ∑ i = 1 n A ( X i − X ˉ ) 2 , \bar X=\frac1{n_A}\sum_{i=1}^{n_A}X_i,\qquad
S_A^2=\frac1{n_A-1}\sum_{i=1}^{n_A}(X_i-\bar X)^2, X ˉ = n A 1 i = 1 ∑ n A X i , S A 2 = n A − 1 1 i = 1 ∑ n A ( X i − X ˉ ) 2 ,
並以類似方式定義 Y ˉ \bar Y Y ˉ 和 S B 2 S_B^2 S B 2 。S A 2 S_A^2 S A 2 與 S B 2 S_B^2 S B 2 都是同一個 σ 2 \sigma^2 σ 2 的不偏估計量,但所含資訊量不同:前者由 n A − 1 n_A-1 n A − 1 個獨立的殘差變異部分構成,後者則有 n B − 1 n_B-1 n B − 1 個。
為甚麼合併方差有這個形式? 在模型下,( n A − 1 ) S A 2 / σ 2 ∼ χ n A − 1 2 (n_A-1)S_A^2/\sigma^2\sim\chi^2_{n_A-1} ( n A − 1 ) S A 2 / σ 2 ∼ χ n A − 1 2 ,而 ( n B − 1 ) S B 2 / σ 2 ∼ χ n B − 1 2 (n_B-1)S_B^2/\sigma^2\sim\chi^2_{n_B-1} ( n B − 1 ) S B 2 / σ 2 ∼ χ n B − 1 2 。把殘差平方和相加,再除以殘差自由度的總數,便得到以下估計量。
對樣本量 n A , n B ≥ 2 n_A,n_B\ge2 n A , n B ≥ 2 、樣本方差為 S A 2 S_A^2 S A 2 與 S B 2 S_B^2 S B 2 的兩個獨立樣本,合併方差 為
S p 2 = ( n A − 1 ) S A 2 + ( n B − 1 ) S B 2 n A + n B − 2 . S_p^2=\frac{(n_A-1)S_A^2+(n_B-1)S_B^2}{n_A+n_B-2}. S p 2 = n A + n B − 2 ( n A − 1 ) S A 2 + ( n B − 1 ) S B 2 .
這是兩個方差以自由度為權重的加權平均,而且是不偏的,因為 E [ S p 2 ] = [ ( n A − 1 ) σ 2 + ( n B − 1 ) σ 2 ] / ( n A + n B − 2 ) = σ 2 \mathbb E[S_p^2]=[(n_A-1)\sigma^2+(n_B-1)\sigma^2]/(n_A+n_B-2)=\sigma^2 E [ S p 2 ] = [( n A − 1 ) σ 2 + ( n B − 1 ) σ 2 ] / ( n A + n B − 2 ) = σ 2 。它正是兩組單因子方差分析的誤差均方。令 ν = n A + n B − 2 \nu=n_A+n_B-2 ν = n A + n B − 2 ,以下證明會顯示 ν S p 2 / σ 2 ∼ χ ν 2 \nu S_p^2/\sigma^2\sim\chi^2_\nu ν S p 2 / σ 2 ∼ χ ν 2 。
定理 7.4.2
(精確的合併雙樣本 t t t 區間)
在以上獨立樣本模型下,令 ν = n A + n B − 2 \nu=n_A+n_B-2 ν = n A + n B − 2 ,則
T = X ˉ − Y ˉ − Δ S p 1 / n A + 1 / n B ∼ t ν . T=\frac{\bar X-\bar Y-\Delta}{S_p\sqrt{1/n_A+1/n_B}}\sim t_\nu. T = S p 1/ n A + 1/ n B X ˉ − Y ˉ − Δ ∼ t ν . 因此,對 0 < α < 1 0\lt\alpha\lt1 0 < α < 1 ,隨機區間
( X ˉ − Y ˉ ) ± t ν , 1 − α / 2 S p 1 n A + 1 n B (\bar X-\bar Y)\pm t_{\nu,1-\alpha/2}\,S_p\sqrt{\frac1{n_A}+\frac1{n_B}} ( X ˉ − Y ˉ ) ± t ν , 1 − α /2 S p n A 1 + n B 1 包含 Δ \Delta Δ 的概率恰為 1 − α 1-\alpha 1 − α ,這對所有滿足 σ 2 > 0 \sigma^2>0 σ 2 > 0 的 ( μ A , μ B , σ 2 ) (\mu_A,\mu_B,\sigma^2) ( μ A , μ B , σ 2 ) 均成立。
第一步(單一組)。 固定 A A A 組,令 Q Q Q 為第一行是 ( 1 , … , 1 ) / n A (1,\dots,1)/\sqrt{n_A} ( 1 , … , 1 ) / n A 的 n A × n A n_A\times n_A n A × n A 正交矩陣,並設 Z = Q ( X − μ A 1 ) / σ Z=Q(X-\mu_A\mathbf 1)/\sigma Z = Q ( X − μ A 1 ) / σ 。由於 X − μ A 1 ∼ N ( 0 , σ 2 I ) X-\mu_A\mathbf 1\sim N(0,\sigma^2 I) X − μ A 1 ∼ N ( 0 , σ 2 I ) 且 Q Q Q 正交,Z ∼ N ( 0 , I ) Z\sim N(0,I) Z ∼ N ( 0 , I ) 。其第一個座標為 Z 1 = n A ( X ˉ − μ A ) / σ Z_1=\sqrt{n_A}(\bar X-\mu_A)/\sigma Z 1 = n A ( X ˉ − μ A ) / σ 。正交變換保持長度的平方,因此
∑ k = 2 n A Z k 2 = ∥ Z ∥ 2 − Z 1 2 = 1 σ 2 [ ∑ i ( X i − μ A ) 2 − n A ( X ˉ − μ A ) 2 ] = ( n A − 1 ) S A 2 σ 2 . \sum_{k=2}^{n_A}Z_k^2=\|Z\|^2-Z_1^2=\frac1{\sigma^2}\Big[\sum_i(X_i-\mu_A)^2-n_A(\bar X-\mu_A)^2\Big]=\frac{(n_A-1)S_A^2}{\sigma^2}. k = 2 ∑ n A Z k 2 = ∥ Z ∥ 2 − Z 1 2 = σ 2 1 [ i ∑ ( X i − μ A ) 2 − n A ( X ˉ − μ A ) 2 ] = σ 2 ( n A − 1 ) S A 2 . Z Z Z 的各座標是獨立標準正態變量。因此 X ˉ ∼ N ( μ A , σ 2 / n A ) \bar X\sim N(\mu_A,\sigma^2/n_A) X ˉ ∼ N ( μ A , σ 2 / n A ) ,( n A − 1 ) S A 2 / σ 2 ∼ χ n A − 1 2 (n_A-1)S_A^2/\sigma^2\sim\chi^2_{n_A-1} ( n A − 1 ) S A 2 / σ 2 ∼ χ n A − 1 2 ,而且兩者獨立。B B B 組亦然。
第二步(合併)。 兩組樣本獨立,所以 X ˉ \bar X X ˉ 、S A 2 S_A^2 S A 2 、Y ˉ \bar Y Y ˉ 、S B 2 S_B^2 S B 2 四者互相獨立。故
U = X ˉ − Y ˉ − Δ σ 1 / n A + 1 / n B ∼ N ( 0 , 1 ) , W = ν S p 2 σ 2 = ( n A − 1 ) S A 2 σ 2 + ( n B − 1 ) S B 2 σ 2 ∼ χ ν 2 , U=\frac{\bar X-\bar Y-\Delta}{\sigma\sqrt{1/n_A+1/n_B}}\sim N(0,1),\qquad
W=\frac{\nu S_p^2}{\sigma^2}=\frac{(n_A-1)S_A^2}{\sigma^2}+\frac{(n_B-1)S_B^2}{\sigma^2}\sim\chi^2_\nu, U = σ 1/ n A + 1/ n B X ˉ − Y ˉ − Δ ∼ N ( 0 , 1 ) , W = σ 2 ν S p 2 = σ 2 ( n A − 1 ) S A 2 + σ 2 ( n B − 1 ) S B 2 ∼ χ ν 2 , 因為獨立卡方變量之和仍為卡方變量,自由度相加。U U U 只依賴平均數,W W W 只依賴方差,所以兩者獨立。
第三步(比值)。 未知的 σ \sigma σ 抵消,得到 T = U / W / ν T=U/\sqrt{W/\nu} T = U / W / ν 。依定義,標準正態變量除以與其獨立的 χ ν 2 / ν \chi^2_\nu/\nu χ ν 2 / ν 的平方根,便服從 t ν t_\nu t ν 分布。
第四步(分母)。 W W W 的分布連續,故 P ( W = 0 ) = 0 P(W=0)=0 P ( W = 0 ) = 0 。因此 S p > 0 S_p>0 S p > 0 幾乎必然成立,而 T T T 以概率一良好定義。這裏用到 σ 2 > 0 \sigma^2>0 σ 2 > 0 和 ν ≥ 2 \nu\ge2 ν ≥ 2 。
第五步(反解)。 t ν t_\nu t ν 分布連續且對稱,因此 P ( ∣ T ∣ ≤ t ν , 1 − α / 2 ) = 1 − α P(|T|\le t_{\nu,1-\alpha/2})=1-\alpha P ( ∣ T ∣ ≤ t ν , 1 − α /2 ) = 1 − α 。把 ∣ T ∣ ≤ q |T|\le q ∣ T ∣ ≤ q 重新整理成關於 Δ \Delta Δ 的不等式,便得到上述區間。
證明透視
各個假設在合併 t 證明中的位置 每個假設都在一個可辨認的步驟中使用。正態性只在第一步用到:N ( 0 , σ 2 I ) N(0,\sigma^2I) N ( 0 , σ 2 I ) 向量經正交旋轉後仍是 N ( 0 , σ 2 I ) N(0,\sigma^2I) N ( 0 , σ 2 I ) ;這一個事實同時給出平均數的分布、殘差平方和的分布,以及兩者的獨立性。兩組之間的獨立性在第二步用來令四個統計量互相獨立。
共同方差同樣在第二步用到,而且正是它令論證得以完成。它令兩個殘差平方和處於同一尺度 σ 2 \sigma^2 σ 2 ,所以其和是 σ 2 \sigma^2 σ 2 乘以一個 χ ν 2 \chi^2_\nu χ ν 2 變量,第三步便能消去同一個 σ \sigma σ 。若 σ A 2 ≠ σ B 2 \sigma_A^2\ne\sigma_B^2 σ A 2 = σ B 2 ,合併的殘差平方和是 σ A 2 χ n A − 1 2 + σ B 2 χ n B − 1 2 \sigma_A^2\chi^2_{n_A-1}+\sigma_B^2\chi^2_{n_B-1} σ A 2 χ n A − 1 2 + σ B 2 χ n B − 1 2 ,不是單一卡方變量的倍數;這正是 Welch 一節遇到的困難。
關鍵一步是消去 σ \sigma σ 。它令 T T T 成為樞紐量:在真實 Δ \Delta Δ 下,其分布不依賴三個參數中的任何一個。這就是覆蓋率對每個 ( μ A , μ B , σ 2 ) (\mu_A,\mu_B,\sigma^2) ( μ A , μ B , σ 2 ) 都恰為 1 − α 1-\alpha 1 − α 的原因。
條件的意義與限制。 正態性、共同方差、固定組別內外的獨立性,以及固定樣本量,足以保證精確性,但並非唯一的必要條件。例如,在真實 Δ \Delta Δ 下,所有誤差同乘一個正數不改變 T T T 。因此,如果把兩組誤差合併成的向量具有任何球對稱分布,且一階矩有限、原點沒有概率質量,T T T 仍精確服從 t ν t_\nu t ν ,即使誤差可以互相依賴;若二階矩存在,不同座標則不相關。反過來,當獨立誤差明顯偏斜或尾部很重,而樣本又小時,覆蓋率可能不同於 1 − α 1-\alpha 1 − α ,需要另行分析。
定理描述的是總體平均數附近的抽樣變異,並沒有解釋平均數為甚麼 不同。要把 Δ \Delta Δ 解讀為 A A A 相對於 B B B 的因果效果,需要使兩組可比較的設計,通常是隨機分配,或明確且有理據的假設;否則 Δ \Delta Δ 只描述總體中的關聯。
計算例子
例題 7.4.3
(A = ( 2 , 4 , 6 ) A=(2,4,6) A = ( 2 , 4 , 6 ) 與 B = ( 1 , 2 , 3 ) B=(1,2,3) B = ( 1 , 2 , 3 ) 的合併區間)
這裏 n A = n B = 3 n_A=n_B=3 n A = n B = 3 、x ˉ = 4 \bar x=4 x ˉ = 4 、y ˉ = 2 \bar y=2 y ˉ = 2 ,故 Δ ^ = 2 \hat\Delta=2 Δ ^ = 2 。
A A A 組殘差為 − 2 , 0 , 2 -2,0,2 − 2 , 0 , 2 ,所以 s A 2 = ( 4 + 0 + 4 ) / 2 = 4 s_A^2=(4+0+4)/2=4 s A 2 = ( 4 + 0 + 4 ) /2 = 4 ;B B B 組殘差為 − 1 , 0 , 1 -1,0,1 − 1 , 0 , 1 ,所以 s B 2 = ( 1 + 0 + 1 ) / 2 = 1 s_B^2=(1+0+1)/2=1 s B 2 = ( 1 + 0 + 1 ) /2 = 1 。
合併方差是 s p 2 = ( 2 ⋅ 4 + 2 ⋅ 1 ) / 4 = 2.5 s_p^2=(2\cdot4+2\cdot1)/4=2.5 s p 2 = ( 2 ⋅ 4 + 2 ⋅ 1 ) /4 = 2.5 ,自由度 ν = 4 \nu=4 ν = 4 。
標準誤是 s p 1 / 3 + 1 / 3 = 2.5 ⋅ 2 / 3 = 5 / 3 ≈ 1.291 s_p\sqrt{1/3+1/3}=\sqrt{2.5\cdot2/3}=\sqrt{5/3}\approx1.291 s p 1/3 + 1/3 = 2.5 ⋅ 2/3 = 5/3 ≈ 1.291 。
檢定 H 0 : Δ = 0 H_0:\Delta=0 H 0 : Δ = 0 的統計量為 t = 2 / 5 / 3 ≈ 1.549 t=2/\sqrt{5/3}\approx1.549 t = 2/ 5/3 ≈ 1.549 。
由 t 4 , 0.975 ≈ 2.776 t_{4,0.975}\approx2.776 t 4 , 0.975 ≈ 2.776 ,誤差界為 2.776 × 1.291 ≈ 3.584 2.776\times1.291\approx3.584 2.776 × 1.291 ≈ 3.584 。所以 95% 區間約為
[ − 1.584 , 5.584 ] . [-1.584,\;5.584]. [ − 1.584 , 5.584 ] . 它包含 0 0 0 ;相應地,∣ t ∣ = 1.549 < 2.776 |t|=1.549\lt2.776 ∣ t ∣ = 1.549 < 2.776 。
解讀。 「95%」描述的是方法 :在模型下重複抽樣,按此方法構造的區間有 95% 包含固定的 Δ \Delta Δ 。算出來的區間 [ − 1.584 , 5.584 ] [-1.584,5.584] [ − 1.584 , 5.584 ] 要麼包含 Δ \Delta Δ ,要麼不包含;算出後不能再說它以 95% 的概率包含 Δ \Delta Δ 。
檢定與區間的對偶。 在模型下,考慮顯著水平為 α \alpha α 的雙側檢定 H 0 : Δ = Δ 0 H_0:\Delta=\Delta_0 H 0 : Δ = Δ 0 :當 ∣ X ˉ − Y ˉ − Δ 0 ∣ / ( S p 1 / n A + 1 / n B ) > t ν , 1 − α / 2 |\bar X-\bar Y-\Delta_0|/\big(S_p\sqrt{1/n_A+1/n_B}\big)\gt t_{\nu,1-\alpha/2} ∣ X ˉ − Y ˉ − Δ 0 ∣/ ( S p 1/ n A + 1/ n B ) > t ν , 1 − α /2 時拒絕。這恰好等同 Δ 0 \Delta_0 Δ 0 落在 ( 1 − α ) (1-\alpha) ( 1 − α ) 區間之外,因為兩者是同一個不等式。區間就是檢定不拒絕的假設值集合。
概念視角 結構
合併區間作為迴歸係數 把全部 n A + n B n_A+n_B n A + n B 個觀測疊在一起,用最小二乘擬合 Z = β 0 + β 1 g + ε Z=\beta_0+\beta_1g+\varepsilon Z = β 0 + β 1 g + ε ,其中 A A A 組取 g = 1 g=1 g = 1 ,B B B 組取 g = 0 g=0 g = 0 。擬合值就是兩組的平均,所以 β ^ 1 = X ˉ − Y ˉ \widehat\beta_1=\bar X-\bar Y β 1 = X ˉ − Y ˉ ;殘差平方和除以 n A + n B − 2 n_A+n_B-2 n A + n B − 2 就是 S p 2 S_p^2 S p 2 ;而 β ^ 1 \widehat\beta_1 β 1 的通常標準誤是 S p 1 / n A + 1 / n B S_p\sqrt{1/n_A+1/n_B} S p 1/ n A + 1/ n B 。合併區間正是同方差正態誤差下 β 1 \beta_1 β 1 的迴歸區間,因此它的共同方差假設也就是迴歸的假設。
方差不相等:Welch 區間
現在容許 Y j ∼ N ( μ B , σ B 2 ) Y_j\sim N(\mu_B,\sigma_B^2) Y j ∼ N ( μ B , σ B 2 ) 和 X i ∼ N ( μ A , σ A 2 ) X_i\sim N(\mu_A,\sigma_A^2) X i ∼ N ( μ A , σ A 2 ) ,其中可能有 σ A 2 ≠ σ B 2 \sigma_A^2\ne\sigma_B^2 σ A 2 = σ B 2 。此時 Var ( X ˉ − Y ˉ ) = σ A 2 / n A + σ B 2 / n B \operatorname{Var}(\bar X-\bar Y)=\sigma_A^2/n_A+\sigma_B^2/n_B Var ( X ˉ − Y ˉ ) = σ A 2 / n A + σ B 2 / n B 。當總體方差及樣本量不同時,合併公式未必正確估計這個方差;我們改用
S E ^ 2 = S A 2 n A + S B 2 n B . \widehat{\mathrm{SE}}^2=\frac{S_A^2}{n_A}+\frac{S_B^2}{n_B}. SE 2 = n A S A 2 + n B S B 2 .
分子 X ˉ − Y ˉ − Δ \bar X-\bar Y-\Delta X ˉ − Y ˉ − Δ 仍是正態,並且仍與 ( S A 2 , S B 2 ) (S_A^2,S_B^2) ( S A 2 , S B 2 ) 獨立。困難在分母:
S A 2 n A + S B 2 n B = σ A 2 n A ( n A − 1 ) W A + σ B 2 n B ( n B − 1 ) W B , W A ∼ χ n A − 1 2 , W B ∼ χ n B − 1 2 . \frac{S_A^2}{n_A}+\frac{S_B^2}{n_B}
=\frac{\sigma_A^2}{n_A(n_A-1)}W_A+\frac{\sigma_B^2}{n_B(n_B-1)}W_B,
\qquad W_A\sim\chi^2_{n_A-1},\;W_B\sim\chi^2_{n_B-1}. n A S A 2 + n B S B 2 = n A ( n A − 1 ) σ A 2 W A + n B ( n B − 1 ) σ B 2 W B , W A ∼ χ n A − 1 2 , W B ∼ χ n B − 1 2 .
這是獨立卡方變量的加權和,權重可以不同;一般而言它不是 某個卡方變量的常數倍,所以標準化比值也不會精確地服從某個自由度的 t t t 分布。
Satterthwaite 矩匹配。 將分母寫成 V = a A W A + a B W B V=a_AW_A+a_BW_B V = a A W A + a B W B ,令 f A = n A − 1 f_A=n_A-1 f A = n A − 1 、f B = n B − 1 f_B=n_B-1 f B = n B − 1 ,則 E V = a A f A + a B f B \mathbb EV=a_Af_A+a_Bf_B E V = a A f A + a B f B ,Var V = 2 ( a A 2 f A + a B 2 f B ) \operatorname{Var}V=2(a_A^2f_A+a_B^2f_B) Var V = 2 ( a A 2 f A + a B 2 f B ) 。以具有相同首兩個矩的 c χ ν 2 c\chi^2_\nu c χ ν 2 近似 V V V :令 c ν = E V c\nu=\mathbb EV c ν = E V 、2 c 2 ν = Var V 2c^2\nu=\operatorname{Var}V 2 c 2 ν = Var V ,解得 ν = ( E V ) 2 / ( a A 2 f A + a B 2 f B ) \nu=(\mathbb EV)^2/(a_A^2f_A+a_B^2f_B) ν = ( E V ) 2 / ( a A 2 f A + a B 2 f B ) 。由 a A f A = σ A 2 / n A a_Af_A=\sigma_A^2/n_A a A f A = σ A 2 / n A ,代入估計值便得到以下定義。
定義 7.4.4
(以估計自由度構成的 Welch 區間)
Welch–Satterthwaite 自由度 為
ν W = ( S A 2 / n A + S B 2 / n B ) 2 ( S A 2 / n A ) 2 n A − 1 + ( S B 2 / n B ) 2 n B − 1 , \nu_W=\frac{\big(S_A^2/n_A+S_B^2/n_B\big)^2}{\dfrac{(S_A^2/n_A)^2}{n_A-1}+\dfrac{(S_B^2/n_B)^2}{n_B-1}}, ν W = n A − 1 ( S A 2 / n A ) 2 + n B − 1 ( S B 2 / n B ) 2 ( S A 2 / n A + S B 2 / n B ) 2 , 只要分母為正便有定義;Welch 區間 是
( X ˉ − Y ˉ ) ± t ν W , 1 − α / 2 S A 2 / n A + S B 2 / n B . (\bar X-\bar Y)\pm t_{\nu_W,1-\alpha/2}\sqrt{S_A^2/n_A+S_B^2/n_B}. ( X ˉ − Y ˉ ) ± t ν W , 1 − α /2 S A 2 / n A + S B 2 / n B .
這是近似 區間:一來以縮放卡方分布代替 V V V 的分布,二來 ν W \nu_W ν W 本身由數據估計。一般情況下並無精確有限樣本覆蓋率的保證。對正態數據,其覆蓋率常接近名義水平,但這種接近是經驗和漸近性質,並非精確性定理。
有三點要留意:
使用 Welch 方法毋須先檢定 σ A 2 = σ B 2 \sigma_A^2=\sigma_B^2 σ A 2 = σ B 2 。若根據預先檢定的結果選擇區間,整個方法的實際覆蓋率會改變。
Welch 區間並非總比合併區間短,也非總比它長;下列例子會展示兩種情況。
像 S A 2 = S B 2 = 0 S_A^2=S_B^2=0 S A 2 = S B 2 = 0 的情況會令分母為零;連續模型下其概率為零,但高度四捨五入的數據可能出現。這類情況及非正態重尾數據需要另行分析。
無論採用哪個方法,n A n_A n A 和 n B n_B n B 都必須計算真正獨立的單位。同一標本的多張影像或同一人的多次讀數屬於偽重複,不能當作獨立單位。若把它們當作獨立觀測輸入,1 / n A + 1 / n B \sqrt{1/n_A+1/n_B} 1/ n A + 1/ n B 中的樣本量和自由度都會被誇大,所宣稱的覆蓋率便不再適用;最後一道關於簇的習題量化了這個影響。
例題 7.4.5
(A = ( 2 , 4 , 6 ) A=(2,4,6) A = ( 2 , 4 , 6 ) 與 B = ( 1 , 2 , 3 ) B=(1,2,3) B = ( 1 , 2 , 3 ) 的 Welch 自由度)
當 n A = n B = 3 n_A=n_B=3 n A = n B = 3 ,Welch 的 S E ^ 2 = 4 / 3 + 1 / 3 = 5 / 3 \widehat{\mathrm{SE}}^2=4/3+1/3=5/3 SE 2 = 4/3 + 1/3 = 5/3 ,與合併方法相同。只要 n A = n B n_A=n_B n A = n B ,兩者的標準誤便相同,因為此時 S p 2 ( 1 / n A + 1 / n B ) = ( S A 2 + S B 2 ) / n A S_p^2(1/n_A+1/n_B)=(S_A^2+S_B^2)/n_A S p 2 ( 1/ n A + 1/ n B ) = ( S A 2 + S B 2 ) / n A 。然而
ν W = ( 5 / 3 ) 2 ( 4 / 3 ) 2 / 2 + ( 1 / 3 ) 2 / 2 = 25 / 9 17 / 18 = 50 17 ≈ 2.941. \nu_W=\frac{(5/3)^2}{(4/3)^2/2+(1/3)^2/2}=\frac{25/9}{17/18}=\frac{50}{17}\approx2.941. ν W = ( 4/3 ) 2 /2 + ( 1/3 ) 2 /2 ( 5/3 ) 2 = 17/18 25/9 = 17 50 ≈ 2.941. 因為 t t t 分位數隨自由度增加而下降,t 2.941 , 0.975 t_{2.941,0.975} t 2.941 , 0.975 嚴格介乎 t 3 , 0.975 ≈ 3.182 t_{3,0.975}\approx3.182 t 3 , 0.975 ≈ 3.182 與 t 2 , 0.975 ≈ 4.303 t_{2,0.975}\approx4.303 t 2 , 0.975 ≈ 4.303 之間。乘以 5 / 3 ≈ 1.291 \sqrt{5/3}\approx1.291 5/3 ≈ 1.291 ,誤差界約介乎 4.11 4.11 4.11 與 5.56 5.56 5.56 ,而合併方法的誤差界是 3.584 3.584 3.584 。因此這裏的近似 Welch 區間較闊:樣本量相等時,它的標準誤相同,自由度卻較少。
配對樣本
模型。 假設設計產生 m ≥ 2 m\ge2 m ≥ 2 對 ( X i , Y i ) (X_i,Y_i) ( X i , Y i ) ,這些二維隨機向量在不同 i i i 之間獨立同分布,而差值 D i = X i − Y i D_i=X_i-Y_i D i = X i − Y i 獨立同分布於 N ( Δ , σ D 2 ) N(\Delta,\sigma_D^2) N ( Δ , σ D 2 ) ,其中 σ D 2 > 0 \sigma_D^2>0 σ D 2 > 0 。獨立性要求的是不同對之間 ;同一對內的 X i X_i X i 與 Y i Y_i Y i 可以相關,而且通常確實相關。
令 D ˉ = 1 m ∑ D i \bar D=\frac1m\sum D_i D ˉ = m 1 ∑ D i ,S D 2 = 1 m − 1 ∑ ( D i − D ˉ ) 2 S_D^2=\frac1{m-1}\sum(D_i-\bar D)^2 S D 2 = m − 1 1 ∑ ( D i − D ˉ ) 2 ,則
D ˉ − Δ S D / m ∼ t m − 1 , \frac{\bar D-\Delta}{S_D/\sqrt m}\sim t_{m-1}, S D / m D ˉ − Δ ∼ t m − 1 , 而 D ˉ ± t m − 1 , 1 − α / 2 S D / m \bar D\pm t_{m-1,1-\alpha/2}\,S_D/\sqrt m D ˉ ± t m − 1 , 1 − α /2 S D / m 是 Δ \Delta Δ 的精確 ( 1 − α ) (1-\alpha) ( 1 − α ) 置信區間。
D i D_i D i 構成一個獨立同分布的正態樣本,故前面證明的第一步適用,只需把 n A n_A n A 換成 m m m 。於是 D ˉ ∼ N ( Δ , σ D 2 / m ) \bar D\sim N(\Delta,\sigma_D^2/m) D ˉ ∼ N ( Δ , σ D 2 / m ) ,並與 ( m − 1 ) S D 2 / σ D 2 ∼ χ m − 1 2 (m-1)S_D^2/\sigma_D^2\sim\chi^2_{m-1} ( m − 1 ) S D 2 / σ D 2 ∼ χ m − 1 2 獨立,因此比值服從 t m − 1 t_{m-1} t m − 1 。由 σ D 2 > 0 \sigma_D^2>0 σ D 2 > 0 ,S D S_D S D 幾乎必然為正。
點估計沒有變,因為 D ˉ = X ˉ − Y ˉ \bar D=\bar X-\bar Y D ˉ = X ˉ − Y ˉ 。改變的是方差:
σ D 2 = Var ( X ) + Var ( Y ) − 2 Cov ( X , Y ) . \sigma_D^2=\operatorname{Var}(X)+\operatorname{Var}(Y)-2\operatorname{Cov}(X,Y). σ D 2 = Var ( X ) + Var ( Y ) − 2 Cov ( X , Y ) .
與其他條件相近、每組各用 m m m 個單位的獨立設計比較,後者的 Var ( X ˉ − Y ˉ ) = ( Var X + Var Y ) / m \operatorname{Var}(\bar X-\bar Y)=\big(\operatorname{Var}X+\operatorname{Var}Y\big)/m Var ( X ˉ − Y ˉ ) = ( Var X + Var Y ) / m 。對內協方差為正時,配對提高精確度;為負時,配對反而降低精確度。
獨立樣本的標準誤假設 Cov ( X ˉ , Y ˉ ) = 0 \operatorname{Cov}(\bar X,\bar Y)=0 Cov ( X ˉ , Y ˉ ) = 0 。在配對設計中,X ˉ − Y ˉ = D ˉ \bar X-\bar Y=\bar D X ˉ − Y ˉ = D ˉ 的真實方差是 ( Var X + Var Y − 2 Cov ( X , Y ) ) / m (\operatorname{Var}X+\operatorname{Var}Y-2\operatorname{Cov}(X,Y))/m ( Var X + Var Y − 2 Cov ( X , Y )) / m ,而且兩組樣本並不獨立,所以合併 t t t 分布不成立。忽略配對時,協方差為正會高估方差,協方差為負則會低估方差。若 Var X = Var Y = 1 \operatorname{Var}X=\operatorname{Var}Y=1 Var X = Var Y = 1 、Cov ( X , Y ) = − 0.75 \operatorname{Cov}(X,Y)=-0.75 Cov ( X , Y ) = − 0.75 ,獨立公式用 2 / m 2/m 2/ m ,真實方差卻是 3.5 / m 3.5/m 3.5/ m 。
假設設計確實連結了相應位置:單位 i i i 同時產生 x i x_i x i 和 y i y_i y i ,而各單位獨立抽取。則 D = ( 2 − 1 , 4 − 2 , 6 − 3 ) = ( 1 , 2 , 3 ) D=(2-1,\,4-2,\,6-3)=(1,2,3) D = ( 2 − 1 , 4 − 2 , 6 − 3 ) = ( 1 , 2 , 3 ) ,所以 d ˉ = 2 \bar d=2 d ˉ = 2 、s D 2 = 1 s_D^2=1 s D 2 = 1 ,標準誤為 1 / 3 ≈ 0.577 1/\sqrt3\approx0.577 1/ 3 ≈ 0.577 ,自由度 ν = 2 \nu=2 ν = 2 。
由 t 2 , 0.975 ≈ 4.303 t_{2,0.975}\approx4.303 t 2 , 0.975 ≈ 4.303 ,誤差界是 4.303 × 0.577 ≈ 2.484 4.303\times0.577\approx2.484 4.303 × 0.577 ≈ 2.484 。基於模型的精確 95% 區間約為
[ − 0.484 , 4.484 ] . [-0.484,\;4.484]. [ − 0.484 , 4.484 ] . 儘管自由度較少,它比合併區間窄,因為對內差值的變異很小。
反例模式
配對來自設計,而非數值本身 保持 A = ( 2 , 4 , 6 ) A=(2,4,6) A = ( 2 , 4 , 6 ) ,但把 B B B 列為 ( 3 , 2 , 1 ) (3,2,1) ( 3 , 2 , 1 ) 。數值集合不變,配對卻不同:現在 D = ( − 1 , 2 , 5 ) D=(-1,2,5) D = ( − 1 , 2 , 5 ) ,平均數仍是 d ˉ = 2 \bar d=2 d ˉ = 2 ,但 s D 2 = ( 9 + 0 + 9 ) / 2 = 9 s_D^2=(9+0+9)/2=9 s D 2 = ( 9 + 0 + 9 ) /2 = 9 ,故標準誤為 3 ≈ 1.732 \sqrt3\approx1.732 3 ≈ 1.732 。
單靠數據數值,無法判斷哪一種配對正確,甚至無法判斷是否應配對。只有抽樣設計把兩個測量連結起來,配對才合理,例如同一單位的兩次測量,或測量前形成的匹配組。分析者不可事後按哪種方法的 p p p 值較小來選擇「配對」或「獨立」;這樣會破壞所宣稱的錯誤率。數值相近也不能證明各對互相獨立,或證明 Δ \Delta Δ 有因果意義。
每個單位的觀測數不同、配對一方缺失,或不同對之間存在依賴(例如連續日子的測量受共同漂移影響),均超出這個模型,需要合適的其他模型。一個常見情況是在相同測試個案上比較兩個已訓練好並固定的預測器:每個個案的損失之差自然構成配對。但若個案按時間排序或成群,例如每位用戶有多筆紀錄,不同個案的差值未必獨立。此時不能單憑使用相同個案便斷定配對 t t t 分布適用。
習題
練習 7.4.8
(有效配對設計得到差值 ( 1 , 3 , 5 ) (1,3,5) ( 1 , 3 , 5 ) 。在配對正態模型下,計算 Δ \Delta Δ 的 95% 區間。)
基礎
解答 (2) 1 摘要統計量
m = 3 m=3 m = 3 ,d ˉ = 3 \bar d=3 d ˉ = 3 。殘差為 − 2 , 0 , 2 -2,0,2 − 2 , 0 , 2 ,故 s D 2 = 8 / 2 = 4 s_D^2=8/2=4 s D 2 = 8/2 = 4 、s D = 2 s_D=2 s D = 2 。標準誤為 2 / 3 ≈ 1.155 2/\sqrt3\approx1.155 2/ 3 ≈ 1.155 ,自由度 ν = 2 \nu=2 ν = 2 。
2 區間
由 t 2 , 0.975 ≈ 4.303 t_{2,0.975}\approx4.303 t 2 , 0.975 ≈ 4.303 ,
3 ± 4.303 ⋅ 2 3 ≈ 3 ± 4.968 , 3\pm4.303\cdot\frac2{\sqrt3}\approx3\pm4.968, 3 ± 4.303 ⋅ 3 2 ≈ 3 ± 4.968 , 即約 [ − 1.968 , 7.968 ] [-1.968,\,7.968] [ − 1.968 , 7.968 ] ;在所述模型下它是精確區間。
看下一步 (2/2) 全部展開
練習 7.4.9
(兩個獨立正態組的數據為 n A = 4 n_A=4 n A = 4 、s A 2 = 1 s_A^2=1 s A 2 = 1 、n B = 6 n_B=6 n B = 6 、s B 2 = 4 s_B^2=4 s B 2 = 4 。計算 Welch 的 S E ^ 2 \widehat{\mathrm{SE}}^2 SE 2 和 ν W \nu_W ν W ,描述所得區間,並與合併區間比較。)
核心
解答 (3) 1 Welch 標準誤與自由度
S E ^ 2 = 1 / 4 + 4 / 6 = 11 / 12 \widehat{\mathrm{SE}}^2=1/4+4/6=11/12 SE 2 = 1/4 + 4/6 = 11/12 ,而
ν W = ( 11 / 12 ) 2 ( 1 / 4 ) 2 / 3 + ( 2 / 3 ) 2 / 5 = 121 / 144 1 / 48 + 4 / 45 = 121 / 144 79 / 720 = 605 79 ≈ 7.658. \nu_W=\frac{(11/12)^2}{(1/4)^2/3+(2/3)^2/5}=\frac{121/144}{1/48+4/45}=\frac{121/144}{79/720}=\frac{605}{79}\approx7.658. ν W = ( 1/4 ) 2 /3 + ( 2/3 ) 2 /5 ( 11/12 ) 2 = 1/48 + 4/45 121/144 = 79/720 121/144 = 79 605 ≈ 7.658. 2 Welch 區間
區間是 ( x ˉ − y ˉ ) ± t 7.658 , 0.975 11 / 12 (\bar x-\bar y)\pm t_{7.658,0.975}\sqrt{11/12} ( x ˉ − y ˉ ) ± t 7.658 , 0.975 11/12 。分位數介乎 t 8 , 0.975 t_{8,0.975} t 8 , 0.975 和 t 7 , 0.975 t_{7,0.975} t 7 , 0.975 之間,可用軟件求得。覆蓋率約為 95%,並非精確的 95%。
3 與合併方法比較
合併方差 s p 2 = ( 3 + 20 ) / 8 = 2.875 s_p^2=(3+20)/8=2.875 s p 2 = ( 3 + 20 ) /8 = 2.875 ,而 S E 2 = 2.875 ⋅ ( 1 / 4 + 1 / 6 ) ≈ 1.198 \mathrm{SE}^2=2.875\cdot(1/4+1/6)\approx1.198 SE 2 = 2.875 ⋅ ( 1/4 + 1/6 ) ≈ 1.198 ,大於 11 / 12 ≈ 0.917 11/12\approx0.917 11/12 ≈ 0.917 。這裏 Welch 的標準誤較小,因為合併時樣本較大的一組的較大方差獲得更多權重。Welch 和合併方法的 95% 誤差界分別約為 2.225 2.225 2.225 和 2.524 2.524 2.524 ,故這次 Welch 區間也較短;而在樣本量相等的計算例子中,Welch 區間較闊。
看下一步 (2/3) 全部展開
練習 7.4.10
(有效的獨立同分布配對滿足 Var X = Var Y = 1 \operatorname{Var}X=\operatorname{Var}Y=1 Var X = Var Y = 1 ,Cov ( X , Y ) = − 0.75 \operatorname{Cov}(X,Y)=-0.75 Cov ( X , Y ) = − 0.75 。比較 Var ( X − Y ) \operatorname{Var}(X-Y) Var ( X − Y ) 與兩個獨立單次觀測之差的方差。)
基礎
解答 (2) 1 同一對之內
Var ( X − Y ) = 1 + 1 − 2 ( − 0.75 ) = 3.5 \operatorname{Var}(X-Y)=1+1-2(-0.75)=3.5 Var ( X − Y ) = 1 + 1 − 2 ( − 0.75 ) = 3.5 。
2 獨立觀測
獨立觀測的協方差為零,方差因此為 1 + 1 = 2 1+1=2 1 + 1 = 2 。協方差為負時,配對令方差增至 1.75 1.75 1.75 倍,所以配對未必提高精確度。
看下一步 (2/2) 全部展開
練習 7.4.11
(提出一個真正配對的數據收集方案,再給出一個簇反例,說明天真地以個體為單位建立的 t t t 區間不服從其假設的分布。)
綜合
解答 (4) 1 真正配對的方案
從指定總體獨立抽取 m m m 個標本,將每個標本分成兩半,隨機決定哪一半用方法 A A A 測量。標本內兩次測量因共同成分而相關;不同標本的配對則因抽樣方式而獨立。隨機分配兩半有助把 Δ \Delta Δ 解讀為方法對該總體測量值的效果。相反,若由人自行選擇方法,Δ \Delta Δ 只描述關聯。
2 簇模型
假設每組有五個課室,每班三十人。設各課室效應獨立、平均數為零、方差為 τ 2 \tau^2 τ 2 ;個體誤差獨立、平均數為零、方差為 σ e 2 \sigma_e^2 σ e 2 。班內相關係數為 ρ = τ 2 / ( τ 2 + σ e 2 ) \rho=\tau^2/(\tau^2+\sigma_e^2) ρ = τ 2 / ( τ 2 + σ e 2 ) 。一組平均數的方差為
( τ 2 + σ e 2 ) [ 1 + ( k − 1 ) ρ ] C k , k = 30 , C = 5. \frac{(\tau^2+\sigma_e^2)\,[1+(k-1)\rho]}{Ck},\qquad k=30,\;C=5. C k ( τ 2 + σ e 2 ) [ 1 + ( k − 1 ) ρ ] , k = 30 , C = 5. 依據: 不同課室和組別的課室效應及個體誤差互相獨立。
3 與天真模型比較
關鍵一步
天真的獨立學生模型使用 ν = 298 \nu=298 ν = 298 ,並把此方差當作 ( τ 2 + σ e 2 ) / 150 (\tau^2+\sigma_e^2)/150 ( τ 2 + σ e 2 ) /150 。若 ρ = 0.1 \rho=0.1 ρ = 0.1 ,它忽略了因子 1 + 29 ( 0.1 ) = 3.9 1+29(0.1)=3.9 1 + 29 ( 0.1 ) = 3.9 :真實組平均數的標準差約是模型值的 3.9 ≈ 1.97 \sqrt{3.9}\approx1.97 3.9 ≈ 1.97 倍。這比較的是總體標準差,而非某次估計出來的標準誤。依賴性亦改變分母的分布,因此不能直接使用 t 298 t_{298} t 298 參考分布及其名義 95% 覆蓋率。
4 合適的分析
抽樣單位是課室,必須在評估前確定。若課室平均數獨立同分布於有共同方差的正態分布(班級人數相同有助於此),對十個課室平均數使用自由度 ν = 8 \nu=8 ν = 8 的合併 t t t 區間便合適。其 Δ \Delta Δ 能否作因果解讀,仍取決於課室是否隨機分配到各組。
看下一步 (2/4) 全部展開