先前討論樣本方差時曾提醒:若 σ 已知,統計量 n(Xˉ−μ)/σ 服從標準正態分布,因此可把 Xˉ 的概率界限轉成 μ 的區間。若 σ 未知,直接以 S 取代它並繼續使用正態分位數,看似自然,卻沒有理據:S 本身是隨機的,會隨樣本改變,也可能與 Xˉ 相關。要除以 S 並仍能聲稱概率精確,我們需要知道 Xˉ 與 S2 的聯合分布。
本節先為正態樣本建立所需定理,再推導 μ 與 σ2 的精確置信區間,並說明這些區間能夠和不能夠保證甚麼。
模型
以下始終假設:
- X1,…,Xn 互相獨立;
- 每個 Xi 具有相同的分布 N(μ,σ2);
- σ2>0 且 n≥2;
- μ 和 σ2 是固定但未知的數。
記
Xˉ=n1i=1∑nXi,S2=n−11i=1∑n(Xi−Xˉ)2,ν=n−1.
正態性是對產生數據的機制作出的假設。以下所有精確性結論都以此為前提。
正交座標
證明的思路是旋轉座標系,使樣本均值成為一個座標,其餘座標則承載圍繞均值的離散程度。
構造。 我們需要首行為 (1/n,…,1/n) 的 n×n 正交矩陣 A。Helmert 矩陣是一個明確例子。對 k=2,…,n,第 k 行在
- 第 1,…,k−1 個位置的元素均為 1/k(k−1);
- 第 k 個位置的元素為 −(k−1)/k(k−1);
- 其餘位置均為零。
我們驗證各行標準正交:
- 第一行的長度平方是 n⋅n1=1。
- 第 k 行的長度平方是 k(k−1)(k−1)+(k−1)2=kk=1。
- 第 k 行元素之和為 k(k−1)(k−1)−(k−1)=0,故它與第一行正交。
- 對 2≤j<k,第 j 行只在位置 1,…,j 可能非零;第 k 行在這些位置均等於 1/k(k−1)。故內積等於此常數乘以第 j 行元素之和,即零。
因此 AAT=I。
令 Wi=(Xi−μ)/σ、Y=AW,其中 A 是首行為 (1/n,…,1/n) 的正交矩陣。則 Y1,…,Yn 是互相獨立的 N(0,1) 隨機變量,而且
Y1=σn(Xˉ−μ),j=2∑nYj2=σ2(n−1)S2.
由於 σ>0,每個 Wi 均有定義。它們互相獨立且服從 N(0,1),所以 W 的聯合密度為
fW(w)=(2π)−n/2exp(−21∥w∥2).任取 Borel 集 B⊆Rn。由 A−1=AT,以 w=ATy 換元得
P(Y∈B)=P(W∈ATB)=∫BfW(ATy)∣detAT∣dy.因 (detA)2=det(AAT)=1,有 ∣detAT∣=1。正交映射保持長度,故 ∥ATy∥=∥y∥,因此 Y 的密度為
(2π)−n/2e−∥y∥2/2=j=1∏n2π1e−yj2/2.聯合密度分解為標準正態密度的乘積,恰好說明各 Yj 獨立且服從 N(0,1)。
第一個座標是 Y1=n1i∑Wi=nWˉ,而 Wˉ=(Xˉ−μ)/σ。
第二個恆等式從均值展開。由 i∑(Wi−Wˉ)=0,得 i∑Wi2=i∑(Wi−Wˉ)2+nWˉ2。長度不變給出 j∑Yj2=i∑Wi2。兩邊減去 Y12=nWˉ2 得
j≥2∑Yj2=i∑(Wi−Wˉ)2.最後,Wi−Wˉ=(Xi−Xˉ)/σ,所以右邊等於 (n−1)S2/σ2。
證明透視
平均數與離散程度為何分開
唯一的概率輸入是:W 的聯合密度只透過 ∥w∥ 依賴 w。觀測值的獨立性和正態性都在這裏用到,其他地方不再使用。其餘全是幾何:A 的第一行把平均數隔離在一個座標中,畢氏(Pythagoras)定理則把殘差平方和放到其餘 n−1 個座標。
於是 Xˉ 與 S2 的獨立性無須計算,因為它們是互不重疊的獨立座標組的函數。兩個假設都不可缺少:下面的反例顯示,邊際正態但完全依賴時 S=0;而對獨立的 Bernoulli 觀測值,S=0 恰在 Xˉ∈{0,1} 時發生,所以平均數與離散程度互相依賴。
此結論比初看時更強:Xˉ 只依賴 Y1,而 S2 只依賴 (Y2,…,Yn)。各座標獨立,故 Xˉ 與 S2 獨立。這是正態模型的特殊性質,並非樣本的一般性質。
卡方分布與 Student t 分布
定義 7.2.2
(卡方分布與 Student t 分布)
對整數 ν≥1,卡方分布 χν2 是 Z12+⋯+Zν2 的分布,其中 Z1,…,Zν 互相獨立且服從 N(0,1)。
若 Z∼N(0,1) 與 Q∼χν2 獨立,Student t 分布 tν 是 Z/Q/ν 的分布。
此比值以概率一有定義,因為 P(Q=0)≤P(Z1=0)=0。
分位數記號。 本節的分位數均為下尾分位數:
P(Q≤χp,ν2)=p,P(T≤tp,ν)=p,p∈(0,1).
這些定義沒有歧義:
-
分位數唯一。 兩個分布的分布函數在各自支撐集上連續且嚴格遞增,故每個分位數存在且唯一。
-
無點質量。 單點的概率為零。例如利用獨立性,
P(Z/Q/ν=c)=E[P(Z=cQ/ν∣Q)]=0.
因此概率內的 ≤ 和 < 可以互換。
-
卡方分位數為正。 P(Q≤0)=0<p,故 χp,ν2>0。
t 分布的對稱性。 (−Z,Q) 與 (Z,Q) 有相同聯合分布,因此 tν 關於 0 對稱,從而 tα/2,ν=−t1−α/2,ν。
兩個樞紐量
在上述模型下,令 ν=n−1,定義
Z=σn(Xˉ−μ),Q=σ2(n−1)S2.則 Z∼N(0,1)、Q∼χν2,而且二者獨立。因此
T=Sn(Xˉ−μ)=Q/νZ∼tν,並且 S>0 以概率一成立。
由正交座標定理,Z=Y1 而 Q=Y22+⋯+Yn2。這是 n−1≥1 個獨立標準正態變量的平方和,所以依定義 Q∼χn−12。Z 只依賴 Y1,Q 只依賴 (Y2,…,Yn),故二者獨立。
現在相除,約去 σ:
Q/νZ=S/σn(Xˉ−μ)/σ=T.依定義它服從 tν。最後,P(S=0)=P(Q=0)=0。
這些統計量稱為樞紐量,因為它們同時具有兩個性質:
- 涉及數據和感興趣的參數;
- 分布不依賴 μ 或 σ2。
第二個性質使同一張分位數表可用於所有正態總體。
概念視角幾何
把 t 統計量看成角度
對候選值 μ,把 x−μ1 分解為沿 1=(1,…,1) 的分量(長度 n∣xˉ−μ∣)和與之正交的殘差(長度 n−1s)。若 θ 是 x−μ1 與 1 所在直線的夾角,則 ∣T∣=n−1cotθ。在模型下,無論 μ 與 σ 為何,X−μ1=σW 的方向都在球面上均勻分布,所以 T 是樞紐量。t 區間恰好保留夾角不太小的那些 μ。
置信區間
固定 α∈(0,1)。由於 α/2 和 1−α/2 均在 (0,1),且 α/2<1−α/2,以下分位數都存在並且次序正確。
對每個固定的 μ∈R 和 σ2>0,
Pμ,σ2(Xˉ−t1−α/2,νnS≤μ≤Xˉ+t1−α/2,νnS)=1−α,Pμ,σ2(χ1−α/2,ν2(n−1)S2≤σ2≤χα/2,ν2(n−1)S2)=1−α.
均值區間。 記 c=t1−α/2,ν。由 tν 的對稱性和連續性,
P(−c≤T≤c)=(1−2α)−2α=1−α.在概率為一的事件 S>0 上,將 −c≤n(Xˉ−μ)/S≤c 各部分乘以正數 S/n,再整理得
Xˉ−cS/n≤μ≤Xˉ+cS/n.兩個事件的概率相同,均為 1−α。
方差區間。 記 a=χα/2,ν2、b=χ1−α/2,ν2,則 0<a<b。由連續性,
P(a≤Q≤b)=1−α.因 σ2>0 而 Q>0 幾乎必然成立,整理不等式 a≤(n−1)S2/σ2≤b 不改變事件。正數取倒數時不等號反向,因此
b(n−1)S2≤σ2≤a(n−1)S2.
方差區間中,較大的分位數 χ1−α/2,ν2 放在下限的分母。這是取倒數的必然結果,並非可自行選擇的慣例。把兩個分位數對調,會得到「下限」大於「上限」的結果,正如下面關於給定分位數的習題所示。
σ 的區間。 x↦x 在 (0,∞) 上嚴格遞增,故把兩個端點開平方,所得 σ 區間的覆蓋率完全相同。
精確覆蓋率的意義
精確區間定理中,端點是隨機變量,參數則是常數。結論描述的是方法:從同一正態總體重新抽樣並計算區間,重複下去,長期而言所得區間中有比例 1−α 包含固定的真值。對每個 μ 及每個 σ2>0,此結論均精確成立。
觀察數據後,區間是一對數,例如 [1.04,4.96]。固定的 μ 要麼在其中,要麼不在;頻率學派的覆蓋率陳述不會將概率 0.95 賦予這個特定的包含關係。定理從未把 μ 或 σ2 當作隨機量。「95% 置信」指產生區間的方法在長期重複中的可靠程度。
三個容易混淆的量
半寬等於估計標準誤乘以 Student 分位數。有限 ν 下,此分位數嚴格大於正態分位數 z1−α/2。額外寬度反映估計 S 所帶來的不確定性。
詳解例題
假設觀測值為 x=(1,2,3,4,5),並以正態樣本建模,故 n=5、ν=4。
摘要統計量。
- 均值 xˉ=15/5=3。
- 與均值的偏差為 −2,−1,0,1,2,平方和為 4+1+0+1+4=10。
- 因此 s2=10/4=2.5、s=2.5≈1.58114。
- 估計標準誤為 s/5=0.5≈0.707107。
分位數。 使用以下給定數值:
- t0.975,4≈2.776445;
- χ0.025,42≈0.484419;
- χ0.975,42≈11.143287。
95% 均值區間。 半寬為 2.776445×0.707107≈1.963243,故
[3−1.963243,3+1.963243]≈[1.03676,4.96324].95% 方差區間。 此處 (n−1)s2=10,故
[11.14328710,0.48441910]≈[0.89740,20.6433].以乘法核對計算。
- 11.143287×0.89740≈9.99999。
- 0.484419×20.6433≈10.0000。
核對分位數。 當 ν=4 時,兩個分布函數均有初等閉式:
- χ42:F(x)=1−e−x/2(1+x/2),由此得 F(11.143287)≈0.97500 和 F(0.484419)≈0.02500。
- t4:F(t)=21+41u(3−u2),其中 u=t/t2+4。當 t=2.776445,有 u≈0.811401、u(3−u2)≈1.90000,因此 F≈0.97500。
σ 的區間。 兩端開平方,約得 [0.9473,4.5435]。
留意方差區間相對於 s2=2.5 很不對稱。只有四個自由度時,較小的 Q 值仍有相當可能性;而小的 Q 對應較大的 σ2。
定理的適用界限
n=1。 此時 S2=0/0 無定義,且 ν=0,故沒有 t 樞紐量。單個觀測值本身沒有提供關於離散程度的內部資訊。
σ2=0。 此時每個 Xi=μ,Z 和 Q 都涉及除以零,上述結果均不適用。模型刻意排除這情況。
其他數據機制。 下列數據不受本定理保證:
- 非正態;
- 存在依賴;
- 查看數據後才選取;
- 受截尾;
- 按自適應停止規則收集;
- 各觀測值分布不同。
每種情況都可能使證明中的某些步驟失效。有些情況可能有近似結果,但那需要其他定理。
以上沒有證明 Xˉ±z1−α/2S/n 有所需覆蓋率。當 n=5 且 z0.975≈1.959964,利用上面的 t4 分布函數,取 u=1.959964/1.9599642+4≈0.699921,可得真實覆蓋率
P(∣T∣≤1.959964)=2F(1.959964)−1=21u(3−u2)≈0.878.這明顯低於 95%:正態分位數忽略了 S 的變異。
診斷不能證明正態性。 正態分位數圖或擬合優度檢定能揭示明顯偏離正態的情況;然而未能偵測偏離,並不確立數據服從正態分布。正態性仍然是一項假設。
反例模式
邊際正態但不獨立
令 Z∼N(0,1),固定 σ>0,對每個 i 設 Xi=μ+σZ。
每個 Xi 都恰好服從 N(μ,σ2),但 S=0 以概率一成立。因此:
- T 的分母為零,分子 nσZ 幾乎必然非零,故 T 無定義;
- 方差「區間」為 [0,0],永不包含 σ2>0,故覆蓋率為 0。
邊際分布正態並不足夠。證明需要獨立座標的聯合密度。
單有獨立性也不足夠:證明同樣用到每個觀測值的正態形狀。
反例模式
$n=2$ 的離散樣本
令 X1,X2 為獨立 Bernoulli(1/2),則 μ=1/2、σ2=1/4。恰在 X1=X2 時 S=0,其概率為 1/2。
以 ν=1 套用 95% 公式,使用 t0.975,1≈12.7062(下文 n=2 的習題推導)、χ0.975,12≈5.023886 和 χ0.025,12≈0.000982。
當 X1=X2。 此時 xˉ=1/2、s2=1/2。
- 均值區間為 1/2±6.3531,包含 1/2。
- 方差區間約為 [0.0995,509.1],包含 1/4。
當 X1=X2。 兩區間均退化成單點:
- 均值區間是 {0} 或 {1},不包含 μ=1/2;
- 方差區間是 {0},不包含 σ2=1/4。
故每種方法的覆蓋率恰為 1/2,遠低於名義上的 0.95。卡方和 t 分布從來不適用於此樣本。
置信水平與區間寬度
假設 0<α′<α<1,所以 1−α′ 是較高的置信水平。由分布函數嚴格遞增,
- t1−α′/2,ν>t1−α/2,ν;
- χα′/2,ν2<χα/2,ν2;
- χ1−α′/2,ν2>χ1−α/2,ν2。
因此,對固定且 s>0 的數據集,較高水平的區間包含較低水平的區間。
例題 7.2.6
(五個觀測值的 90% 與 95% 巢狀區間)
五個觀測值的估計標準誤為 0.707107。取 t0.95,4≈2.131847,90% 半寬為 2.131847×0.707107≈1.507443,故 90% 均值區間為
3±1.507443≈[1.49256,4.50744].95% 區間 [1.03676,4.96324] 使用較大的分位數 2.776445,因而包含它。兩者寬度之比為 2.776445/2.131847≈1.302;對每個 n=5 的數據集都一樣,因為兩個寬度都是同一個 S/n 的倍數。
加寬區間提高方法的長期覆蓋率,但不能告訴我們任一已實現區間是否包含 μ。
置信、預測與聯合覆蓋
預測。 置信區間的對象是固定數值 μ;預測區間的對象是與樣本獨立抽取的未來觀測值 Xn+1∼N(μ,σ2)。
-
正態分子。 Xn+1−Xˉ∼N(0,σ2(1+1/n))。
-
與 S2 獨立。 Xn+1 與 (Xˉ,S2) 獨立,而 Xˉ 與 S2 也獨立,故分子與 S2 獨立。
-
樞紐量。 除以適當倍數的 S 得
S1+1/nXn+1−Xˉ∼tν.
-
區間。 95% 預測區間為 Xˉ±t0.975,νS1+1/n。
此處 n=5,故 1+1/n=1.2,而 s1.2=2.5×1.2=3≈1.732051。半寬為 2.776445×1.732051≈4.808943,所以 95% 預測區間為
3±4.808943≈[−1.80894,7.80894].它比置信區間 [1.03676,4.96324] 寬得多:兩者半寬之比為 1+n=6≈2.449。
在同一正態總體的獨立同分布重複抽樣下,隨 n 增長,置信區間的寬度依概率趨近零;預測區間的寬度則依概率趨近 2z0.975σ>0,因為新觀測值仍有其自身的離散程度。
聯合覆蓋。 令 A 為均值區間覆蓋 μ 的事件,B 為方差區間覆蓋 σ2 的事件。二者各有概率 0.95,但同時覆蓋的概率不是 0.95。
故聯合覆蓋率嚴格介乎 0.90 與 0.95 之間。若要保證聯合覆蓋率至少為 1−α,可將每個區間均設為 1−α/2 水平。
習題
練習 7.2.8
(令 Yi=a+bXi,其中 b=0,而 Xi 構成正態樣本。)
核心
- 證明由 Y 數據計算的 95% 均值區間,是 X 區間經映射 m↦a+bm 所得的像。
- 證明方差區間按 b2 縮放。
- 將詳解例題的單位由厘米換成毫米。
解答(5)
1模型仍然成立
Yi 互相獨立且服從 N(a+bμ,b2σ2),而 b2σ2>0,故精確區間定理適用於 Y 數據,ν 不變。
2轉換統計量
Yˉ=a+bXˉ,而 Yi−Yˉ=b(Xi−Xˉ),故 SY2=b2SX2、SY=∣b∣SX。
3均值區間
Y 區間為
a+bXˉ±c∣b∣SX/n.當 m 取遍 Xˉ±cSX/n 時,a+bm 恰好取遍此集合。若 b<0,兩端點的角色交換,但不影響結論。
4方差區間
兩端點都含有因子 (n−1)SY2=b2(n−1)SX2,所以均按 b2 縮放。
5單位
取 a=0、b=10,把厘米換算成毫米。
- 均值區間約為 [10.3676,49.6324] 毫米。
- 方差區間約為 [89.740,2064.33] 平方毫米。
方差的單位是原單位的平方。因此方差區間按 b2=100 縮放,均值區間則按 10 縮放。
練習 7.2.9
(取 n=2,則 ν=1。)
綜合
- 以 X1,X2 表示 S 和兩個區間。
- 證明 χp,12=z(1+p)/22,其中 zq=Φ−1(q)。
- 證明 t1−α/2,1=tan(π(1−α)/2)。
- 計算數據 (3,7) 的 95% 均值區間。
解答(4)
1統計量
由 Xˉ=(X1+X2)/2,兩個偏差分別為 ±(X1−X2)/2,故
S2=2(X1−X2)2,2S=2∣X1−X2∣.均值區間為 Xˉ±t1−α/2,1∣X1−X2∣/2。
2卡方分位數
若 Q=Z2 且 Z∼N(0,1),則對 c>0,
P(Q≤c)=P(∣Z∣≤c)=2Φ(c)−1.令其等於 p,得 Φ(c)=(1+p)/2,因此 c=z(1+p)/2。分別代入 p=1−α/2 和 p=α/2,得到方差區間
[2z1−α/42(X1−X2)2,2z1/2+α/42(X1−X2)2]. 3t1 分位數
-
寫 T=Z/∣V∣,其中 Z,V 是獨立的 N(0,1)。
-
(V,Z) 的聯合密度只依賴 r=v2+z2。在極座標 (V,Z)=R(cosΘ,sinΘ) 下,密度變為 re−r2/2/(2π)。密度可分解,故 Θ 均勻分布於 [0,2π)。
-
對 t>0,事件 ∣T∣≤t 即 ∣tanΘ∣≤t。其角度集合的總長度為 4arctant,因此
P(∣T∣≤t)=2π4arctant=π2arctant.
-
令其等於 1−α,得到 t1−α/2,1=tan(π(1−α)/2)。
當 α=0.05,tan(0.475π)=tan85.5∘≈12.7062。
4數據 (3,7)
此時 xˉ=5、∣x1−x2∣/2=2,區間為
5±25.4124=[−20.4124,30.4124].它是精確區間,卻非常寬:只有一個自由度時,對 σ 所知甚少。
練習 7.2.10
(從正態總體抽取 n=10 個質量觀測值,單位為克,得到 xˉ=20.0、s2=9。使用下列給定分位數。)
核心
- t0.975,9≈2.262157;
- χ0.025,92≈2.700389;
- χ0.975,92≈19.022768。
- 求 μ、σ2 和 σ 的 95% 區間。
- 同學給出 σ2 的區間為 [81/2.700389,81/19.022768]。錯在哪裏?
解答(4)
1均值
估計標準誤為 3/10≈0.948683,半寬為 2.262157×0.948683≈2.146071,故區間約為 [17.85393,22.14607] 克。
2方差
此處 (n−1)s2=81,故區間為
[19.02276881,2.70038981]≈[4.25806,29.99568] g2.核對:19.022768×4.25806≈81.000,2.700389×29.99568≈81.000。
3標準差
兩端開平方約得 [2.0635,5.4768] 克。
4同學的錯誤
所報「區間」的下限(約 30.0)高於上限(約 4.26)。同學把較小分位數放在下限的分母;取倒數使次序反轉,故較大分位數 χ0.975,92 必須用於下限的分母。
練習 7.2.11
(五名受試者分別在治療前後接受測量,差值(治療後減治療前)為 d=(1,2,3,4,5)。一名分析者卻把十個原始測量值合併成一個「樣本」。解釋錯誤,並給出平均差 δ 的正確 95% 區間。)
核心
解答(3)
1為何沒有理據合併
十個原始數值不一定符合模型:
- 同一受試者的兩次測量通常互相依賴;
- 治療前後數值的均值可能不同。
因此,所給數據不能確立這十個值獨立同分布為 N(μ,σ2)。即使能估計合併數值的均值,它一般也不是平均差 δ;精確區間定理不支持用合併數據構造 δ 的區間。
2配對模型
假設各受試者互相獨立,且差值 Di 獨立同分布為 N(δ,τ2),其中 τ2>0。這些仍然是假設。在此條件下,精確區間定理適用於五個差值,ν=4。
3區間
數據與詳解例題相同,故 δ 的 95% 區間約為 [1.03676,4.96324]。
配對並不是需要以平均消除的麻煩。作差可以消除共同的加性受試者效應,但差值的獨立性和正態性仍須另作假設。
總結
對 n≥2、σ2>0 的獨立正態樣本,正交座標變換顯示:
- Xˉ 與 S2 獨立;
- (n−1)S2/σ2∼χn−12;
- n(Xˉ−μ)/S∼tn−1。
這些樞紐量給出 Xˉ±t1−α/2,νS/n 及 [(n−1)S2/χ1−α/2,ν2,(n−1)S2/χα/2,ν2] 的精確 1−α 覆蓋率。覆蓋率是在參數固定時方法的長期性質;結論依賴證明所用的獨立性和正態性假設。