引言
很多數據分析會在同一批觀察單位上記錄兩個類別變量,例如治療組別與結果、地區與產品選擇,或裝置種類與轉換結果。雙向列聯表把它們的聯合次數整理起來。我們往往先問:兩個變量有沒有關聯?Pearson 卡方檢定回答其中一個明確的版本:觀察到的表與「聯合分布等於兩個邊際分布的乘積」所擬合出的表有多大差異?再用一個漸近參考分布衡量這個差異。
本節會說明假設、計算方法、自由度 (r−1)(c−1) 的由來,以及方法失效的情況。計算本身不難;更重要的是明白檢定可以支持甚麼結論,不能支持甚麼結論。
抽樣模型
設 (A1,B1),…,(An,Bn) 是獨立同分布的配對,Ai 取值於 {1,…,r},Bi 取值於 {1,…,c},其中固定 r,c≥2。記
pij=Pr(A=i,B=j),i,j∑pij=1.
格 (i,j) 的觀察次數 Oij 是落在該格的配對數目;行總數、列總數及總樣本數分別為
Ri=j∑Oij,Cj=i∑Oij,n=i,j∑Oij.
配對獨立同分布,且每個配對恰落在一格,因此次數向量 (Oij) 服從試驗次數為 n、格概率為 (pij) 的多項式分布。以下推導依賴這個模型:每個單位只貢獻一次計數、單位之間互不影響,類別亦在觀察數據前固定。
獨立性是聯合分布的假設
記邊際概率為 ai=j∑pij 及 bj=i∑pij。獨立性的虛無假設是
H0:pij=aibj對所有 i,j,
並假設每個 ai>0、bj>0。
H0 說的是聯合分布能否分解為邊際分布的乘積,並不說明機制。拒絕 H0 表示在抽樣模型下,數據與這個乘積分解難以相容;它不表示 A 導致 B、B 導致 A,或干預其中一個變量會改變另一個。混雜、選樣及反向依存等都可能造成不能分解的聯合分布。
概念視角代數
獨立性即概率矩陣的秩為一
把格概率排成 r×c 矩陣 p=(pij)。H0 恰好說 p=abT:矩陣的秩為一,每一行都是列邊際的倍數。反過來,元素非負、總和為 1 的秩一矩陣,必等於其自身邊際的乘積。對 2×2 表,這個條件就是單一方程 p11p22=p12p21,即勝算比為 1。擬合表 E=RCT/n 正是具有觀察邊際的秩一表。
估計期望次數
在 H0 下,a 和 b 未知,必須先估計各格概率。
在 H0 下,若每個觀察行總數 Ri 及列總數 Cj 都為正,邊際概率的最大似然估計為 a^i=Ri/n、b^j=Cj/n。因此擬合的估計期望次數為
Eij=na^ib^j=nRiCj.
忽略與參數無關的常數,虛無假設下的多項式對數似然為
ℓ(a,b)=i,j∑Oij(logai+logbj)=i∑Rilogai+j∑Cjlogbj.兩組參數可以分開求解。當每個 Ri>0,i∑Rilogai 在單純形 i∑ai=1 上嚴格凹,駐點即為最大點;用 Lagrange 乘數得 Ri/ai=λ,所以 a^i=Ri/n。同理 b^j=Cj/n。若某個觀察邊際總數為零,閉參數空間的最大值則在邊界;若只容許嚴格正的參數,該值只是上確界。
擬合表恰好重現觀察邊際:j∑Eij=Rij∑Cj/n=Ri,且 i∑Eij=Cj。
觀察邊際總數必須為正。 若某個 Ri=0,該行所有 Eij=0;擬合分布位於與 ai>0 不相容的邊界,而且 Pearson 各項 (0−0)2/0 無定義。所以只有每個觀察行總數及列總數都為正時,以下統計量才有定義。個別 Oij=0 則無妨,因為只要邊際總數為正,其 Eij 仍為正。
在上述模型中,零邊際是有限樣本可能出現的情況。由 Pr(Ri=0)=(1−ai)n→0,列亦然,統計量無定義的概率在 n→∞ 時趨零;但有限樣本仍可能發生。任意加入偽次數並不能補救原公式,因為所得是另一個統計量,不能直接套用這裏的參考分布。應報告原定表的統計量無定義;若改變分析,例如移除空類別,也要明確交代新表的自由度已改變。
Pearson 統計量及其漸近分布
定義 7.5.2
(Pearson 殘差與 Pearson 統計量)
當每個觀察邊際總數都為正,格 (i,j) 的 Pearson 殘差與 Pearson 統計量定義為
eij=EijOij−Eij,X2=i,j∑Eij(Oij−Eij)2=i,j∑eij2≥0.
恰好當觀察表等於其自身的乘積擬合表時,X2=0。
定理 7.5.3
(Pearson 統計量在虛無假設下的漸近分布)
假設 n 個配對獨立同分布,類別固定且 r,c≥2,並且 H0 成立、所有 ai,bj>0。則當 n→∞,
X2dχ(r−1)(c−1)2.這是極限定理。有限 n 時,X2 是離散隨機變量,並不精確服從卡方分布。近似 p 值為 Pr(χ(r−1)(c−1)2≥Xobs2)。
自由度常用參數計數來記:飽和模型有 rc−1 個自由概率,獨立模型有 (r−1)+(c−1) 個,兩者之差是 (r−1)(c−1)。這有助記憶,卻不是證明。以下證明顯示該數是某個投影的秩。
第一步:標準化波動。 設 P^ij=Oij/n,定義
zij=aibjn(P^ij−aibj).記 p 為格概率向量、D=diag(p)。多項式分布給出 n(P^−p) 的協方差 D−ppT,多元中心極限定理則給出 n(P^−p)dN(0,D−ppT)。以 D−1/2 從兩側標準化,得到
zdN(0,I−uuT),uij=aibj,u=a⊗b.因 i∑ai=j∑bj=1,u 是單位向量。
第二步:線性化擬合乘積。 令 α=a、β=b,把 z 排成 r×c 矩陣 Z。寫成 Eij/n=P^i+P^+j,其中 P^i+=ai+δi、P^+j=bj+εj,而 δ,ε=Op(n−1/2)。因此
P^i+P^+j=aibj+aiεj+bjδi+Op(n−1).由 nδi=aik∑βkzik 和 nεj=bjl∑αlzlj,再除以 aibj,得到
aibjn(P^ij−P^i+P^+j)=[Z−ZββT−ααTZ]ij+op(1).由於 αTZβ=ni,j∑(P^ij−aibj)=0 恰好成立,可以加入零項 ααTZββT,把括號寫成 (Ir−ααT)Z(Ic−ββT)。依上述格的向量化次序,這是 Pz,其中
P=(Ir−aaT)⊗(Ic−bbT).第三步:Slutsky 定理。 Pearson 殘差與上式左邊的分別,是分母使用 P^i+P^+j 而非 aibj。由大數定律,兩個分母之比依概率趨近 1;因此 edPY0,其中 Y0∼N(0,I−uuT)。
第四步:P 的幾何。 P 的每個因子都是投影至某單位向量正交補的正交投影,秩分別為 r−1 和 c−1。正交投影的 Kronecker 積仍對稱且冪等,秩為兩個秩的乘積 (r−1)(c−1)。此外 Pu=(I−ααT)α⊗(I−ββT)β=0,所以
Cov(PY0)=P(I−uuT)P=P.第五步:長度的平方。 寫 P=QQT,其中 Q 有 k=(r−1)(c−1) 個標準正交列向量。則 PY0=dQW,其中 W∼N(0,Ik):極限高斯(Gauss)向量在投影子空間上是標準的。由連續映射定理,
X2=∥e∥2d∥QW∥2=∥W∥2∼χk2.
證明透視
為甚麼奇異協方差仍給出卡方分布
虛無假設用在第一步:把 z 以 aibj 為中心。在對立假設下,z 有 n 階的平均數,X2 發散,這正是檢定的功效來源。所有 ai,bj 為正則用於除以 aibj 及 Slutsky 一步。
非例行的一步是第二步。以擬合乘積代替未知的 aibj,在一階近似下是一個線性映射;恆等式 αTZβ=0 容許免費加入第四項,把該映射化為兩個投影的 Kronecker 積。
第一步的極限協方差 I−uuT 是奇異的,因為格比例之和為一。這沒有害處,因為 Pu=0:中心極限定理極限唯一退化的方向,正是投影本來就刪去的方向。所以 Cov(PY0)=P 恰好成立,而 (r−1)(c−1) 以 P 的秩出現,不是參數計數。
這個證明有兩個值得強調的後果。首先,殘差並非獨立的標準正態變量。其極限協方差為 P,對角元素為 (1−ai)(1−bj)<1,非對角元素一般不為零。甚至在有限樣本中,殘差也滿足精確約束:
j∑Eijeij=Ri−Ri=0.
其次,秩 (r−1)(c−1) 來自估計兩組邊際概率。若擬合額外參數,或設計上有不可能的格,投影及其秩都會改變。
例子:證據與關聯強度
例題 7.5.4
(一個對稱的 2×2 表)
考慮觀察表
A=1A=2B=1181230B=2121830303060每個邊際總數都是 30,故所有格的 Eij=30⋅30/60=15。每格 ∣Oij−Eij∣=3,所以
X2=4⋅159=2.4,df=(2−1)(2−1)=1.自由度一的卡方變量是標準正態變量的平方,近似 p 值為
Pr(χ12≥2.4)=2[1−Φ(2.4)]=2[1−Φ(1.549)]≈0.1213.在顯著水平 α=0.05 下,我們不拒絕 H0。這並不證明獨立;只是在這個樣本量下,數據與獨立性的差異未達選定的門檻。
關聯強度。 按行讀取 2×2 表的格數 a,b,c,d,則
φ=R1R2C1C2ad−bc=304324−144=900180=0.2,φ2=nX2=602.4=0.04.φ 描述樣本中的關聯,不是因果效果。
放大樣本。 把每個次數乘 10,比例及 φ=0.2 不變;但現在 Eij=150、∣O−E∣=30,所以 X2=4⋅900/150=24,亦即 nφ2=600⋅0.04。近似 p 值 Pr(χ12≥24) 約為 9.6×10−7。
兩表的樣本關聯完全相同,反對乘積模型的證據卻相差很大:比例固定時,X2 隨 n 線性增長。p 值衡量參考分布下的證據,並不衡量關聯強度。
殘差。 原表每格 eij=±3/15≈±0.775。殘差排列顯示哪些格承載了差異(對角線次數偏多),但四個殘差受邊際約束牽連。此對稱表中它們的絕對值相同;一般 2×2 表中,未標準化差值的絕對值相同,標準化殘差的絕對值卻未必相同。此處極限方差為 (1−21)(1−21)=41,故調整方差後的殘差為 0.775/0.5≈1.549=2.4;整張表只有一個自由度的資訊。
常見錯誤
(把單一 Pearson 殘差與 1.96 比較)
因 ∣eij∣>1.96 而宣稱某格「顯著」,即使只看一格也校準錯誤。eij 的極限方差是 (1−ai)(1−bj)<1,所以調整後殘差要除以其平方根的估計;在上面的對稱表中,0.775 變為 1.549。逐格檢視多個格時,還需要多重比較校正,或擬合針對特定模式的模型。
交換對稱表的兩行,得到 (12,18;18,12)。所有邊際總數仍是 30,每格 Eij=15、∣Oij−Eij∣=3,故 X2=2.4 不變。但
φ=90012⋅12−18⋅18=900144−324=−0.2.一般而言,交換兩行把 (a,b,c,d) 變為 (c,d,a,b),乘積差變成 cb−da=−(ad−bc),所以 φ 變號;X2 是對各格求和,只是各項重新排列。交換兩列也一樣。行列同時交換則回到原表 (18,12;12,18),φ=0.2。φ 的正負依賴類別排序,X2 則不依賴。
p 值的含義與限制
p 值是在 H0 和抽樣模型下,以近似參考分布計算的概率:如果獨立性成立,統計量至少與觀察值一樣大的概率。它不是 Pr(H0∣數據),而 1−p 也不是兩個變量有關聯的概率。
不顯著的結果既可能與獨立相容,也可能與樣本太小而未能偵測的輕微依賴相容。樣本很大時,即使實際上微不足道的依賴也可能顯著。上面的例子顯示了前一種情況:φ=0.2 時,60 個單位的表在 0.05 水平下不顯著,而相同比例、n=600 時 p≈10−6。
也不要用單一相關係數代替獨立性問題。
為以下表的行分別指定分數 1,2,3,列指定 0,1:
010010010.行分數的平均數是 2,列分數的平均數是 20/30=2/3,而 E[XY]=(1⋅10+3⋅10)/30=40/30=2⋅32。協方差因而為零,分數相關係數恰為零。
然而行類別完全決定列類別。每個行總數都是 10,列總數為 10 和 20,故 Ei1=10/3、Ei2=20/3。第 1、3 行各貢獻 310+35=5,第 2 行貢獻 340+320=20,所以 X2=30=n。零相關不代表獨立。
參考分布何時不適用
抽樣設計。 若預先固定行總數,例如研究中預設每組人數,便是乘積多項式抽樣;此時 H0 表示各組的條件列分布相同,而相同的漸近 χ(r−1)(c−1)2 分布仍成立。若同時以兩組邊際總數為條件,則得到不依賴干擾參數的超幾何參考分布。Fisher 精確檢定以此為基礎;它使用不同的參考分布,不只是同一分布的較準確版本。
簇數據。 同一人的重複測量,或同一機構內的病人,都可能違反獨立同分布假設。簇內依賴可改變次數的協方差,可能使上述卡方校準失效;在常見情況下,統計量可能膨脹,標稱 p 值因而過於樂觀,但影響取決於聯合依賴結構。
依數據選類別。 先看表再選切點或合併類別,使 X2 成為搜尋後的結果,原參考分布便不再適用。
結構性零。 若某些格在設計上不可能出現,即 pij=0,則正邊際下的獨立性不可能成立,檢定該虛無假設沒有意義。對其餘格使用的準獨立模型有不同自由度。抽樣零(Oij=0 但 pij>0)則是另一回事,本身並不構成問題。
期望次數太小。 「所有 Eij≥5」等規則只是判斷近似通常何時可能足夠好的經驗法則,不是定理;滿足它也不能保證近似準確或保證任何實質結論。
邊際依賴與條件依賴
反例模式
病情與分配比例不同的機構合併分析
兩間機構的病人病情不同,治療分配比例亦很不一樣。
每間機構內,治療組成功率都較高;合併後卻低得多,因為大部分治療組病人來自病情較重的機構。
這是 Simpson 反轉:合併表中的邊際關聯方向,與各層內的條件關聯方向不同。對合併表做卡方檢定,回答的是混合兩間機構後聯合分布的問題,不能有效概括其中任何一間,也不能作因果解讀。
若同一機構內的單位彼此相關,合併更加複雜:次數甚至不服從多項式分布。
習題
練習 7.5.7
(檢定 (10101010) 的獨立性。)
基礎
解答(2)
1期望次數
R1=R2=C1=C2=20、n=40,每格 Eij=20⋅20/40=10=Oij。
2統計量與解讀
因此 X2=0、df=1,而 p=Pr(χ12≥0)=1。樣本表恰好可分解;這是樣本的事實,並非總體分布可分解的證明。
練習 7.5.8
(分析 (8228):計算 X2、φ 及近似 p 值,並評論其可靠程度。)
核心
解答(3)
1統計量與效應量
所有邊際總數均為 10,n=20,故 Eij=5、∣O−E∣=3。因此
X2=4⋅59=7.2,φ=10464−4=0.6,φ2=207.2=0.36. 2近似 p 值
當 df=1,近似 p 值為 2[1−Φ(7.2)]=2[1−Φ(2.683)]≈0.00729。
3注意
期望次數恰好處於常用經驗界線,而 n 很小。條件式 Fisher 參考分布給出的雙側 p 值為 4252/184756≈0.023;這是從另一個參考分布計算,並非對卡方近似作修正。兩值均小於 0.05,但相差約三倍。此外,φ=0.6 是樣本關聯量,在 n=20 時估計相當不精確。
練習 7.5.9
(分析 3×2 表 433433,再分析變體 460406 和 406406。)
核心
解答(3)
1原表
行總數為 8,6,6,列總數為 10,10,n=20。期望次數為 E1j=8⋅10/20=4、E2j=E3j=3,恰好等於觀察表,故 X2=0、df=(3−1)(2−1)=2,p=1。
2邊際為正時的零格
第二個表的邊際總數相同,故 E 不變;零格不造成困難。第 2、3 行各格貢獻 9/3=3,故 X2=12。
3零邊際
第三個表的第 2 行總數為零,E2j=0,原定 3×2 表的統計量無定義。移除該行會得到不同的 2×2 分析,自由度為 1,必須報告這項改動;不能憑空加入偽次數。
練習 7.5.10
(一項研究記錄 20 位學生,每人測量 30 次。每次測量按條件及結果分類,對全部 600 項記錄做卡方檢定得 p=0.4。可以得出甚麼結論?)
綜合
解答(3)
1抽樣模型不成立
關鍵一步
單憑數據收集方式,不能把 600 項當成獨立同分布的多項式觀察。有效樣本量取決於依賴結構、設計及估計目標,X2 未必近似服從 χ(r−1)(c−1)2。因此僅憑題目資料,不能保證 p=0.4 已正確校準。
依據: 同一學生的重複測量可能有共同特徵而互相依賴。
2即使校準正確,結論也有限
不顯著並不表示條件分布相等,更不表示條件沒有因果效果;因果結論還需要例如隨機分配等設計。
3合理的補救
把學生視為獨立單位,例如分析學生層級摘要、建立容許學生內依賴的模型,或以整位學生為單位重抽樣(簇 bootstrap)。這些方法仍依賴足夠多的獨立簇及合適設計,並不自動保證有效。
總結
Pearson 檢定把觀察表與依邊際擬合的乘積表 Eij=RiCj/n 比較。在類別固定、邊際概率為正的獨立同分布多項式抽樣下,X2 依分布收斂至 χ(r−1)(c−1)2:原因是擬合殘差收斂至投影在該維數子空間上的標準高斯向量。
檢定衡量反對獨立性的證據,並不衡量關聯強度,也不說明因果關係。參考分布的可靠程度取決於背後抽樣模型是否適用。
先修知識:多項式分布、多元中心極限定理、Slutsky 定理及正交投影。