引言
许多数据分析从记录在同一批单位上的两个分类变量开始,例如治疗组别与结果、地区与产品选择,或设备类型与转化情况。自然的汇总方式是双向列联表,第一个问题通常是两个变量是否有关联。Pearson 卡方检验回答这个问题的一个明确版本:将观察到的表与联合分布等于其边缘分布乘积时的拟合表比较,再用渐近参考分布衡量差异。
本节说明所需假设、计算方法、自由度为何为 (r−1)(c−1),以及方法何时失效。计算本身不难;关键是理解检验能说明什么、不能说明什么。
抽样模型
设 (A1,B1),…,(An,Bn) 是独立同分布的变量对,其中 Ai 取值于 {1,…,r},Bi 取值于 {1,…,c},且 r≥2、c≥2 固定。记
pij=Pr(A=i,B=j),i,j∑pij=1.
观察频数 Oij 是落在单元格 (i,j) 的变量对数目。行合计、列合计与总数分别为
Ri=j∑Oij,Cj=i∑Oij,n=i,j∑Oij.
由于变量对独立同分布,且每对恰好落入一个单元格,向量 (Oij) 服从试验次数为 n、概率为 (pij) 的多项式分布。以下推导都依赖这一点:每个单位贡献一次计数,单位之间互不影响,类别集合在观察数据前已经确定。
独立性是关于联合分布的假设
边缘概率为 ai=j∑pij 和 bj=i∑pij。独立性的零假设是
H0:pij=aibj对所有 i,j,
其中每个 ai>0、bj>0。
H0 断言联合分布等于边缘分布的乘积,它本身不解释机制。在抽样模型下拒绝 H0,说明数据与这种分解难以相容;这既不意味着 A 导致 B,也不意味着 B 导致 A,更不意味着干预其中一个会改变另一个。混杂、进入样本的选择过程和反向依赖都可能产生无法分解的联合分布。
概念视角代数
独立性即概率矩阵的秩为一
把单元格概率排成 r×c 矩阵 p=(pij)。H0 恰好断言 p=abT:矩阵的秩为一,每一行都是列边缘分布的倍数。反之,元素非负、总和为 1 的秩一矩阵必等于其自身边缘的乘积。对 2×2 表,这一条件就是单个方程 p11p22=p12p21,即比值比为 1。拟合表 E=RCT/n 正是具有观测边缘的秩一表。
估计期望频数
在 H0 下,a 和 b 未知,因此单元格概率也未知,必须先估计。
在 H0 下,若每个观察行合计 Ri 和列合计 Cj 都为正,边缘概率的最大似然估计为 a^i=Ri/n、b^j=Cj/n。因此拟合频数,也叫估计期望频数,为
Eij=na^ib^j=nRiCj.
在 H0 下,除去常数项,多项式对数似然为
ℓ(a,b)=i,j∑Oij(logai+logbj)=i∑Rilogai+j∑Cjlogbj.两个最大化问题可以分开。当每个 Ri>0 时,i∑Rilogai 在单纯形 i∑ai=1 上严格凹,驻点就是最大点;用拉格朗日(Lagrange)乘子得到 Ri/ai=λ,从而 a^i=Ri/n。同理 b^j=Cj/n。若观察边缘合计为零,则闭参数空间中的最大值位于边界;若只允许严格为正的参数,它只是上确界。
拟合表严格重现观察到的边缘合计:j∑Eij=Rij∑Cj/n=Ri,且 i∑Eij=Cj。
必须具有正的边缘合计。 若某个 Ri=0,则该行所有 Eij=0。此时拟合分布违反 ai>0 的假设,Pearson 项 (0−0)2/0 也没有定义。因此,只有每个观察行合计和列合计都为正时,所计算的统计量才有定义。单个格子可以有 Oij=0;只要它的边缘合计为正,其 Eij 仍为正,不会因此产生除以零。
在模型下,边缘合计为零是有限样本现象:Pr(Ri=0)=(1−ai)n→0,列也一样,所以统计量无定义的概率随 n→∞ 趋于零。有限样本中仍可能出现这种情况。任意添加伪计数并不能补救:所得统计量已经不同,没有上述已建立的参考分布。应如实报告原定表的统计量无定义,或明确说明分析有所改变(例如删除空类别),并指出新表的自由度不同。
Pearson 统计量及其渐近分布
定义 7.5.2
(Pearson 残差与 Pearson 统计量)
当每个观察边缘合计都为正时,单元格 (i,j) 的 Pearson 残差和 Pearson 统计量为
eij=EijOij−Eij,X2=i,j∑Eij(Oij−Eij)2=i,j∑eij2≥0.
当且仅当观察表等于其自身的乘积拟合表时,X2=0。
定理 7.5.3
(Pearson 统计量在零假设下的渐近分布)
假设 n 个变量对独立同分布,类别固定且 r,c≥2,并且 H0 成立、所有 ai,bj>0。则当 n→∞ 时,
X2dχ(r−1)(c−1)2.这是极限定理。有限 n 时,X2 是离散随机变量,其分布并非精确的卡方分布。近似 p 值为 Pr(χ(r−1)(c−1)2≥Xobs2)。
自由度常用参数计数解释:饱和模型有 rc−1 个自由概率参数,独立性模型有 (r−1)+(c−1) 个,差为 (r−1)(c−1)。这是有用的记忆方法,却不是证明。以下证明表明,这个数是一个投影的秩。
第一步:标准化波动。 令 P^ij=Oij/n,并定义
zij=aibjn(P^ij−aibj).记 D=diag(p)。n(P^−p) 的多项式协方差矩阵为 D−ppT。由多元中心极限定理,n(P^−p)dN(0,D−ppT)。在协方差矩阵两侧乘以 D−1/2,得到
zdN(0,I−uuT),uij=aibj,u=a⊗b.因为 ∑ai=∑bj=1,u 是单位向量。
第二步:线性化拟合乘积。 写 α=a、β=b,并将 z 排列为 r×c 矩阵 Z。由 Eij/n=P^i+P^+j,令 P^i+=ai+δi、P^+j=bj+εj,其中 δ,ε=Op(n−1/2)。于是
P^i+P^+j=aibj+aiεj+bjδi+Op(n−1).利用 nδi=aik∑βkzik 和 nεj=bjl∑αlzlj,再除以 aibj,得到
aibjn(P^ij−P^i+P^+j)=[Z−ZββT−ααTZ]ij+op(1).由于 αTZβ=ni,j∑(P^ij−aibj)=0 严格成立,可以加入为零的项 ααTZββT。方括号便成为 (Ir−ααT)Z(Ic−ββT)。向量化后为 Pz,其中
P=(Ir−aaT)⊗(Ic−bbT).第三步:Slutsky 定理。 Pearson 残差与上式左边的区别在于其分母为 P^i+P^+j,而非 aibj。由大数定律,两个分母的比依概率趋于 1;因此 Slutsky 定理给出 edPY0,其中 Y0∼N(0,I−uuT)。
第四步:P 的几何意义。 P 的每个因子都是到一个单位向量的正交补空间的正交投影,其秩分别为 r−1 和 c−1。正交投影的 Kronecker 积仍然对称且幂等,秩为两者秩的乘积 (r−1)(c−1)。此外,Pu=(I−ααT)α⊗(I−ββT)β=0,故
Cov(PY0)=P(I−uuT)P=P.第五步:范数。 写 P=QQT,其中 Q 有 k=(r−1)(c−1) 个标准正交列。于是 PY0=dQW,其中 W∼N(0,Ik);也就是说,极限高斯(Gauss)向量在 P 投影到的子空间上是标准高斯向量。由连续映射定理,X2=∥e∥2d∥QW∥2=∥W∥2∼χk2。
证明透视
为什么奇异协方差仍给出卡方分布
零假设用在第一步:把 z 以 aibj 为中心。在备择假设下,z 有 n 阶的均值,X2 发散,这正是检验功效的来源。所有 ai,bj 为正则用于除以 aibj 以及 Slutsky 一步。
非例行的一步是第二步。用拟合乘积代替未知的 aibj,在一阶近似下是一个线性映射;恒等式 αTZβ=0 允许无代价地加入第四项,把该映射化为两个投影的 Kronecker 积。
第一步的极限协方差 I−uuT 是奇异的,因为单元格比例之和为一。这没有害处,因为 Pu=0:中心极限定理极限唯一退化的方向,恰好是投影本来就删去的方向。所以 Cov(PY0)=P 严格成立,而 (r−1)(c−1) 作为 P 的秩出现,并非参数计数。
证明有两个值得强调的后果。
第一,残差并非独立的标准正态变量。其极限协方差矩阵为 P,对角项为 (1−ai)(1−bj)<1,非对角项通常非零。即使在有限样本中,残差也满足严格约束:
j∑Eijeij=Ri−Ri=0.
第二,秩 (r−1)(c−1) 来自对两组边缘概率的估计。若还拟合其他参数,或某些单元格因设计而不可能出现,投影及其秩都会改变。
例题:证据与关联强度
例题 7.5.4
(一个平衡的 2×2 表)
观察到
A=1A=2B=1181230B=2121830303060每个边缘合计都是 30,所以所有单元格均有 Eij=30⋅30/60=15。每个 ∣Oij−Eij∣ 都等于 3,于是
X2=4⋅159=2.4,df=(2−1)(2−1)=1.χ12 变量是标准正态变量的平方,因此近似 p 值为
Pr(χ12≥2.4)=2[1−Φ(2.4)]=2[1−Φ(1.549)]≈0.1213.在显著性水平 α=0.05 下,我们不拒绝 H0。这并未证明独立:在此样本量下,数据与独立性的偏离不足以跨过所选阈值。
关联强度。 对按行排列为 a,b,c,d 的 2×2 表,
φ=R1R2C1C2ad−bc=304324−144=900180=0.2,φ2=nX2=602.4=0.04.φ 描述本样本中的关联,它不是因果效应。
按比例放大。 将所有频数乘以 10,比例及 φ=0.2 不变。但此时 Eij=150、∣O−E∣=30,所以 X2=4⋅900/150=24;也可算出 X2=nφ2=600⋅0.04。近似 p 值 Pr(χ12≥24) 约为 9.6×10−7。
两个表的样本关联完全相同,对乘积模型的反证却大不相同:比例固定时,X2 随 n 线性增长。p 值衡量参考分布下的证据,而不是关联强度。
残差。 原表中每个 eij=±3/15≈±0.775。残差的排列显示哪些格子贡献了偏差(对角线频数偏高),但四个残差受边缘约束相连。在这个平衡表中它们绝对值相等;一般 2×2 表的未标准化偏差大小相等,标准化残差的绝对值却未必相等。这里残差的极限方差为 (1−21)(1−21)=41,因此经方差调整的残差为 0.775/0.5≈1.549=2.4;整个表只包含一个自由度的信息。
常见错误
(把单个 Pearson 残差与 1.96 比较)
因 ∣eij∣>1.96 就宣布某个单元格“显著”,即使只看一个单元格也是校准错误的。eij 的极限方差是 (1−ai)(1−bj)<1,所以调整后的残差要除以其平方根的估计;在上面的平衡表中,0.775 变为 1.549。逐格检查多个单元格时,还需要多重比较校正,或拟合针对所关注模式的模型。
交换平衡表的两行,得到 (12,18;18,12)。所有边缘合计仍为 30,每格 Eij=15、∣Oij−Eij∣=3,故 X2=2.4 不变。但
φ=90012⋅12−18⋅18=900144−324=−0.2.一般地,交换两行将 (a,b,c,d) 变成 (c,d,a,b),乘积差变成 cb−da=−(ad−bc),所以 φ 改变符号;X2 是对单元格求和,只是各项顺序改变。交换两列也是如此。行列同时交换则回到原表 (18,12;12,18),φ=0.2。φ 的符号取决于类别顺序,X2 则不受影响。
p 值的含义与误读
p 值在 H0 与抽样模型下使用近似参考分布计算:若独立性成立,统计量达到或超过观察值的概率。它不是 Pr(H0∣数据),1−p 也不是变量有关联的概率。
不显著的结果既可能与独立相容,也可能与样本太小而未能检出的轻微依赖相容。样本很大时,显著结果也可能对应实际意义极小的依赖。上面的例题展示了前一种情况:φ=0.2 时,60 个单位的表在 0.05 水平下不显著,而比例相同、n=600 时 p≈10−6。
也不要用一个相关系数取代独立性问题。
给以下表的行赋分 1,2,3、列赋分 0,1:
010010010.行分数均值为 2,列分数均值为 20/30=2/3,而 E[XY]=(1⋅10+3⋅10)/30=40/30=2⋅32。协方差为零,所以分数相关系数恰为零。
然而行类别完全决定列类别。每个行合计都是 10,列合计为 10 和 20,故 Ei1=10/3、Ei2=20/3。第 1、3 行各贡献 310+35=5,第 2 行贡献 340+320=20,所以 X2=30=n。零相关不证明独立。
参考分布何时不适用
抽样设计。 如果预先固定行合计(例如每组人数固定的研究,即乘积多项式抽样),H0 变为各组条件列分布相同,即同质性假设。同一个渐近 χ(r−1)(c−1)2 分布仍成立。若对行、列两组边缘合计都取条件,则得到不依赖干扰参数的超几何参考分布。这是 Fisher 精确检验的基础:它使用不同的参考分布,并非只是更精确地计算同一分布。
聚类数据。 同一人的重复测量,或同一机构内的患者,可能违反独立同分布假设。簇内依赖可改变计数的协方差,使上述卡方校准失效。常见情形会使统计量膨胀、名义 p 值偏小,但影响取决于联合依赖结构。
由数据决定的类别。 观察表格后才选择切分点或合并类别,会使 X2 成为搜索的结果,原参考分布不再适用。
结构零。 若某些格子因设计不可能出现(pij=0),具有正边缘概率的独立性不可能成立,检验该零假设没有意义。对其余格子使用的准独立模型具有不同自由度。抽样零(pij>0 但 Oij=0)是另一回事,本身不是问题。
期望频数小。 “每个 Eij≥5”之类的规则是判断近似通常何时可用的经验法则,并非定理;满足它既不能保证近似准确,也不能保证任何实质结论。
边缘依赖与条件依赖
反例模式
合并分配比例不同的机构数据
两家机构处理的病例严重程度不同,治疗分配比例也很不同。
在每家机构内部,治疗组成功率都较高;合并后却低得多,因为大部分治疗患者来自处理严重病例的机构。
这是辛普森(Simpson)反转:合并表中的边缘关联方向与每个分层内的条件关联方向不同。对合并表做卡方检验回答的是合并后联合分布的问题;这个分布混合了两家机构,不能有效概括其中任意一家,也不能给出因果解释。
如果同一机构内的单位相关,合并带来额外问题:计数甚至不再服从多项式分布。
练习
练习 7.5.7
(对 (10101010) 检验独立性。)
基础
解答(2)
1期望频数
R1=R2=C1=C2=20、n=40,所以每格 Eij=20⋅20/40=10=Oij。
2统计量与解释
故 X2=0,df=1,p=Pr(χ12≥0)=1。样本表恰好可分解;这是关于样本的陈述,并非总体分布可分解的证明。
练习 7.5.8
(分析 (8228):计算 X2、φ 和近似 p 值,并评价其可靠性。)
核心
解答(3)
1统计量与效应量
所有边缘合计为 10,n=20,故 Eij=5 且 ∣O−E∣=3。于是
X2=4⋅59=7.2,φ=10464−4=0.6,φ2=207.2=0.36. 2近似 p 值
自由度为 1,近似 p 值为 2[1−Φ(7.2)]=2[1−Φ(2.683)]≈0.00729。
3注意
期望频数恰好位于常用经验边界,且 n 很小。条件于边缘合计的 Fisher 参考分布给出双侧 p 值 4252/184756≈0.023。它来自不同的参考分布,而非对卡方近似的修正。两个值都小于 0.05,但相差约三倍。此外,φ=0.6 是样本统计量,在 n=20 时估计很不精确。
练习 7.5.9
(分析 3×2 表 433433,再分析变体 460406 和 406406。)
核心
解答(3)
1原表
行合计为 8,6,6,列合计为 10,10,n=20。期望频数为 E1j=8⋅10/20=4,E2j=E3j=3。它们与观察表完全相同,故 X2=0、df=(3−1)(2−1)=2、p=1。
2边缘合计为正时的零格
第二个表的边缘合计相同,所以 E 不变,而零频数格子不造成困难。第 2、3 行四个格子各贡献 9/3=3,故 X2=12。
3边缘合计为零
第三个表第 2 行合计为 0,故 E2j=0,原定 3×2 表的统计量无定义。删除该行会产生不同的 2×2 分析,自由度为 1,必须报告这一改变;不能凭空添加伪计数。
练习 7.5.10
(一项研究记录 20 名学生,每人测量 30 次。每次测量按条件和结果分类,对全部 600 条记录做卡方检验得到 p=0.4。能得出什么结论?)
综合
解答(3)
1抽样模型不成立
关键一步
上述数据收集方式不足以支持将全部 600 条记录视为独立同分布的多项式观察。有效样本量取决于依赖结构、设计和目标量,X2 未必近似服从 χ(r−1)(c−1)2。仅凭题目提供的信息,无法保证 p 值 0.4 的校准有效。
依据: 同一学生的重复测量可能共享特征而相互依赖。
2即使校准正确,结论也有限
不显著不能证明条件分布相同,更不能证明条件没有因果效应:因果结论还需要随机分配等设计。
3合理的处理
以学生为独立单位,例如分析学生层面的汇总量、拟合考虑学生层面依赖的模型,或以整名学生为单位重抽样(簇自助法)。这些方法仍需足够多的独立簇和合适的设计,本身都不能自动保证有效性。
小结
Pearson 检验将观察表与边缘合计的拟合乘积 Eij=RiCj/n 比较。在固定类别、正边缘概率及独立同分布多项式抽样下,X2 依分布收敛到 χ(r−1)(c−1)2:原因是拟合残差收敛到投影在恰好该维数子空间上的标准高斯向量。
检验衡量反对独立性的证据,而非关联强度,也不能说明因果关系。参考分布的可靠性取决于其背后的抽样模型。
预备知识:多项式分布、多元中心极限定理、Slutsky 定理及正交投影。