普通最小二乘法通过正交投影拟合模型。一个标量对比检验询问的是某个系数线性组合是否为零,但许多问题同时涉及多个限制:三个组的均值是否相等?在基准模型之外加入两个预测变量,是否提供了额外信息?嵌套回归 检验回答的正是这类问题。单因素方差分析(ANOVA)是其中最常见的特例。
本节从投影几何出发推导 统计量在零假设下的精确分布,再将结果应用于单因素方差分析,并说明结论依赖哪些假设。
设定与假设
固定两个设计矩阵 和 ,满足
两个矩阵都具有满列秩。当 时,约定 。我们观测到
其中 是未知的固定向量。这个设定中有几个关键词,不能忽略:
- 固定:矩阵 ,因而两个模型,都是在看到响应值之前选定的,不依赖于 。
- 嵌套:简化模型空间 包含于完整模型空间 。
- 满列秩:这保证 可逆。如果希望使用的设计矩阵不满秩,可以删除冗余列,或者将下文各处的 换成 。只要 且 ,下面的理论仍然成立。用列数代替秩可能使自由度错误地变为零,从而导致除以零。
定义 1.8.1
(投影与残差平方和)
令 为到 的正交投影;当 时令 。残差平方和为
第二个等式使用了 。
投影几何
引理 1.8.2
(嵌套投影)
令 ,则:
- 和 都是对称幂等矩阵,因此都是正交投影。
- ,因此这两个投影的像空间相互正交。
- ,。
- 。
证明
(乘积、迹与 RSS 的下降)
的每一列都属于 ,而 保持该空间中的每个向量不变,所以 。两边转置并利用对称性,得 。
和 的对称性显然成立。对于幂等性,
同样可以算出 。至于正交性,
正交投影的秩等于其迹。利用迹的循环性质,
因此 ,且 。最后,
由于 对称且幂等,右边等于 。
第 4 点有一个实际含义:扩大模型绝不会增加训练集上的 RSS。因此 RSS 下降是必然的;只有下降的大小相对于噪声有多大,才提供证据。
零假设下的精确分布
定理 1.8.3
(嵌套 检验)
假设 (零假设 ),则:
- ;
- ;
- 这两个量相互独立,且 几乎处处成立。
因此
证明
(与嵌套模型相适配的标准正交基)
第一步:选取适合模型的标准正交基。 取 的一组标准正交基 ,加入 将其扩充为 的标准正交基,再加入 扩充为 的标准正交基。在这组基下,
令 ,则 是正交矩阵。
第二步:消去均值。 在 下,,因此 且 。于是
第三步:旋转不变性。 因为 ,向量 为高斯(Gauss)向量,协方差为 。因此 是相互独立的 变量。由 ,
第四步:读出分布。 第一个和有 个独立标准正态变量的平方,故服从 ;第二个和有 项,故服从 。两者使用互不重叠的独立坐标,因此相互独立。
第五步:分母为正。 由于 ,有 。事件 的概率为零,故 几乎处处成立, 有定义。
第六步:构造比值。 按定义,两个独立卡方变量各自除以其自由度后所得的比值服从 分布。未知的 在比值中抵消。
证明透视
每个假设在哪里用到
决定性的一步是第一步。基一旦与这对嵌套子空间相适配,两个平方和就成为同一个旋转后噪声向量在互不重叠指标集上的坐标平方和。独立性和两个卡方分布随即由旋转不变性得到,无需另外论证独立性。
- 第二步需要 。完整模型必须包含真实均值;在零假设下,简化模型也必须包含它。
- 第三步需要误差独立、同方差且服从高斯分布;这些条件使 具有旋转不变性。
- 第五步需要 且 。
备择假设下的行为。 若 但 ,分母仍是 。但分子成为 乘以一个非中心 变量,其非中心参数为 。此时 服从非中心 分布,倾向于取更大的值,因此检验在上尾拒绝。
如果 ,连 也成为非中心的。不能声称对任意 都有中心 分布;中心分布是关于零假设的结论。
尺度不变性。 以 替换 ,其中 ,两个残差平方和都乘以 ,所以 不变。特别地,检验不依赖于测量单位。
概念视角几何
把 F 统计量看成角度
简化模型的残差 可正交分解为 与 。若 是 与新增子空间 的夹角,则 、,所以 。当 几乎指向新增方向时,检验就拒绝。在单因素方差分析中,,即熟悉的 ;在下面三组的例子中,,而 。
的情况。 假设简化模型对完整模型 施加一个固定的线性限制 。记 和 。
令 。该向量属于 ,并且与每个满足 的 正交,因为 。因此 是到 的投影,且
除以 可得 ,其中
因此, 上尾检验对应同一固定对比的双侧 检验,而不是单侧检验:平方会丢失 的符号。
单因素方差分析:嵌套模型的比较
设有 个非空组,组大小分别为 ,总数 。观测值满足
各组共用同一个 ,但均值 可以不同。
完整模型使用 的组指示矩阵 。它的各列具有互不重叠且非空的支集,所以 满列秩, 的秩为 。投影到 会把每个观测值替换为其所在组的均值 。
简化模型使用 。这一列等于 各列之和,所以两个模型嵌套,且 的秩为 。投影到 会把每个观测值替换为总均值
它是各组均值的加权平均,权重与组大小成正比。
常见错误
(使用组均值的非加权平均)
各组大小不等时, 与 不同。它不是合并数据的均值,也不是 在 上的投影,因此不会给出 。在 中用 代替 ,会多出一项 ;这一项并不是组间变异,于是 不再成立。最后一道练习在一个小例子中计算这个差额。
两个残差平方和就是熟悉的方差分析量:
命题 1.8.4
(方差分析分解)
定义 ,则 。在 下,
证明
(交叉项消失)
把每个观测值与总均值的偏差写为组内部分与组间部分之和:
平方并求和得到
对每个 ,内层和都为零,因为组内各观测值与该组均值的偏差之和为零。因此交叉项消失。
至于分布, 恰好表示 。应用嵌套模型定理,其中 ,。
例题 1.8.5
(每组两个观测值的三组数据)
取三组数据 、 和 ,因此 ,。
均值。 三组均值分别为 ,总均值为 。
组内平方和。 每个观测值与本组均值相差一个单位,所以每组贡献 ,从而 。
组间平方和。
总平方和。 各观测值与 的偏差为 ,平方和为 ,与分解式一致。
检验统计量。 自由度分别为 和 ,所以
p 值。 分子自由度为 时,尾概率有闭式表达式。这里 是标准指数变量 。令 ,则
取 得到 。
结论。 在 的显著性水平下,不拒绝 。
常见错误
(把不拒绝理解为均值相等)
不拒绝并不能证明各组均值相等。样本均值明显不同;检验的功效取决于真实均值差、方差和设计,而不只取决于 。p 值 是在 成立时,得到至少与观测值一样大的 值的概率。它不是 ;后者需要先验分布和贝叶斯(Bayes)模型。
反过来,显著的 值说明,使用各组不同均值的模型相比共同均值模型所获得的拟合改善,超出了噪声可解释的范围。组别是否导致差异,取决于研究对象如何进入各组。随机分组支持因果解释;观察性分组则可能存在 检验无法发现的混杂因素。
只有两组时,方差分析是 恒等式的一个例子。
例题 1.8.6
(两组: 统计量等于 )
取两组数据 和 ,因此 ,。
- 两组均值为 和 ,总均值为 。
- 每个观测值与本组均值相差一个单位,因此 。
- 。
所以
对合并方差双样本 统计量,合并方差为 。均值之差为 ,标准误为 ,故 ,。
对比 是事先固定的,因此 的上尾对应双侧 检验。利用 分布函数,两者共同的 p 值为 。
例题 1.8.7
(用列数代替秩)
回到三组数据 、、,但把完整模型写成截距列加上三个指示列。该矩阵有 列,秩却是 ,因为三个指示列之和等于截距列。它的列空间仍是组均值向量构成的空间,所以到该空间的正交投影 、 和 都不变;只是含 的公式无法使用,因为该矩阵奇异。
按秩计算,,,重新得到 。按列数计算则得 ,,于是 ,并以 为参考:统计量不同,参考分布也是错的。
退化情形更明显。对两组 和 ,,截距加指示列的矩阵有 列但秩为 。按列数计算得 ,需要除以零。按秩计算则 :两组均值为 和 ,总均值为 ,,,于是 ,自由度为 。
反例模式
组内变异为零
考虑观测数据 、。两组均值为 和 ,总均值为 ,,。 的公式需要用 除以 。
也许有人试图令 来建模。但此时 是确定性的,定理不适用。
- 在零假设下,分子和分母都是零,得到 。
- 对上面均值不等的数据,表达式为 。
- 两种情况下该表达式都不服从 分布。
在满足 的有效高斯模型中, 的概率为零。因此,这样的数据提示我们重新审视模型,而不是给出一个检验结果。常见原因包括舍入、确定性的测量过程或错误指定的误差结构。报告无穷大的 并不合适。
参考分布能保证什么,不能保证什么
定理中的假设足以保证 参考分布;其他特殊情形也可能由于不同原因得到相同分布。
- 模型事先固定。 如果尝试许多候选模型,只报告 最大的模型,那么报告的统计量是多个统计量的最大值,不一定服从 ;直接使用普通 p 值可能使检验偏激进。投影论证假设 和 不依赖于 。
- 误差独立、同方差且为高斯分布。 如果方差不等或误差存在依赖, 就不再是标准正态向量,此时不能保证所用的 参考分布成立,小样本中甚至不能保证近似成立。
- 完整模型包含真实均值。 如果不包含,残差均方的期望为 ,大于 ;单次观测到的残差均方则不一定超过 。
- 检验回答的问题。 在样本内比较两个嵌套子空间;它不衡量样本外预测准确度,不证明因果关系,也不是后验概率。
练习
练习 1.8.8
(已知 、、、、,计算并解释 。)
基础
解答(3)
- 1
计算统计量
此处 ,,所以
- 2
利用分子自由度为 时的闭式表达式
使用三组例题中的同一闭式表达式,
- 3
解释下降量
在通常的显著性水平下,从 降至 并不显著。下降本身不构成证据,因为引理保证对任何数据都有 。证据来自每个新增维度的下降量 与每个残差维度估计噪声量 的比较。
练习 1.8.9
(分析者有 个候选预测变量,并比较下面两种做法。何时 参考分布是精确的?)
核心
- (a) 在收集数据之前,固定包含其中 个特定预测变量的模型,并将其与仅含截距的模型比较。
- (b) 查看响应值后,保留与 相关性最高的 个预测变量,再进行同一 检验。
解答(3)
- 1
做法 (a):固定的子空间
在 (a) 中, 和 固定。如果截距与四个预测变量构成的矩阵满列秩,,误差相互独立且服从 、,并且 属于仅含截距的空间,那么精确地有 。
依据: 定理要求 和 的选择不参考 。
- 2
做法 (b):由数据选出的子空间
关键一步
在 (b) 中, 是 的函数。投影证明假设子空间固定;根据 选择预测变量违反了这一前提。通常的参考分布一般不能得到保证,而选择过程可能使直接计算的 p 值偏激进。有效分析需要例如使用留出样本,或者采用考虑选择步骤的方法。
- 3
即使 (a) 也不能说明的事
即使在 (a) 中,小 p 值也只说明较大子空间解释的变异超出了噪声可解释的范围。它不说明模型能很好地预测新数据,也不能在没有随机化时识别因果效应。
练习 1.8.10
(证明 ,并给出等价的展开式。然后对均值为 和 、样本量分别为 和 的两组计算 。)
核心
解答(3)
- 1
对与 无关的项求和
被加项 与 无关。对第 组的 个观测值求和,就相当于乘以 ,因此第一个恒等式成立。
- 2
展开平方
依据: 。
- 3
用加权总均值计算
总均值为加权平均 ,因此
展开式也给出相同结果:。若用非加权平均 代替 ,公式得到 ,比 多出 ,分解式便不再成立。