引言
最小二乘法可以理解为几何:将数据向量投影到设计矩阵的列空间。正态样本的置信区间则来自概率:标准化的样本均值除以与它独立的样本标准差,得到 分布。这里把两者联系起来。在固定设计、独立高斯(Gauss)误差下,投影几何给出三个结论:系数估计量服从正态分布;残差平方和是经缩放的卡方变量;二者相互独立。于是我们可以为系数的非零线性对比和未来观测构造精确的 区间。
下面基于已观测样本的随机量都由误差向量产生;后面的未来观测还使用一个独立的新误差。设计是一张固定的数值表;概率描述的是保持该表不变、反复抽取误差时的结果。
模型和基本假设
固定正整数 和确定性矩阵 ,且 。参数 、 固定但未知。观测模型为
由于协方差矩阵 是对角矩阵,且 联合服从高斯分布,坐标 相互独立,各服从 。
列满秩保证 可逆:若 ,则 ,于是 ,进而 。同一计算也表明 正定,其逆矩阵亦正定。
定义 1.7.1
(最小二乘估计量、帽子矩阵与残差方差)
定义
条件 保证 ,因此 有定义。
一阶矩与二阶矩
定理 1.7.2
(最小二乘估计量的无偏性与协方差)
若 且 ,则 ,并且 。
证明
(把模型代入估计量)
代入 ,得到
是确定性的,故 。利用 的对称性,
证明只用到了误差的均值和协方差,并未使用正态性。
引理 1.7.3
(帽子矩阵的性质)
对称且幂等,;此外 ,残差满足 。
证明
(五个矩阵恒等式)
对称性: 。
幂等性: 。
固定列空间: 。
秩: 给出 ,而 给出反向包含。因此两列空间相同,维数为 。
残差: 。
关键是 :残差完全不依赖未知的 ,它是列空间无法吸收的噪声部分。
旋转噪声
取 的标准正交基 ,及其正交补的标准正交基 ,分别作为 和 的列。于是 为正交矩阵,且
和 的列都是 的基,因此 ,其中 可逆。代入得
引理 1.7.4
(标准高斯分布的旋转不变性)
若 且 正交,则 。特别地, 与 相互独立。
证明
(利用密度)
的密度为 ,只通过 依赖 。映射 保持长度,其雅可比(Jacobi)行列式绝对值为 。因此 有完全相同的密度。该密度可分解为各坐标的 密度之积,所以坐标相互独立。、 使用互不相交的坐标,故相互独立。
三个分布结论
定理 1.7.5
(估计量与残差平方和的联合分布)
在上述高斯模型下:
- 。
- ,因此 。
- 与 独立。
- 几乎必然有 。
证明
(把旋转后的噪声分成两块)
估计量只依赖 : 由 和 ,
高斯向量的线性变换仍是高斯向量,其均值和协方差由前面的定理给出。
残差平方和只依赖 : 因为 ,
是 个独立标准正态变量,所以 。卡方变量的均值为 ,故 。
独立性: 是 的函数, 是 的函数,而独立向量的函数仍独立。
正性: , 在 上有连续分布,因此 。
证明透视
为什么一次旋转就给出三个结论
真正起作用的一步是写成 。它把估计量变为 ,把残差变为 ,于是每个量只读取旋转后噪声的其中一块。列满秩在这里用到,它保证 可逆。
高斯性只通过旋转不变性引理进入:它使 从而 服从正态分布,把不相关的两块变成独立的两块,并给出 的卡方分布。若误差只是不相关且方差相同, 与 仍不相关, 也仍成立(见下文),但独立性和 分布都不再成立。条件 使 这一块非空; 时的卡方分布和 的正性都依赖于它。
残差平方和的均值并不需要正态性。若只假设 和 ,则
其中使用了 以及 。然而,缺少正态性时,卡方分布、独立性以及下文精确枢轴量均不一定成立。
线性对比的精确区间
固定非零向量 ,令 。由于逆矩阵正定,必有 。目标 是固定标量。
记 为下尾分位数:若 ,则 。记 为 的相应分位数。
定理 1.7.6
(对比的枢轴量与区间)
当 ,随机区间
以恰好 的概率包含 。若 已知,则区间 的覆盖概率恰为 。
证明
(先标准化,再学生化)
是 的线性变换,因此
只依赖 ,而 只依赖 ,故 与 独立。由 分布的定义,,未知的 抵消。因为 几乎必然成立, 有定义。
分布连续且对称,因此
整理该事件,恰好得到区间包含 的事件。已知方差时用 代替 ,论证相同。
常见错误
(把覆盖率理解为某个已算出区间的概率)
区间是随机的,目标是固定的。覆盖率 的意思是:保持 、 和 不变,反复独立抽取新误差,计算出的区间中包含 的比例长期趋近于 。某一个已经算出的区间要么包含目标,要么不包含。覆盖率也以模型成立为前提,并不证明直线或高斯噪声确实能描述数据。
均值响应与新观测
取固定的设计向量 ,令 。当 时,均值响应 是取 的非零线性对比,其区间为
当 时,均值响应与上述区间均为 ,覆盖率是 而非 ;下述预测区间仍然适用。现在令 ,其中 ,且独立于 。
定理 1.7.7
(预测枢轴量)
因此 。
证明
(三个独立部分)
分子服从正态分布: 分解为
、、 三者相互独立: 独立于 ,而 是 的可逆变换,且两块独立。因此联合密度是各密度之积。分子是独立高斯变量的线性组合,所以服从正态分布,均值为 ,方差为 。
分子独立于 : 分子只依赖 ,而这一对变量独立于 。
结论: 分子除以 得到标准正态变量,它独立于 。其比值恰如对比定理中一样服从 。
比较相同分位数下的区间:,故 ,且 几乎必然成立。因此预测区间半宽 严格大于均值响应区间半宽 。
常见错误
(用均值响应区间预测新观测)
均值响应区间的目标是固定数 。它包含 的概率严格小于 ,因为分子 的方差是 ,而不是 。根号内多出的 代表新观测自身的噪声,增加数据也无法消除它;相比之下,随着设计样本增加, 通常缩小。
两个区间都不能保证外推安全。代数对任意 都有效; 是正定二次型,沿特征空间中任何向无穷延伸的射线都会增长。下方截距与斜率的例子中,它随 增大而增长,但一般情况下未必随到观测行的欧氏(Euclidean)距离单调增长。推导假设线性模型在 处成立;观测设计本身不能证明该假设在远处也成立。
三点完整算例
例题 1.7.8
(用三个点拟合直线)
取 、,设计矩阵的行依次为 、、,观测值为 。第一列是截距,第二列对应预测变量 。所有响应均以 的单位表示。
正规方程:
拟合与残差: 拟合值 为 ;残差为 。残差之和为零,且与 正交:。
方差估计: ,,。
斜率: 取 ,则 ,标准误为 。取 ,
所以 95% 区间为 。由于只有一个自由度, 分位数受重尾影响很大,区间很宽。
处的均值响应: 点估计是 ,二次型 ,标准误为 。半宽约为 ,区间为 。
处的新观测: 标准误为 ;半宽约 ,区间为 。
注意 。相比之下,样本内杠杆值 依次为 ,每个都不超过 ,总和为 。点 位于观测范围 之外,正是上面提醒的外推情形。
例题 1.7.9
(沿拟合直线的杠杆值与区间宽度)
在三点算例中取 。则 ,随 按二次规律增长,并在设计中心 处最小。
当 ,,点估计为 。
- 均值响应: 标准误为 ,半宽为 ,区间为 。
- 新观测: 标准误为 ,半宽约 ,区间为 。
预测区间宽度与均值区间宽度之比为 。在 时为 ,在 时只有 。远离数据时,直线估计的不确定性相对新观测自身的噪声占主导。
例题 1.7.10
(三点设计的残差几何)
由 ,
所以 ;例如 。 的正交补由 张成,因此 ,。由于 , 是一个标准正态变量的平方,服从 :这正是一般定理在 时的直接验证。
用数据核对:,所以 ,,与上面的拟合一致。
反例与边界情况
反例模式
残差分量并不独立
取 、、,则
残差满足 ,而 的方差为正。因此 ,但 ,故两分量不独立。
一般而言, 的非对角元素并非全为零。误差独立并不意味着残差独立。
另外两种边界情况完全不满足基本假设。
反例模式
秩亏与 $n=p$ 的情况
秩亏: 设 的两列分别为 、,则 的行列式为 ,所定义的 不存在。而且任意 下, 与 产生同样的均值 。数据无法区分它们,因而本框架不能为斜率 给出有意义的区间。
: 若满秩,则 ,故 ,任何样本均有 。于是 、, 无定义。拟合完全吻合,残差没有自由度来估计 。
这两种情况都不满足基本假设,必须另行处理。
固定设计假设同样重要:上述概率都在 保持不变时计算。随机设计、异方差、选择变量或检查诊断后报告的区间、无分布假设的稳健性以及多个区间同时成立,都需要另外论证,这里并未处理。系数区间衡量的是模型中的关联,本身不能证明因果效应。
习题
练习 1.7.11
(设 ,。求 、、、 的区间和预测区间。)
基础
解答(4)
- 1
计算估计量和投影
且 ,故 。又 ,故 ,。
- 2
识别方差估计
,所以 是通常的样本方差。
- 3
取 应用对比定理
,对比定理给出 。区间为 ,即单样本 区间。
- 4
取 应用预测枢轴量
,预测区间为 。
练习 1.7.12
(对 ,比较 和 的区间,然后对三点算例中的斜率取 计算。)
核心
解答(3)
- 1
缩放标准误
将 换成 , 乘以 ,标准误变成 。
- 2
缩放枢轴量
关键一步
枢轴量变成 ,其 分布及绝对值不变。新区间为 ,即原区间乘以 ;当 时端点次序交换。
- 3
计算
估计值是 ,标准误为 。半宽为 ,区间为 。核对: 乘以 约得 ,交换端点后相同。
练习 1.7.13
(以两行为 、 的 拟合 ,解释哪里失效。)
基础
解答(2)
- 1
求解方阵方程组
可逆,所以 ,拟合值 完全重现数据。因此 、、。
- 2
找出失效之处
无定义,也没有 分布,故不存在这种形式的区间。数据确定了拟合直线,但残差没有自由度来估计噪声方差。
相关笔记
预备知识包括正交投影与最小二乘、多元正态向量,以及正态样本的卡方分布和 分布。