为什么度量线性关系?
知道两个量各自的方差,并不能告诉我们它们如何一起变化。协方差记录它们的中心化数值是否倾向于同号,但用厘米代替米来度量身高会改变它的单位。相关系数去掉了单位,适合描述线性关系,却不能完整刻画联合分布。
设实随机变量 的二阶矩有限。记 、、、,以及协方差 。由 Cauchy–Schwarz 不等式,这个乘积可积。当两个方差都为正时,定义
常数随机变量的方差为零,它的相关系数没有定义,而不是零。把 乘以正常数不改变相关系数;乘以负常数则使它变号。加上常数也不改变相关系数。
定理 32.1.1
(相关系数的界及取等条件)
对二阶矩有限的 ,有 。若两个方差都为正,则 。此外, 当且仅当存在非零实数 ,使 几乎必然成立; 的符号与 相同。
证明
(用一个非负平方同时证明不等式与取等条件)
令 、。若 ,则 几乎必然成立,不等式立即成立。否则,对任意实数 ,
取 ,右边为 ,所以 。两个方差都为正时,等号成立恰好意味着这个非负平方的期望为零,所以 几乎必然成立。反过来,若存在所述的非零斜率关系,就直接得到等号。“几乎必然”允许概率为零的例外结果。
最佳仿射预测
观察到 之后,我们用直线 来预测 ,并以均方误差 衡量损失。这是一个总体问题:假定分布及其矩已知,而不是关于用有限数据拟合直线的结论。
定理 32.1.2
(最小二乘直线)
若 的二阶矩有限且 ,则使均方误差最小的系数对唯一,为
最小误差为 ;当 时可写成 。若 几乎必然是常数,则所有满足 的直线都给出同一个最佳常数预测,系数对并不唯一。
证明
(配方:不需要正态假设)
令 ,则 ,且 。展开得
固定 时, 是唯一的最小值点。再配方,剩下的部分为
由于 ,最佳的 唯一,即 ;再由 确定 。最小值就是前两项;当 时它等于 。若 ,则 几乎必然成立,对每个 误差都是 ,所有满足 的系数对都是最优的。
证明透视
两个分开的平方,各管一个系数
关键一步是把变量从 换成 。在新坐标下,误差分解为只受截距控制的 ,加上只含 的二次式。因此选择截距就是匹配均值,而斜率问题正是相关系数之界中出现过的那个二次式。
假设 只用了一次:它使关于 的二次式严格凸,从而最小值点唯一。二阶矩有限保证展开式中的每个期望都有限。证明完全没有用到联合分布的形状,所以不需要正态假设。最优性条件说明残差 的均值为零,且与 的协方差为零;这些是最优性的推论,而不是独立性假设。
在 的所有平方可积函数中,最佳预测是 ,见条件期望一节。上面的直线只在较小的函数类中取最小值,因此它的误差不会更小。只有当条件均值几乎必然是 的仿射函数时,两种预测才相同。 是带截距的最佳仿射预测所消除的 的总体方差比例;它并不度量因果关系、对每个观测值的预测精度,或任意非线性函数的预测能力。
概念视角几何
相关系数是余弦,直线是投影
在平方可积随机变量上,把几乎必然相等的变量视为同一个元素后, 是一个内积,范数为 。对中心化变量 与 ,各个定义变为
所以 是 与 夹角的余弦,相关系数之界就是 Cauchy–Schwarz 不等式,等号恰在两向量平行时成立。最佳斜率 是 在 张成的直线上的正交投影系数;残差是垂直分量,最小误差 就是勾股定理。不相关就是中心化后正交,这只是关于一个夹角的陈述,而不是关于整个联合分布的陈述。
下面的例题在三种不同情形下使用公式 与 。
例题 32.1.3
(带噪声的测量)
设 、。令 与 独立,均值为零、方差为一,并设 。则 、、。最佳直线是 ,误差为 ,相关系数为 。噪声的独立性保证 ,所以在本例中最佳直线也是所有函数中的最佳预测。噪声与 的协方差为零就足以计算直线,但仅凭这一点不能得出上述条件均值。
例题 32.1.4
(在标准单位下,预测向均值收缩)
设 、、、,于是 。最佳直线为
观测值 比均值高两个标准差,预测值 却只比 的均值高一个标准差。一般地,:在标准单位下,预测等于观测到的偏差乘以 。最小误差为 。
例题 32.1.5
(边界情形:没有变化的预测变量)
设 几乎必然成立, 的均值为 、方差为 。这时 ,所以 没有定义, 的公式也不适用。对任意直线, 几乎必然成立,并且
恰在 时取最小值。系数对 与 都是最优的,给出同一个预测值 ,误差为 。常数预测变量不携带任何信息,所以最好的做法就是预测 的均值。
反例模式
零相关可以掩盖完全的非线性相依
设 在 上服从均匀分布,令 。则 、、、,且 。因此 ,最佳仿射预测是常数 ,误差为 。但 完全由 决定:非线性预测 的误差为零。零相关只排除了这种意义下的线性关系,并不意味着独立或无法预测。
常见错误
常见错误
(把直线反解,而不是反方向回归)
在带噪声测量的例子中,用 预测 的最佳直线斜率为 。用 预测 的最佳直线并不是由 解出 得到的(那样斜率是 ),它的斜率是 。两个斜率之积是 ,而不是一;只有当 时两条直线才重合。
常见错误
(从斜率判断关联的强弱)
斜率的单位是每单位 对应的 的单位;相关系数则没有单位。把 改用百分之一为单位, 乘以 ,而 不变。在带噪声测量的例子中,斜率为 ,;若把噪声方差 换成 ,斜率仍为 , 却降到 。
练习
快速检查
(设 在 上服从均匀分布,。求 以及用 预测 的最小二乘直线。)
利用相关系数之界的取等情形。
解答 · 答案
这里 ,。关系式 的斜率为负且非零,所以 。事实上 ,,。直线正是 ,误差为零。
快速检查
(设 服从伯努利(Bernoulli)分布,,且 ,其中 与 独立,均值为零、方差为一。求 、最佳直线及其误差。)
独立性使 。
解答 · 答案
,由独立性得 。斜率为 ,截距为 。残差是 ,所以误差为 ;也就是 。
快速检查
(在上面的非线性反例中,求 ,并比较它的误差与最佳仿射直线的误差。 能证明独立吗?)
是 的函数。
解答 · 答案
由 得 ,误差为零。最佳仿射直线是常数 ,误差为 。两者相依,例如 ,而 。所以 不能证明独立。
快速检查
(设 、、。是否存在二阶矩有限的一对随机变量具有这些矩?说明理由。)
比较 与 。
解答 · 答案
不存在。协方差的界要求 ,而 违反了这个界。换言之,所声称的相关系数将是 。