拟合结果为什么会敏感
数据处理中,我们常寻找系数 ,使预测 接近观测值 。块 QR 能在不显式形成 的情况下归约数据;但如果三角因子的某些对角项很小或为零,还要问:观测究竟能确定哪些系数组合?奇异值分解(SVD)给出几何上的回答,也说明残差小本身并不能保证系数可靠。
设 、。向量范数均为欧氏(Euclidean)范数,矩阵范数为相应的诱导算子范数;先在精确算术下讨论。
定义 4.3.1
(SVD 与奇异坐标)
完整 SVD 把 写成 ,其中 、 正交, 为对角矩阵,其正对角元是奇异值 , 为 的秩。 的列 与 的列 是标准正交奇异向量,对 满足 、。 的奇异坐标是 。若 ,从 到 的求和视为空和。
中垂直于列空间的部分,即沿 的坐标,无法由任何 拟合。
定理 4.3.2
(全部最小二乘解)
使 最小的向量恰好是
其中欧氏范数最小的解唯一,由 给出;其残差平方为 。
证明
(把残差对角化)
在右奇异向量构成的标准正交基中展开 。对 , 沿 的系数是 ,其他方向上的系数为零。因此
第一项的各个平方可以同时等于零,且这迫使 。其余右奇异方向张成 ,得到所述全部解。它们与公式中的和正交,所以加入非零 会使范数平方严格增加 。残差公式来自正交投影。 也包含在内:所有向量的拟合效果相同,而唯一的最小范数解为 。
证明之所以奏效,是因为两边各作一次正交换基,就把耦合的问题变成 个独立的标量问题。
证明透视
分开可拟合与不可见的方向
的正交性把残差平方分拆成互不干扰的坐标,每个左奇异向量一个; 的正交性则给 互不干扰的坐标。关键一步是:在这些坐标下 以对角形式作用,所以前 个残差坐标各自只依赖一个系数,可以同时化为零;其余坐标完全不依赖 ,即 在列空间以外的部分。 为正,才允许用除法确定这些系数。核方向正是 忽略的坐标;它们不影响拟合,却增加系数范数,因此把它们设为零、而且只有这样做,才得到唯一的最小范数解。
同样的两个条件也可以不借助坐标来描述最小范数解。
概念视角几何
投影 $b$,再在行空间取原像
每个最小解都满足 ,即 在 的列空间上的正交投影。最小范数解是这个投影方程位于 (行空间)中的唯一解。用算子表示,它是 ,其中伪逆为 。这种几何描述,即先在输出空间投影、再取与核正交的原像,不需要在重奇异值内部选择基。
例题 4.3.3
(用 SVD 处理秩亏矩阵)
令 、。此时 ,,,,而 。于是 ,全部最小解为 。最小范数解为 ,残差平方为 。直接计算,目标为 ,恰在 时最小。
常见错误
(对秩亏问题求正规矩阵的逆)
上例中 的行列式为 ,所以公式 不存在,尽管最小二乘解存在。照写此式,或用求解器对奇异矩阵返回的任意结果代替逆矩阵,只会随意选出某个解,甚至失败。要得到最小范数解,必须有明确的规则,例如上面的伪逆。
例题 4.3.4
(高瘦的秩一矩阵)
令 、。则 ,,,。奇异坐标为 ,所以最小范数解为 。预测向量为 ,残差 与 垂直,因为 。其平方范数为 ,与 相符。
小奇异值与截断
小的正奇异值对拟合无害,对系数却很危险。
命题 4.3.5
(最小范数解对观测的敏感度)
固定 ,设 ,并把观测改为 。最小范数解的改变量是
且 时取等号。
证明
(线性与标准正交性)
最小范数解 关于 是线性的,由此得到 的公式。由于 标准正交,,这里用了 及标准正交向量 的 Bessel 不等式。当 时,只有最后一项非零,且等于 。
因此,即使观测误差很小,只要它沿 ,系数的绝对变化仍可能很大。这是固定矩阵的界,本身不能说明 的误差造成什么影响,也不能在真实解为零时给出相对误差。
定义 4.3.6
(截断 SVD 解)
对整数 ,截断 SVD(TSVD)解只保留前 个奇异方向:
用 而不是数值阈值,是为了明确约定。若 ,把上面证明中的 换成 ,可知观测扰动 引起的 变化至多是 ;若 ,变化恒为零。与精确最小残差相比,付出的代价是残差平方增加 。因此,残差可能增加是为降低敏感性而作的主动取舍,并不表示计算失败。如果截断位置把相等的奇异值分开,还须指定保留的子空间;在重奇异值子空间中选用另一组有效基,可能得到不同的 。
例题 4.3.7
(残差小,系数仍可能脆弱)
令 、。最小范数解为 ,残差为零。若第二个观测值增加 ,第二个系数就增加 ,放大十倍。只保留最大奇异方向时,,残差范数为 ,对观测误差的放大至多为 。但不能据此断定舍弃的真实系数为零:这只是选择不从该弱方向估计它。
常见错误
(把截断系数当作等于零的估计)
上例中,TSVD 在第二个坐标返回 。这个零记录的是“不沿 估计”的决定,并不是第二个系数为零的证据;事实上数据与数值 一致。报告系数时应同时说明截断水平,并把舍弃的方向描述为未估计。
反例模式
训练数据拟合完美并不证明稳定
断言:残差为零表示拟合系数可靠。令 、,精确解 的残差为零。只把第二个观测值增加 到 ,第二个系数就变成 :大小为 的扰动造成量级为一的变化,正好是敏感度命题中的因子 。修正后的说法是用最小的保留奇异值来界定系数变化,而不是用残差。
计算与统计上的解读
若 列满秩,则 ,且 。因此形成正规方程可能加剧病态性带来的困难;条件数描述的是问题的性质,并非对每一种实现误差的普遍预言。若 秩亏, 奇异,普通的逆矩阵公式不适用。紧 SVD 或揭示秩的方法可暴露近乎相关的方向;实现时仍要按尺度、算术精度和应用中的噪声选择容差。精确秩与数值秩并不相同。
大型数据可能无法容纳整个 ,完整 SVD 的计算也可能不现实。视数据访问方式及资源而定,可考虑块 QR 归约、稀疏迭代求解或经过仔细验证的近似低秩方法;这些方法的代价和近似误差须另行分析。上述精确 SVD 推导提供理解,而不保证完整 SVD 便宜,也不保证某个截断最优。正则化改变估计量,其效用同时取决于信号和噪声,而非只由矩阵决定。
练习与解答
快速检查
(设 、。求完整解、秩一 TSVD 解及其残差范数。)
正对角矩阵的奇异向量就是标准基向量。
解答 · 答案
完整解为 。只保留第一个方向得 ,残差为 ,范数为 ;这等于 。
快速检查
( 的正奇异值为 、、。观测扰动范数至多为 时,分别估计完整最小范数解及 的 TSVD 解的系数变化。)
除以最小的保留奇异值。
解答 · 答案
两个最坏情况上界分别为 和 。它们是固定 时绝对变化的界,不能保证未知的估计误差。
快速检查
(定理中,若 垂直于非零矩阵 的列空间,会怎样?)
计算奇异坐标 。
解答 · 答案
所有 都为零。全部最小解都属于 ,最小范数解为 ,残差范数为 。任何系数都无法拟合垂直分量。