线性系统无法确定输入可能有两个不同原因。目标可能不在列空间内,因此没有输入能准确产生它;另一个可能是核非零,令不同输入产生相同输出。两种情况也可能同时发生。最小二乘以最接近目标的可达输出处理第一个问题;最小范数则从所有产生该输出的输入中选出一个。分清这两个选择,便较容易理解秩不足的问题。
SVD 坐标与所有最小二乘解
定义 3.2.1
(最小二乘解与最小范数解)
对 与 ,若 在所有 中达到最小,则 称为最小二乘解。在所有最小二乘解中, 最小者称为最小范数解。
定理 3.2.2
(用 SVD 描述所有最小二乘解)
设 是秩为 的完整 SVD,正奇异值为 ,并令 。最小二乘解恰是 ,其中 任意,即 。唯一的最小范数解是 ,且 。
证明
(奇异向量坐标下的勾股定理)
设 是实 矩阵,。假设其秩为 ,取完整奇异值分解 ,其中 和 为正交矩阵。正奇异值为 ;当 时,;当 时,。这些等式也包括零秩情形,此时没有正奇异值。
写 、,其中 。由正交性,
第一个和的每一项均非负,而且因 ,可以独立地令它们为零。第二个和则不能借任何 改变。因此,所有最小二乘解都满足:当 时 ,而 时的 任意。它们共同的拟合向量是 :只有 在列空间内的部分可以被拟合。其余部分与该空间垂直,亦可由勾股定理独立验证最小性。
在标准正交的 坐标下,。前 个系数已固定,其他系数的平方只会增加范数。因此唯一的最小范数最小二乘解是
唯一性来自平方和取等的条件,而不是假设 可逆。全部解为 ,且 。当 时,和式为空:,每个 都是最小二乘解,而唯一范数最小者为 。我们从没有除以零奇异值。
证明透视
为什么一次正交坐标变换就能解决一切
关键一步是把 与 分别按标准正交基 与 展开,使 变成互相独立的平方和。假设 只用了一次:它使前 个平方都能由 化为零。其余的和 完全不含 ,因此是“不可能更小”的证书。最小范数并不需要新想法:在 坐标下 ,前 个系数已被固定,任何非零的自由系数只会使和增大。证明不假设 可逆;当 时,所有和都是空和。
满列秩下的 QR 简化
命题 3.2.3
(用精简 QR 求最小二乘解)
设 , 为精简 QR 分解,其中 有 个标准正交列, 是可逆的 上三角矩阵。则对所有 有 ,所以唯一的最小二乘解满足 。
证明
(沿 的各列拆分 )
若 且 的列线性无关,精简 QR 分解给出 : 有 个标准正交列, 是可逆的 上三角矩阵。分解 。第二部分与 的每一列垂直,所以
第一项在 的唯一解处为零,可用三角回代求解。这个证明同时需要列标准正交及 可逆。若各列线性相关,Gram–Schmidt 会出现零剩余向量,这个以可逆性为基础的简化便不能使用;但揭示秩的分解或 SVD 仍可解最小二乘问题。
反例模式
正规方程的逆矩阵需要各列线性无关
断言:每个最小二乘问题都由 解出。当各列线性相关时这是假的。
例如 的列线性相关。取 ,所有满足 的向量都给出同一最近输出 ,但只有 的系数范数最小。正规矩阵 奇异,所以写 并不合法。失效的是这个逆矩阵公式,而不是最小二乘问题本身。
条件数及比较的意思
命题 3.2.4
(条件数取平方)
对非零且满列秩的 ,定义二范数条件数为 ,其中最小值取自全部 个正奇异值。 的特征值是 ,因此
这是矩阵及二范数之间的精确等式;它并不表示每个计算答案恰好损失两倍的有效位数。小奇异值表示某个单位输入方向只产生很小的输出,因此反求该方向的系数对扰动敏感。形成正规方程可能放大条件问题,矩阵相乘也可能引入舍入误差。QR 避免明确形成该乘积,但稳定算法或分解都不能消除数据固有的敏感性。若秩不足,通常的满列秩条件数为无穷大,逆矩阵公式也不可用。
一个有用的诊断方法,是先问秩的条件究竟支持哪个结论。满列秩使每个目标的最小二乘系数唯一,即使目标不能精确达到也是如此。满行秩使每个目标都可达到;但若列数多于行数,精确系数仍可能不唯一。这是不同性质:唯一性关乎核,可达性则关乎列空间。检查残差可验证拟合;检查核则可验证系数的唯一性。
概念视角几何
最小二乘是向列空间的投影
同一个解集合还有不用坐标的几何图像。拟合向量 是 在 的列空间(即由各列向量张成的空间,亦即 的像空间)上的正交投影,所以每个最小二乘解给出相同的拟合。最小二乘解恰好是该投影的原像,即 的一个平移。最小范数解是这个平移中唯一落在 (即 的行空间)内的点。
例题
例题 3.2.5
(不相容数据与非唯一系数)
设 和 。求所有最小二乘解及唯一的最小范数解。
解答。 列空间由 张成。 在 上的投影系数为 ,所以拟合向量是 。系数向量恰好在 时给出此拟合。写成 。所示两个向量垂直,故 ,唯一最小值在 取得。残差 与 垂直,验证最小二乘最优性;它非零,故没有精确解。
例题 3.2.6
(条件数与精确 QR 解)
设 和 。求解并比较两个条件数。
解答。 取 、。 的两个对角项均非零,所以 给出 ,代入可验证 。奇异值是 和 ,故 。 的特征值是 和 ,故 。若 的第二个分量受 的扰动,第二个系数便改变 :该方向的绝对改变被放大十倍。此例说明敏感性,但不声称任何特定浮点误差。
例题 3.2.7
(零矩阵:秩为零的边界情形)
令 为 零矩阵,。此时没有正奇异值,所有对 的和都是空和。每个 都是最小二乘解,因为对所有 都有 。核是整个 ,唯一的最小范数解是 。我们从不除以零奇异值,而且任何 都不能减小残差 。
常见错误与细节
常见错误
(除以零奇异值)
当 时,对所有 写 是没有意义的。只有前 项出现; 的方向是自由的,最小范数的选择是令它们的系数为零。
常见错误
(混淆唯一性与可达性)
满列秩使系数对每个 都唯一,即使 不可达。满行秩使每个 都可达,但若列数多于行数,精确解仍然不唯一。唯一性是关于核的结论,可达性则是关于列空间的结论。
习题
快速检查
(对 与 ,求最小二乘解及残差。)
只有一个未知数;把 投影到唯一的一列上。
解答 · 答案
、,所以 。残差为 ,它与 垂直,因为 。
快速检查
(对 与 ,求最小范数最小二乘解及其残差的范数。)
只有正奇异值对 有贡献。
解答 · 答案
这里 、、、,所以 。残差为 ,范数为 。
快速检查
(若 是秩为 的 矩阵, 的最小二乘解是否唯一? 选出哪一个?)
把核的维数与 比较。
解答 · 答案
不唯一。每个 都可达,所以最小二乘解就是精确解,它们组成维数为 的仿射族。 是其中范数最小的一个,也就是与 垂直的那个。