不相容方程组 没有精确解,但我们可以寻找一个向量,使其像最接近 。在成为矩阵方程之前,这首先是目标空间中的一个几何问题。我们在有限维实或复内积空间中讨论,并使用由 定义的伴随 。记号 表示在标准正交坐标下的共轭转置。
定义 3.6.1
(最小二乘解、拟合向量与残差)
设 是线性映射,。若对每个 都有 ,则称 是 的最小二乘解。对这样的 ,向量 称为拟合向量, 称为残差。最小二乘误差是 ,最小距离则是它的算术平方根。
为什么残差是垂直的
由于 是有限维空间 的子空间,正交分解定理把 唯一地分成属于像的部分和垂直于像的部分。下面的结果表明,这个分解已经解决了整个问题。
定理 3.6.2
(正规方程)
设 是线性映射,,并写 ,其中 ,。对 ,下列各条等价:
- 是 的最小二乘解;
- ;
- ;
- 。
最小二乘解一定存在,它们都有相同的拟合向量 和相同的残差 ,并且对任一个解 ,全部解构成集合 。
证明
(先用勾股定理,再用伴随)
分解为
取 使得 。对任意 ,由于 ,向量 与 正交。因此
等号成立当且仅当 。所以 是最小二乘解,而 是最小二乘解恰好当 ,这就是 。于是每个最小二乘解的拟合向量都是 ,残差都是 。此外, 当且仅当 ,所以全部解是 ,解唯一等价于 。
关于 :若 ,则 是符合要求的分解,由分解的唯一性得 。反过来,因为 ,结论成立。
关于 :对每个 都有
左边对所有 都为零,恰好当 。右边对所有 都为零,恰好当 ,因为与 中每个向量都垂直的向量必为零。所以条件是
证明透视
勾股步骤的威力来自哪里
整个论证系于一个交叉项。展开 时会出现 ,它等于零,只是因为 属于 ,而 属于它的正交补。这里用掉的唯一假设,就是 属于像;正因为如此, 要与特定的点 比较,而不是与 中任意向量比较。不等式能够收尾,是因为 ,且只在 时取等号,这是范数的正定性,同时也顺带给出了刻画 。有限维只被默默用了一次,用来保证分解 存在。在下面的例子 , 中, 就是下限:其余每个 都要在其上再多付出 。
条件 是关于残差的陈述,而正规方程就是它在定义域中的改写。它们是最小二乘的充分必要条件,而不仅仅是寻找候选解的一种便利方法。
快速检查
(设 已有精确解。哪些向量是最小二乘解?残差是什么?)
比较 与 。
解答 · 答案
此时 ,所以分解是 ,即 ,。最小二乘解就是满足 的 ,恰好是全部精确解,最小二乘误差为 。
何时可以对正规矩阵求逆?
命题 3.6.3
(正规算子的核)
设 是有限维内积空间之间的线性映射,则 。特别地, 可逆当且仅当 是单射。用矩阵的语言说, 可逆当且仅当 的列线性无关。
证明
(正规算子的范数恒等式)
对每个 ,有 (在相反的约定下为其共轭;该值是实数)。若 ,则 。反过来,若 ,则 ,所以 。因此 。有限维空间上的算子可逆当且仅当核为零,所以 可逆当且仅当 是单射;对 ,这表示 只有 一个解,即 的列线性无关。
若列线性相关,由正交分解的证明可知正规方程仍然有解,但求解时不能写出 。
反例模式
含逆矩阵的公式需要列线性无关
一个诱人的说法是:对每个实矩阵 ,最小二乘解都是 。取 ,。则 的行列式为 ,逆矩阵不存在。正规方程 化为单个方程 ,有无穷多个解。验算其中两个: 与 都给出 ,而残差 垂直于列 ,符合要求。因此这条公式并非对所有矩阵成立:它恰好在列线性无关时才有效,否则解是整个陪集 。
例题 3.6.4
(列线性无关的高矩阵)
取
则 ,。解得 。残差为
它与 的每一列的点积均为零。由于各列线性无关,解向量是唯一的。最小二乘误差为 ;最小距离为 。这是两个不同的量。
常见错误
(把平方误差当成距离)
正规方程极小化的是 ,而 是最小二乘误差,并不是 到 的距离。在上面的例子中 ,而距离是 ,不是 。
例题 3.6.5
(用直线拟合三个点)
用 拟合点 、、。未知量是 ,而
则 ,其行列式为 ,而 。于是
所以直线是 。拟合向量为 ,残差为 。验算:与列 的点积是 ,与 的点积是 。最小二乘误差为 。
快速检查
(为什么 必然推出 ?)
把向量 与 配对。
解答 · 答案
若 ,则 ,而范数为零的向量就是零向量。这一步说明 。
线性相关的列与最小范数的选择
定理 3.6.6
(最小范数最小二乘解)
设 是线性映射,。在 的所有最小二乘解中,恰有一个范数最小,并且它是位于 中的唯一最小二乘解。
证明
(沿核把解分开)
若 ,则每个极小点都具有 的形式,其中 。将 分解为 ,其中 ,。于是 ,所以 也是一个极小点。每个极小点都可唯一地写成 ,其中 ,因为 ,由正交性得 。因此 是唯一的最小范数最小二乘解;它也是 中唯一的极小点,因为当 时 不垂直于 。若 ,这个结论就是前面已证的唯一性。这第二次极小化发生在定义域中;而残差的极小化发生在目标空间中。
例题 3.6.7
(核不为零的映射)
对 和 ,正规方程化为 。所有解都给出相同的拟合向量 和残差 ,但只有 垂直于 ,因而具有最小范数。事实上, 的范数平方为 ,在 时最小。
常见错误
(用了转置而不是共轭转置)
对复矩阵,正规方程是 ,而不是 。设 ,。则 ,,所以 ,残差 与 垂直。若改用普通转置,则 ,方程 根本无解。
练习
练习 3.6.8
(求下列数据的 的最小二乘解,并验证残差与两个列向量都垂直。)
核心
提示(1)
先算 ;各列线性无关,所以它可逆。
解答(3)
- 1
写出正规方程
关键一步
依据: 最小二乘解恰好是 的解。
- 2
求解
依据: 行列式为 ,所以逆矩阵存在。
- 3
验算残差
此时 ,所以 。它与第一列 的点积是 ,与第二列 的点积是 。最小二乘解为 ,最小二乘误差为 。
快速检查
(对 和 ,求 的最小二乘解及最小二乘误差。)
这里 只有一列。
解答 · 答案
,,所以 ,即 各分量的平均值。残差为 ,其分量和为 ,符合与该列垂直的要求,且 。