从几何条件到方程
描述子空间的向量未必正交。例如在 上,仿射函数的自然基 的内积不为零。我们可以先正交化,也可以直接把误差垂直于整个子空间的条件写成有限个方程,从而具体使用投影定理。
设 是实或复内积空间,内积对第一变量线性。给定 ,令 。即使 不完备,有限维的 在继承范数下仍完备,故在 中闭。给定 ,将候选逼近写为 。
定义 4.3.1
(Gram 矩阵与正规方程)
对 及 ,Gram 矩阵 与向量 定义为
以 为未知量的线性方程组 称为用 逼近 的正规方程。
指标顺序取决于第一变量线性的约定。由于 ,误差垂直于 等价于对每个 有 ,亦即 。复内积采用另一种线性约定时共轭的位置会改变,宜从垂直条件重新推导,而不是死记指标顺序。
常见错误
(把实空间的公式照搬到复空间)
把 误写成 ,会把右端取共轭,得出错误的向量。在 中取 、、,则 ,而 、。错误的选择给出 ,且 ,残差并不垂直于 。正确的右端见下面第三个例题。
为什么方程有效
命题 4.3.2
(正规方程与最佳逼近)
设 、、。正规方程 总有解;所有解表示同一个向量 ,而 是 在 中唯一的最佳逼近:
证明
(用标准正交基得存在性,用勾股定理得唯一性)
从给定向量中选出 的一组基并正交化,得到 的标准正交基 。令 ,则对每个 有 ,所以 。将 用原来的生成向量表示,得到系数 使 ;而垂直关系 正是 。
反之, 的每个解 给出 ,且 。于是 又垂直于 ,故 ,即 。最后,对任意 , 垂直于 ,勾股定理给出
所以 ,且等号只在 时成立。
证明透视
相容性从哪里来
证明从未直接解线性方程组。可解性来自几何:标准正交基先造出满足 的向量 ,之后才把 改写成生成向量的组合。当 奇异时这一点很重要,因为奇异方阵并非对每个右端都有解;使方程相容的,正是特殊的右端 。唯一性是另一步,只用到内积的正定性: 中垂直于 的向量垂直于自身。两步都依赖 是有限维的,所以完全不需要 完备。
第二个问题是:什么时候不只向量 ,连系数也唯一确定。对 记 。
命题 4.3.3
(Gram 矩阵的零空间)
对每个 ,
因此 当且仅当 ; 可逆当且仅当 线性无关。
证明
(Gram 矩阵的二次型)
利用第一变量线性、第二变量共轭线性,
若 ,则 ,故 。反之,若 ,则对每个 有 。所以 的零空间恰由 之间线性关系的系数向量组成;而方阵可逆恰当其零空间为零。
故矩阵奇异表示坐标有冗余,并不表示最佳逼近不存在:系数可以不唯一,逼近向量仍唯一。
反例模式
右端任意指定的奇异 Gram 方程组
有人会以为既然 是 Gram 矩阵,无论右端是什么,正规方程都可解。取 且 ,则 ,而方程组 同时要求 与 ,不可能成立。修正在于 必须由 给出。此时对 零空间中的每个 ,有 ,所以 正交于 Hermite 矩阵 的零空间,从而落在其值域中。这里 与 不正交,所以没有任何 能给出这个右端。
恒等式 也让方程组有第二种读法:一个有限维的最小二乘问题。
概念视角代数
Gram 矩阵即 V 星乘 V
把 、 看作线性映射, 取内积 。由 ,其伴随为 。又 ,故
这正是在 上极小化 的最小二乘问题的正规方程。零空间的结论变成 ,而向量 是 在 值域上的投影。
例题
例题 4.3.4
(用仿射函数拟合 )
在实 中取 、、。各项由积分求得:
行列式为 。第二式减去第一式的一半,得 ,故 、。所以 意义下最近的仿射函数为 。由 ,
中间一步用到 。 元素是几乎处处相等意义下的等价类;这里用连续代表元展示计算。
常见错误
(L2 意义下最近的直线不是一致意义下最近的直线)
上面的 使均方误差最小,而非使最大误差最小。它在 的误差是 。直线 的误差为 ,在 、、 的值分别为 、、;由于这个误差是凸函数,最小值在 ,它在 上绝对值的最大值为 ,小于 。最佳逼近取决于所用的范数。
例题 4.3.5
(线性相关的生成组:)
仍取 中的 ,但改用 、、。由 、、 及 ,
关系 给出 ,可逐行验证:、、。向量 是解,因为前两行与上一例相同,而第三行是前两行之和。所以全部解为
而每个这样的 都给出同一个函数 。矩阵奇异,方程组相容, 不变。
例题 4.3.6
(共轭位置起作用的复例子)
在 中取 ,用 的倍数逼近 。此时 ,。因此 ,且
验证:。误差平方为 。
下面的交互图对 和所选的生成向量精确求解正规方程,并显示 这类线性相关的组使 奇异、 不唯一,而 保持不变。
练习与解答
快速检查
(求 在 中由 生成的子空间上的最佳逼近及误差平方。)
矩阵 与第一个例题相同,只有 改变。
解答 · 答案
右端为 。第二式减去第一式的一半,得 ,故 、,即 。误差平方为 。
快速检查
(若 ,描述正规方程的解及其共同表示的逼近。)
写出 的两行。
解答 · 答案
两式均化为 ,所以解集是直线 。所有解都给出同一个向量 。
快速检查
(将 换成 后矩阵改变,为何最佳逼近不变?)
比较两个张成空间。
解答 · 答案
与 张成同一个 。从 出发的最佳逼近唯一,所以是同一个向量 ;改变的只是坐标,由 变为 。