奇异值分解不只是把矩阵分解成因子,还分清了映射拉伸哪些方向、遗忘哪些方向,以及哪些输出方向无法到达。这些区别同时解释了最小二乘和唯一的最小范数解,也说明映射有核时,为什么不能把每个奇异值都拿来作除数。
我们使用欧几里得(Euclid)范数或标准 Hermitian 范数,而不是未指定的加权度量。
奇异向量从哪里来?
设 ,以 表示共轭转置。因为
所以 是 Hermitian 半正定矩阵。
定义 4.2.1
(奇异值与奇异向量)
设 是 的特征向量构成的标准正交基,特征值为 ,并把正的排在前面。数 称为 的奇异值;正奇异值按 排列,其后才是零值。 称为右奇异向量。对 ,向量 称为左奇异向量。
基 由谱定理给出。
定理 4.2.2
(奇异值分解)
在上述记号下, 标准正交;当 时 ,当 时 。把 延拓成 的标准正交基 ,并以两组基向量为列组成 ,则
其中 是 乘 矩阵,长方形对角线上是 ,其余为零。
证明
( 的标准正交性与矩阵等式)
对 ,
因为 。若 ,则 ,故 ;范数恒等式给出的是这个结果,并不能靠除法得到左奇异向量。于是在基 上有 ,而 是酉矩阵,所以 。
实数情形则用转置与正交矩阵作同样的构造。
正奇异值对应的右奇异向量张成 ;左奇异向量张成 。两种补空间不同:其余右方向位于输入核,其余左方向则组成 。输入、输出维数不同时,尤其不能混淆两者。
最接近而又能到达的输出
给定 ,把 最小化,就是在像中找最接近 的点。
定理 4.2.3
(最小二乘解)
把 写成 ,其中 、。则对每个 ,
的极小元存在。向量 是极小元,当且仅当 ,当且仅当 ,也就是当且仅当 。
证明
(输出空间中的勾股定理)
向量 在 中,而 与它垂直,由此得上面的恒等式。右边恰在 时最小;因 属于像,这样的 存在。因此最佳输出唯一是 ,但产生该输出的输入未必唯一。
至于正规方程:向量与每个 垂直,当且仅当其伴随像为零,因为 对所有 为零当且仅当 。把它用于 : 是极小元,当且仅当 ,当且仅当 ,当且仅当 。这证明了必要性与充分性,既不用对复坐标式直接求导,也没有假设正规矩阵可逆。
证明透视
为什么分解 b 就足够
证明只有一个想法:把 一次拆成在像中的部分与垂直于像的部分,之后每个候选 只影响第一部分。垂直性 恰好用了一次,用来消去 的交叉项;没有它,恒等式就会带一个依赖 的项 。包含关系 也恰好用了一次,使 对某个 为零,所以即使 本身不可到达,极小元仍然存在。有限维只用在分解的存在性上。关于 的叙述不是第二个论证:它只是把 垂直于像这个事实换一种写法,所以二者等价,而且完全不需要 可逆。
若各列线性无关, 正定且可逆;若线性相关, 就无意义,但最小二乘解仍然存在。正规矩阵奇异,失效的是逆矩阵公式,而不是最小化问题本身。
常见错误
(各列线性相关时仍使用正规方程的逆)
对 ,两列线性相关, 的行列式为 ,所以 不存在。然而对每个 , 的极小元都存在(这里 是一个数, 有解)。失效的只是公式;正确的工具是下面定义的广义逆。
找回范数最小的输入
定义 4.2.4
(广义逆)
用上述奇异向量, 的广义逆定义为
只对正奇异值取倒数。零矩阵时和为空,。
快速检查
(求 的 。)
取 ,找出 、、。
解答 · 答案
此处 ,所以 、、。因此 。零奇异值不取倒数,没有任何贡献。
定理 4.2.5
(范数最小的最小二乘解)
广义逆满足
全部最小二乘解具有形式 ,其中 ,而 是其中唯一范数最小的解。特别地, 不依赖于奇异向量的选择,包括重复奇异值空间内的选择。
证明
(先是投影,再用输入空间中的勾股定理)
由 得 。由 得 ,所以 。第一个和投影到 的张成空间,即 ;第二个投影到 的张成空间,即 。第一个投影选出最接近且可到达的输出,第二个则去掉映射无法察觉的输入分量。
由上一个定理, 是极小元,当且仅当 ,当且仅当 ,当且仅当 ,其中 。向量 属于 ,故
恰在 时最小。因此范数最小的极小元就是 。这个刻画只涉及 与 ,不涉及奇异向量,所以线性映射 对每种允许的选择都相同。
快速检查
(对 、,求 范数最小的解。)
对单一非零行计算 。
解答 · 答案
此处 、、,所以 ,。检验:,而其余解 的范数平方为 。
概念视角结构
广义逆是限制映射的逆
还可以不借助基来描述: 从 到 的限制是双射。因与核的交集为零,所以是单射;把任意原像分解成核部分与垂直部分,就证明是满射。先把 投影到像上,再用此限制的逆映射,所得恰为 。这说明每个有限维映射都有广义逆,即使普通逆不存在;定义涉及两个不同的空间,而不是同一个方阵。
投影恒等式推出 、,而 、 都是自伴的。这就是四条 Moore–Penrose 恒等式,描述的是正交投影,而不是普通的双侧逆。零矩阵时各和为空,广义逆为零,同样的结论仍然成立。
反例模式
乘积的逆序律
对可逆矩阵有 ,于是有人会预期 。取 、,则 ,。单一非零行或列 满足 ,所以 、。于是 。两个因子都不可逆,逆矩阵的规律在此没有指导作用: 的核与 的像是互不相干的子空间,它们所定义的投影并不对齐。乘积的广义逆必须从乘积本身计算,不能由因子拼出。
例题 4.2.6
(降秩矩阵的完整长方形分解)
设
构造完整的实 SVD,求全部最小二乘解,并证明哪一个范数最小。
解答。 有 、,唯一的正奇异值为 。取
以及
直接计算内积,可检验两组均标准正交。以它们为 的列,并令
便有 。没有向量被零奇异值除,其余的左基向量是通过正交延拓选出的。
广义逆为
像的投影为 ,故最近输出为 。残差为
它与 的内积为零,验证了正规方程及最优性。
核为 ,因此全部最小二乘解是
两项正交,得到
只有 时范数最小。这分清了拟合输出唯一,而拟合输入可以不唯一。
例题 4.2.7
(有精确解,不代表输入唯一)
设
求全部精确解及其中唯一范数最小的解。
解答。 方程给出 ,其中 为实数。范数平方为
所以范数最小的输入是 。核由 张成;所选输入与该向量垂直,独立地验证了上述刻画。
此处各行线性无关,因此
相乘得 。可逆的是 ,而不是奇异的三乘三矩阵 。另有 ,但 是秩为二的投影,不是 。
因为像是整个输出空间,输出可以精确拟合;因为核非零,输入仍然不唯一。零残差决定了可解性,却不决定唯一性。最小范数规则利用正交性选出特定的解,并没有假装原映射是双射。
坐标证明指出哪些量是自由的
写 、,利用酉不变性可得
坐标 完全没有出现。正奇异方向取 ,核坐标任意;把自由坐标设为零,就得到最小的输入范数。
此证明适用于高、方、宽矩阵,也包括降秩情形。它不把输出方向数当作额外的输入变量,也不要求 在像中。未使用的输出坐标决定不可避免的残差;未使用的输入坐标则决定同样好的拟合所构成的整族解。
常见错误
(小残差不能证明输入准确)
某些输入方向可能几乎不被映射察觉,在那里大幅改动,对输出的影响却很小,所以小残差本身不能证明输入准确。下面第三个例题把这一点定量化:数据只改变 ,解却改变 ,而残差完全不变。
定理 4.2.8
(广义逆的范数)
若非零映射的最小正奇异值是 ,则
证明
(在左奇异坐标内估计并取得等号)
在左奇异坐标 内,
取属于 的左奇异向量 可得等号,此时 。故该估计是紧的,不只是方便的上界。对同一固定映射的数据之差使用此不等式,得到 。
投影本身不放大长度,范数至多为一。放大发生在恢复输入坐标时,因为必须除以小的正奇异值。相反,核坐标按最小范数的约定直接设为零,这是不同的操作。零映射的广义逆及范数均为零,不使用最小正奇异值公式。
例题 4.2.9
(数据只改一点,残差却完全相同)
对 设
比较最小范数最小二乘输入,并解释 时的情形。
解答。 奇异值为一与 ,所以
两个输入分别是 、;残差均为 ,范数为一。但数据的改变量范数为 ,输入的改变量范数却为一。令 趋于零,就看到 的放大。
到零时秩发生改变,第二个输入方向成为真正的核方向。广义逆必须把该方向设为零,而不是除以零:
对极限数据 ,全部拟合输入的第一个坐标为一,第二个坐标任意。最小范数的选择是 。正参数下受扰数据的输入 ,即使数据趋于 ,也不趋向该最小范数的选择。
这并不矛盾。秩变化附近的广义逆很敏感。在固定的正奇异方向上,误差按其倒数缩放;奇异值恰好为零时,几何规则改为去掉该方向。
快速检查
(设 。最小二乘输出 唯一吗?输入 唯一吗?)
分别考虑像与核各自的作用。
解答 · 答案
输出必唯一:它是 在 上的投影 。输入唯一当且仅当 ,因为极小元的集合是 。
哪些是内在量,哪些仍有选择?
奇异值由 决定,但奇异向量未必唯一。重复的正奇异值允许在相应的输入、输出子空间内,同时作标准正交换基。核与左零空间的基也可以改变,但两个正交投影与最小范数解的乘积公式不变。
最后保留范数这一假设。加权最小二乘使用指定的输入、输出度量及相应的伴随,不能保留普通转置就直接搬用上述公式。本章处理标准的欧几里得/Hermitian 几何;数值算法、截断阈值及加权实现属于进一步的课题,不是精确证明中隐藏的假设。