奇异矩阵或长方形矩阵没有一般的双侧逆,但仍可有良定义的伪逆。奇异值分解把非零奇异值取倒数,并把转置后长方形对角矩阵的其余项设为零,从而构造伪逆;零奇异方向不会被取逆。四条方程可以不依赖所用的具体 SVD,刻画所得矩阵。
头两条方程说明原映射与候选逆如何互相重现,但它们不足以选出伪逆:另外两条要求相关投影为正交投影。我们将从 SVD 证明存在性,再研究这些投影的像、核与正交补,以证明唯一性。
方程及其大小
定义 4.3.1
(Moore–Penrose 方程)
设 ,其中 是有限正整数。若 满足以下方程,便称它满足 的 Moore–Penrose 方程:
和 虽然都是方阵,却作用于不同空间: 作用于 , 作用于 。因此两个转置条件不能互换。对复矩阵,相应刻画使用共轭转置;本章证明实数情况。
若 是可逆方阵,在第一条方程两侧乘以 便得 。若 ,第二条方程迫使 。因此这些方程包括一般逆及秩为零的极端情况。但对一般长方形矩阵, 和 都未必是整个空间上的恒等算子。
从 SVD 证明存在性
定理 4.3.2
(伪逆的存在性)
每个 都有矩阵 :它由完整 SVD 只反转正奇异值得到,并满足全部四条 Moore–Penrose 方程。
证明
(在长方形对角矩阵上验证方程)
取完整奇异值分解 ,其中 和 正交。若 ,长方形对角矩阵 的正对角项为 ,其余项为零。定义 为 长方形对角矩阵,前 个对角项为 ,其余项为零。令
过程没有对零奇异值取倒数。当 , 和 均为零。直接检查长方形对角矩阵得
而 是 对角矩阵,前 项为 1、其余为零; 是相应的 矩阵。两者均对称。在乘积中插入 及 ,便证明 满足全部四条方程。这证明了存在性,包括秩为零及长方形的情况。
对称幂等矩阵的性质
引理 4.3.3
(对称幂等矩阵是正交投影)
若实方阵 满足 且 ,则 ,且 ; 是向 的正交投影。
证明
(把 拆成 )
设实方阵 满足 和 。每个向量都可分解为 。第一项属于 ;第二项因 而属于 。两个子空间互相垂直:若 、,则 。它们的交集为零,因此
所以 是到其像空间的唯一正交投影。分解亦证明唯一性:每个向量只有一个像空间分量,使它与该分量的差垂直于像空间。要称为“正交”投影,对称性不可省略;只有幂等性时只能得到直和分解。
乘积 是到 列空间的正交投影。同样, 投影到正奇异值对应的右奇异向量张成空间,即 。这两个投影通常大小不同,作用的定义域亦不同。
四条方程迫使两个投影出现
命题 4.3.4
(四条方程迫使两个投影出现)
若 对 满足全部四条方程,则 是向 的正交投影, 是向 的正交投影,且 。
证明
(幂等、对称,且像与核正确)
现在任取满足全部四条方程的 。由 ,
再配合转置条件, 和 都是对称幂等矩阵。 的像恰为 :一个包含方向显然,另一方向来自 。因此 是到 的正交投影。
的核恰为 。若 ,则 ;反过来,若 ,则 。因为 是对称幂等矩阵,它是到 的正交投影。特别是,这两个投影由 决定,与一开始选取哪个候选 无关。
我们还须知道 把向量送到哪里。 表示对每个 ,都有 ,所以 。这个包含关系是唯一性论证的关键,不能单凭维数假设它成立。
用限制映射的逆证明唯一性
定理 4.3.5
(伪逆的唯一性)
对每个 ,恰有一个 满足四条 Moore–Penrose 方程。它记作 ,并且不依赖于构造它时所用的 SVD。
证明
(在一个像及其补空间上取值一致的两个矩阵)
把 限制在 ,所得映射双射到 。它是单射:同时属于 和 的向量必为零。它是满射:每个 可分解为 ,其中 ,故 。
若 ,因 是到像空间的投影,便有 ;而 。因此 是 中被 映到 的唯一向量。若 ,则 ,故 ;前述包含关系又使 ,所以 。
每个 都能唯一分解为像空间分量及垂直分量。因此线性性唯一决定整个空间上的 。任何两个满足四条方程的矩阵在两个分量上均相同,故相等。SVD 构造已给出其中一个,因而它是唯一解,记为 ;特别地,不同有效 SVD 选择会得到同一伪逆。
证明透视
每条方程在哪里起作用
第一条方程使 与 幂等,两条转置方程使它们对称;合起来,就把斜向分解变成正交分解。关键一步是包含关系 ,它来自 ,而且不能单靠维数读出。一旦知道 与 是由 决定的投影, 便被确定:它是 的像分量在 中的唯一原像,在垂直分量上则为零。这两个分量张成 ,而 是线性的,论证因而完结。去掉任一条转置方程,投影就未必正交,论证便不成立。
这也解释先前的最小范数结果:对任意 , 是 到列空间的唯一投影,且 。所有最小二乘系数与它只差一个 向量,故由勾股定理, 是唯一范数最小者。四条方程刻画算子;最小范数陈述则描述它对右端的作用。
为何两条方程不足够
反例模式
两条方程不足以确定伪逆
断言:任何满足 与 的 都等于 。这是假的。令 、。直接相乘得 及 ,所以依这两条方程, 是自反广义逆。但 不对称,而且 。它的像/核分解是斜的,不是所需的正交分解。因此只有两条重现方程,不能选出 Moore–Penrose 逆。
亦应区分验证候选伪逆和只求解一个系统:矩阵可能碰巧对某个 给出最小范数答案,却仍不满足四条方程之一。反过来,只要已核对大小正确的四条恒等式,唯一性就证明该矩阵对所有右端均有效。
实际如何检查方程
先写出 与候选 的维数。重现乘积 、 分别与 、 同形;对称性检查则涉及两个大小可能不同的方阵。维数不符已足以否定候选公式。接着分别检查四条恒等式:证明 对称本身不保证 对称,任何一个对称条件也不自动给出两条重现等式。
验证时可利用已知恒等式。例如若 ,便立即得到 及 ,第一个对称条件亦自动成立;仍须检查 对称。只有当显示的乘积确实是单位矩阵,才可使用这个捷径,不能对秩亏矩阵直接假设它。以下例子分别展示秩一长方形情况及满行秩情况。
概念视角结构
伪逆是限制在一对子空间上的逆
唯一性证明给出一个不用方程的描述。 限制在 上是到 的双射,而 就是这个双射在 上的逆,并在 上线性地取 。所以凡是 可以还原的地方, 都还原它; 到不了的部分则被舍去。四条方程正是这句话的矩阵形式。
例题
例题 4.3.6
(秩一长方形矩阵)
设 、。求 、两个投影及对 的最小范数最小二乘系数。
解答。 写成 ,其中 、。两者范数平方分别为 6 和 5,故唯一正奇异值为 ,并有
两个乘积为
它们分别是到 和 的对称投影。由所示秩一乘积可得 、,故四条方程均成立。对 ,有 ,拟合向量为 。残差是 ,与 正交,其范数平方为 。系数与 正交,确认它的范数最小。
例题 4.3.7
(满行秩方程组)
设 、。求一个伪逆及范数最小的精确解。
解答。 此处 可逆。令
相乘得 ,以及
第二个矩阵对称,因此 、,两个对称条件也成立。由唯一性,。向量 满足 。核由 张成,与此解垂直,故它是范数最小的精确解。涉及 的公式在此适用,因为已验证满行秩;它不是任意矩阵的通用公式。
例题 4.3.8
(零矩阵:秩为零的边界情形)
令 为 零矩阵。没有正奇异值,所以 是 零矩阵, 也是 零矩阵。四条方程全部成立:、,而 与 分别是 与 零矩阵,自然对称。 的形状是 的转置形状,在这里是第二条方程 迫使 。
常见错误与细节
常见错误
(未检查秩就使用逆矩阵公式)
公式 与 分别只在 满列秩与满行秩时有效。对 , 是奇异的,但 仍然存在。
常见错误
(只检查一个对称条件便当作完成)
当 时, 与 是大小不同的方阵。 对称并不说明 对称:对 及 ,有 ,它自动对称,但仍须检查大小为 的 。
习题
快速检查
(求 的 。)
只反转非零的对角元。
解答 · 答案
。此时 对称,且 、。
快速检查
(若 的各列标准正交,证明 。)
对 检查四条方程。
解答 · 答案
各列标准正交即 。于是 、, 对称, 也对称。由唯一性,。
快速检查
(求行矩阵 的 。)
可写成 ,其中 、,或用 。
解答 · 答案
可逆,所以 。确实 ,而 对称。