矩阵既是行和列的集合,也是一个从输入空间到输出空间的映射。四个子空间描述它失去什么信息、能产生什么输出。其中两个位于输入空间,另两个位于输出空间。它们的正交关系不仅解释秩与零度,也解释为何一个向量可以证明方程组无解。
本章在实数域上使用通常点积。正交补陈述使用此内积;相应复数结果需要共轭转置。这里利用投影解释四个子空间。
四个空间,两个环境空间
设 ,。我们将 的每一行转置,视为 中的列向量。
定义 9.5.1
(四个基本子空间)
的四个基本子空间是
最后一个称为左零空间:向量 属于它,当且仅当 。
的一行有 个分量,一列有 个分量;先写出环境空间,可避免尝试对长度不相容的向量取点积。即使 ,行空间和列空间也不一定是相同子空间。
列空间由所有输出 组成,核由所有被映到零的输入组成。行空间记录各行测量的线性组合;左零空间记录这些测量之间的线性关系,因为 表示以 为系数的各行加权和为零。
行空间与核
定理 9.5.2
(行空间是核的正交补)
对每个 ,在 的通常点积下,
因此每个 都有唯一分解 ,其中 、。
证明
(一个方向用点积,另一个方向数维数)
若 ,则 的每一行与 的点积均为零,因为这些点积正是 的各个分量。各行的任何线性组合因此也垂直于 ,所以 。
反方向使用维数。秩—零度定理给出 。可把核的标准正交基扩充为 的标准正交基;新增向量构成正交补的基。因此 。根据行秩等于列秩的定理,行空间维数也是 。一个子空间包含于另一个同有限维数的子空间时,两者相等,故得结论。行秩与列秩相等是另一条定理,可用秩分解证明;我们并非只因行与列外观相似而推论它。
至于分解:取 ,则 ,而 。
证明透视
哪一步用到哪个假设
这个证明的两半性质很不相同。包含关系 只是一行计算: 的第 个分量就是第 行与 的点积。除了算术之外,它不用 的任何性质。
反向包含不能逐个元素去做,因为没有办法从一个垂直于核的向量直接造出行空间的元素。证明改为夹逼:证明两个子空间有相同的有限维数 ,而一个子空间若与整个空间维数相同便是整个空间。两个数目来自不同来源。 来自秩—零度定理,要把它变成 ,必须用标准正交基,也就是正定的内积;行空间维数等于 则需要行秩等于列秩。两个维数计算缺一,论证便只停在包含关系。
证明能收尾,是因为两个空间都是有限维。正定性并非装饰:若某个双线性型容许非零向量与自身垂直,就会有 ,分解 便失效,“常见错误”一节的反例就是这样。
由此得到有用结论:每个输入都有唯一正交分解
作用 后第二个分量消失,即 。因此行空间分量包含此映射能从输入取得的全部信息;非零核分量确实改变了输入,却不改变输出。
概念视角几何
核是超平面的交
把 的各行写成 。每个方程 描述一个过原点、法向量为 的超平面(若 则是整个 )。核就是这 个超平面的交;垂直于核的向量恰是各法向量 的线性组合。因此 的意思是:一族过原点的超平面,其法向量张成的空间,就是它们公共交集的正交补。对 ,核是 中的直线 ,行空间是由 张成的垂直直线。
列空间与左核
定理 9.5.3
(列空间、左零空间与四个维数)
设 的秩为 ,则
并且
每个 都有唯一分解 ,其中 、。
证明
(对转置应用行空间恒等式)
的行空间是 ,核是 。对 应用上一个定理,便得 ,等价于 ,以及 的唯一分解。由于行秩等于列秩, 的秩也是 ;它的定义域是 ,所以秩—零度定理给出 。其余三个维数已在上面得出。
第一个分量 是 到可达输出的正交投影;第二个分量与每个可达输出垂直。 的公式是对 使用秩—零度定理,此时必须用到行秩与列秩相等。公式也包括零矩阵:其行空间和列空间均为零,两个核则是各自的整个环境空间。
两个分解位于不同空间。图示中把行空间配对核、把列空间配对左零空间,只在清楚标示箭头定义域时才有帮助。
概念视角结构
矩阵的可逆部分
把 限制在 上。这个限制映到整个 ,因为对每个 都有 。它是单射,因为 :与自身垂直的向量必为零。两个空间的维数都是 。所以 就是两个 维空间之间的可逆映射,再加上输入端被舍弃的核,以及输出端永远达不到的左核。
相容性与无解证明
定理 9.5.4
(无解的证明向量)
方程组 有解,当且仅当
等价地,下面两种情形恰有一种成立: 有解;或存在 使 且 。
证明
(左核向量看不见列空间)
方程组有解当且仅当 ;由上一个定理,,这就是上述条件。
若某个 满足 ,却有 ,则 不可能成立:因为若 ,则 ,产生矛盾。反过来,若 不在列空间,其非零左核分量 就是这样的证明向量:。
这里严格大于零用到实数欧氏(Euclid)内积,不是任意域上纯形式的转置结论。有限维投影论证也说明为何任意检查几个左核向量并不足够:它们必须张成整个左零空间。一组基给出有限多个标量条件;若全部成立,它们的线性组合也会与 正交。
若 相容,选一个解 ,所有解都形如 ,其中 。从 中去掉核分量,便得到唯一位于 的解。由正交性,它也是范数最小解:加入任何非零核向量,范数平方都增加该向量的范数平方。若 不相容,同一构造解的是 ,并得到范数最小的最小二乘系数。这是投影定理的解释,并非声称 因而变得相容。
如何求基而不混淆空间
把 化至 RREF。其非零行转置后构成行空间的基,因为行变换保持行空间。解化简后的齐次方程可得 的基。主元位置指出线性无关的列,但原来列空间的基必须使用 的相应列,不能用 RREF 的列,因为行变换可能改变列空间本身。
要求左零空间,可解 ;等价地,找出原来各行之间的所有线性关系。用 、、、 检查维数。这些数目只是检查,不能代替证明所列向量确实属于相应空间且线性无关。秩为零时,行空间和列空间都是零子空间,各自以空集为基;满行秩或满列秩时,相应的核的基可能为空。
例题
例题 9.5.5
(相容性证明向量)
设 。求四个子空间的基,并判断 和 是否可达。
第二行是第一行的两倍,故 ,行空间的基可取 。方程 给出核的基 。第一列给出列空间的基 。解 得左核的基 。各维数是 ,与 、 一致。
对 ,左核点积 ;事实上 ,所有解为
对 ,。同一左核向量证明它不相容;知道这个证明向量后,不需要再对增广矩阵做行化简。
例题 9.5.6
(分解输入与输出)
设 。求四个子空间的基,将 分解为行空间及核分量,并求 到列空间的投影。
第三行是前两行之和,而前两行线性无关,故 ;行空间的基为 、。解 得核的基 、。前两列 、 是列空间的基;其余列分别是 和 。左零空间由 张成。
把行空间分量写为 。要求 与两个基向量均正交,得到
因此 ,。两者之和为 ;直接相乘得 。
对输出,、,所以 ,故 。非零左核分量证明 不相容;它也是拟合输出的最小二乘残差。输入 被映到 ,所有最小二乘系数由加上述核向量的线性组合得到。
例题 9.5.7
(列满秩:平凡的核)
设 ,故 、。两列线性无关,所以 :行空间是整个 , 以空集为基。列空间是由 和 张成的平面, 的维数为 。解 ,即 与 ,得基向量 。
试 :,所以 可达;事实上 ,即 。对 ,,所以 无解。由于核是平凡的, 的解是唯一的:没有核分量可加。对 的最小二乘问题,因 ,有 ,。
常见错误
常见错误
(从化简后的矩阵取列空间)
设 , 是交换 两行所得。两者的行空间相同,都由 张成;但列空间是不同的坐标轴:,。行变换保持行空间和秩,却不保持列空间作为集合。因此 的基必须取原矩阵的主元列。
常见错误
(把核与列空间配对)
对 ,核在 中,列空间在 中,问两者是否垂直根本没有意义。真正的正交配对是输入空间中的 ,以及输出空间中的 。
常见错误
(维数取错空间)
左零空间的维数是 ,不是 。对秩为 的 矩阵,核的维数是 ,左零空间的维数却是 。 等于 ,而 等于 。
第一个定理同样需要实内积,下面的例子说明它不能舍弃。
反例模式
在复数域用不加共轭的点积,分解会失效
断言:对每个矩阵 ,不论标量是什么,每个输入都可分解为 。取复矩阵 ,并用不加共轭的双线性点积 。向量 满足 ,所以 ;而 是 的行,所以 。两个空间的维数都是 ,所以都等于直线 。和 就是这条直线,它不含 ,因为 不可能成立。所以 没有分解 。修正的办法是改用共轭转置,使 ,非零向量不会与自身垂直;或者如定理所述只用实向量。
即时检查
快速检查
(矩阵 为 ,秩为 。写出四个基本子空间各自的维数及所在的环境空间。)
取 、、。
解答 · 答案
,维数 ;,维数 ;,维数 ;,维数 。
快速检查
(对 ,找一个向量 ,证明 不在列空间中。)
解 ,再检验 。
解答 · 答案
,由 得 。于是 。若 有解,则 ;故 不可达。事实上 的每个输出的两个分量都相等。
快速检查
(对 ,把 分解为行空间分量与核分量。)
行空间由 张成,核由 张成。
解答 · 答案
解 :、,故 。所以 ,。两个分量互相垂直,因为 ;而且 。