矩阵向量代数与行列式

明确底层向量运算，有助于解释应用计算。本章发展矩阵运算和一般行列式，再用一个相关数据模型与一个线性无关坐标模型联系张成、秩、基和可逆性。

1 向量、矩阵与线性变换

向量 $x\in\mathbb R^n$ 是实坐标的有序列表。加法和数乘逐坐标进行。线性组合 $c_1v_1+\cdots+c_kv_k$ 将向量加权相加；它们的张成空间是所有此类组合的集合。若零组合迫使所有系数为零，则向量线性无关。基是线性无关的生成向量组，其长度为维数。

矩阵 $A\in\mathbb R^{m\times n}$ 有 $m$ 行、$n$ 列。加法要求形状相同。矩阵乘向量为 $(Ax)_i=\sum_j a_{ij}x_j$，也就是以 $x_j$ 为系数的列线性组合。因此其像是列空间，其核由给出零的系数组合组成。秩是列空间的维数。

对可相乘的矩阵，$(AB)_{ij}=\sum_k a_{ik}b_{kj}$。展开有限和证明 $(AB)x=A(Bx)$，故乘法表示连续变换。它满足结合律，但一般不满足交换律。转置交换行列指标，并满足 $(AB)^T=B^TA^T$，因为其 $(i,j)$ 元素是矩阵次序反转后的同一有限和。

相关观测。 令 $v_1=(1,0,1)$、$v_2=(0,1,1)$、$v_3=(1,1,2)$。第三个是前两个的和，故秩为 2。要表示 $(3,4,7)$，系数满足 $a+c=3$、$b+c=4$；第三个测量是冗余的。所有表示为 $(a,b,c)=(3-t,4-t,t)$，零空间方向为 $(-1,-1,1)$。线性相关描述信息，而非计算缺陷。

从较小矩阵构造行列式

定义

子矩阵、子式与余因子

设 $A=[a_{ij}]$ 是一个 $n\times n$ 矩阵，其中 $n\ge2$。给定 $1\le i,j\le n$，同时删去第 $i$ 行与第 $j$ 列，所得的 $(n-1)\times(n-1)$ 矩阵记为子矩阵 $A(i\mid j)$。

属于项 $a_{ij}$ 的子式是标量

$$M_{ij}=\det\bigl(A(i\mid j)\bigr)$$

属于项 $a_{ij}$ 的余因子是带符号标量

$$C_{ij}=(-1)^{i+j}M_{ij}$$

符号形成左上角为正的棋盘：

$$\begin{bmatrix} +&-&+&\cdots\\ -&+&-&\cdots\\ +&-&+&\cdots\\ \vdots&\vdots&\vdots&\ddots \end{bmatrix}$$

$A(i\mid j)$ 表示一个矩阵，$M_{ij}$ 是该矩阵的行列式， $C_{ij}=(-1)^{i+j}M_{ij}$ 则是加上符号后的标量。明确区分这三个对象， 就不会把符号错误地乘两次。

定义

行列式的递归定义

对于 $1\times1$ 矩阵 $[a_{11}]$，定义

$$\det([a_{11}])=a_{11}$$

对于 $n>1$ 的 $n\times n$ 矩阵，沿第一行定义

$$\det(A)=\sum_{j=1}^{n}a_{1j}C_{1j} =\sum_{j=1}^{n}(-1)^{1+j}a_{1j}M_{1j}$$

这是定义，还不是关于其他行或列的定理。每个子式的阶数都是 $n-1$， 所以反复使用定义最终会到达 $1\times1$ 基本情形。不需要约定 $0\times0$ 行列式：子矩阵和子式的定义只用于 $n\ge2$。

从递归行列式证明任意余因子展开

设 $A$ 为实 $n\times n$ 矩阵，$n\ge1$，行列式由一阶基例和第一行递归定义。令 $S_n$ 为 $1,\ldots,n$ 的排列集合；定义逆序数 $\operatorname{inv}(\sigma)$ 为满足 $r<s$ 且 $\sigma(r)>\sigma(s)$ 的数对个数，并令 $\operatorname{sgn}(\sigma)=(-1)^{\operatorname{inv}(\sigma)}$。

若 $\sigma(i)=j$，删去位置 $i$ 与值 $j$，保持其余位置及值的相对次序，得到排列 $\tau\in S_{n-1}$。设位置 $i$ 之前有 $u$ 个值小于 $j$；被删去的逆序共有 $(i-1-u)+(j-1-u)=i+j-2-2u$ 个，故

$$\operatorname{sgn}(\sigma)=(-1)^{i+j}\operatorname{sgn}(\tau).$$

定义 $P_n(A)=\sum_{\sigma\in S_n}\operatorname{sgn}(\sigma)\prod_{r=1}^n a_{r,\sigma(r)}$。$n=1$ 时它就是递归行列式。$n>1$ 时，按 $\sigma(1)=j$ 分组并用符号恒等式，得 $P_n(A)=\sum_j(-1)^{1+j}a_{1j}P_{n-1}(A(1\mid j))$。归纳法因而证明 $P_n(A)=\det A$。

现在固定任意行 $i$，将同一有限排列和按 $\sigma(i)=j$ 分组。删除操作与对应子矩阵的全部排列一一对应，因此

$$\det A=\sum_{j=1}^n(-1)^{i+j}a_{ij}\det(A(i\mid j)).$$

固定任意列 $j$ 时，每个排列恰有一个位置 $i$ 满足 $\sigma(i)=j$；按该位置分组即得

$$\det A=\sum_{i=1}^n(-1)^{i+j}a_{ij}\det(A(i\mid j)).$$

两个展开公式均用于 $n\ge2$，没有引入空行列式约定。此证明不预设换行交错规则或行列式乘积定理。

结构规则为何成立

零行、零列与唯一支撑项

定理

有零行或零列时行列式为零

如果方阵的一整行或一整列的每个项都是零，则它的行列式为零。

定理

某行或某列至多有一个非零项

设 $C$ 是 $n\ge2$ 阶方阵。若第 $k$ 行除 $c_{k\ell}$ 外都为零，则

$$\det(C)=c_{k\ell}(-1)^{k+\ell}\det\bigl(C(k\mid\ell)\bigr)$$

若第 $\ell$ 列除 $c_{k\ell}$ 外都为零，也有同一公式。即使 $c_{k\ell}=0$，这个表述仍然成立。

当 $n=1$ 时，含有零行的矩阵就是 $[0]$，按基本定义其行列式为零。当 $n\ge2$ 时，使用任意行展开定理沿该行展开。每一项都含有一个零项作为 因子，所以每一项都为零，因而 $\det(A)=0$。

零列可以用归纳法直接证明，这样能看清零列如何传递。$n=1$ 时，唯一 具有零列的 $1\times1$ 矩阵是 $[0]$，其行列式为零。假设结论对 $n=k$ 成立。设 $(k+1)\times(k+1)$ 矩阵 $C$ 的第 $\ell$ 列全为零， 沿第一行展开。第 $\ell$ 项的因子已经是零。对其余每一项，删去第一 行和某个 $j\ne\ell$ 的列；原来的零列仍在所得 $k\times k$ 子矩阵中， 只是在 $j\lt\ell$ 时列指标向左移动。由归纳假设，每个这样的子矩阵的行列式 都是零，所以整行展开的每一项都为零，得到 $\det(C)=0$。

若某行除一个项外全为零，沿该行展开即可；若某列除一个项外全为零， 沿第 $k$ 行展开。$\ell$ 项保留下来，而对每个 $j\ne\ell$，子矩阵 $C(k\mid j)$ 都继承了原第 $\ell$ 列的零列，因此其行列式为零。最后只 剩下 $c_{k\ell}(-1)^{k+\ell}\det(C(k\mid\ell))$。这正是稀疏行或 列能把计算缩成一个子式的原因。

三角矩阵

定理

三角矩阵定理

若 $T$ 是上三角或下三角矩阵，则

$$\det(T)=t_{11}t_{22}\cdots t_{nn}$$

用 $n$ 作归纳证明上三角情形。$n=1$ 时结论就是行列式的定义。假设 结论对上三角 $k\times k$ 矩阵成立，令 $T$ 为 $k+1$ 阶上三角矩阵。最 后一行除最后一项 $t_{k+1,k+1}$ 外都是零。沿最后一行展开，只有这一项 保留，而且符号 $(-1)^{2k+2}=1$：

$$\det(T)=t_{k+1,k+1}\det\bigl(T(k+1\mid k+1)\bigr)$$

保留下来的子矩阵仍是上三角矩阵，对角线为 $t_{11},\ldots,t_{kk}$。由归纳假设，它的行列式是 $t_{11}\cdots t_{kk}$，于是得到完整的对角线乘积。下三角情形类似但可 沿第一行展开：第一行只可能留下 $t_{11}$，删去第一行第一列后的子矩阵 仍是下三角矩阵，对角线从 $t_{22}$ 到 $t_{nn}$。

固定一行时的多重线性

定理

固定一行时的多重线性

固定除第 $p$ 行外的每一行。若新第 $p$ 行是 $\alpha u+\beta v$，则

$$\det(\text{相同其他各行,但第 }p\text{ 行为 }\alpha u+\beta v) =\alpha\det(\text{相同其他各行,但第 }p\text{ 行为 }u) +\beta\det(\text{相同其他各行,但第 }p\text{ 行为 }v)$$

当 $n=1$ 时，基本定义直接给出

$$\det([\alpha a+\beta b])=\alpha a+\beta b =\alpha\det([a])+\beta\det([b])$$

这就证明了 $1\times1$ 情形。

当 $n\ge2$ 时，固定除第 $p$ 行外的每一行。设矩阵 $A,B,C$ 在这些固定行上完全相同， 而第 $p$ 行满足 $c_p=\alpha a_p+\beta b_p$。对每个列指标 $j$，删 去第 $p$ 行后得到相同的矩阵：

$$A(p\mid j)=B(p\mid j)=C(p\mid j)$$

沿第 $p$ 行展开 $\det(C)$，再用每个项的关系 $c_{pj}=\alpha a_{pj}+\beta b_{pj}$ 和分配律，得到

$$\begin{aligned} \det(C) &=\sum_{j=1}^{n}(\alpha a_{pj}+\beta b_{pj})(-1)^{p+j}\det(C(p\mid j))\\ &=\alpha\det(A)+\beta\det(B) \end{aligned}$$

关键正是其他每一行都固定；同时改变两行是另一条命题。

相邻换行与相同行

定理

若有两行相同，行列式必为零

若一个方阵有两行完全相同，则它的行列式等于 $0$。

设 $A$ 的相邻两行是 $r_q,r_{q+1}$，交换这两行得到 $B$。沿 $A$ 的第 $q$ 行展开，沿 $B$ 中已经移动到第 $q+1$ 行的同一行 $r_q$ 展开。对每个列指标 $j$，两次删去该行后留下的子矩阵次序相同， 但符号相反，因为

$$(-1)^{q+1+j}=-(-1)^{q+j}$$

逐项比较便得 $\det(B)=-\det(A)$。位置 $p\lt q$ 的两行交换可以由 $2(q-p)-1$ 次相邻交换组成，这是奇数次，所以同样会使行列式变号。

若 $A$ 的第 $p$ 行与第 $q$ 行相同，交换它们后矩阵仍是 $A$ 本身。换行 结论于是给出 $\det(A)=-\det(A)$。由于这里的项是实数， $2\det(A)=0$，所以 $\det(A)=0$。这个证明没有调用下一节才会出现的行 替换规则。

指标与计算策略

每一项都要同时保留三个对象：所选项、删去一行一列后得到的子矩阵，以及取该子矩阵行列式所得的子式。先按原矩阵中的行列位置写出棋盘符号，再计算子式。若继续展开子式，应使用子式自己的局部指标；局部指标不会取代外层余因子的符号。

任意行、任意列展开定理使展开线可以有策略地选择。优先选择零多或剩余子式较简单的行或列，并在计算前说明理由。零项会立即删去分支；零子式则必须由它自己的计算证明。第一行递归式定义行列式，任意行列展开则是允许这种计算选择的定理。

行列式乘积来自有限多线性展开

设 $A,B$ 是 $n\ge1$ 阶实方阵，使用已经证明的行列式置换公式、对行的多线性、重复行使行列式为零，以及交换两行改变符号。$AB$ 的第 $i$ 行为 $\sum_{k=1}^na_{ik}B_k$，其中 $B_k$ 为 $B$ 的第 $k$ 行。展开有限多线性式得

$$\det(AB)=\sum_{k_1,\ldots,k_n=1}^n\left(\prod_{i=1}^na_{i k_i}\right)\det(B_{k_1},\ldots,B_{k_n}).$$

有重复指标的元组行列式为零。其余每个元组都是 $1,\ldots,n$ 的一个置换 $\sigma$。反复交换相邻逆序元素，将列表排序；列表若不递增，必存在这种相邻元素。每次交换只去掉二者之间的逆序，其他每个元素与这两个元素的比较总贡献不变，所以恰需 $\operatorname{inv}(\sigma)$ 次交换。行交换规则给出 $\det(B_{\sigma(1)},\ldots,B_{\sigma(n)})=(-1)^{\operatorname{inv}(\sigma)}\det B$。代回有限和，再使用已证的 $A$ 的置换公式，得到 $\det(AB)=(\det A)(\det B)$。没有使用可逆性假设或无穷展开。

伴随恒等式与求逆的连续性

当 $n\ge2$，令 $C_{ij}=(-1)^{i+j}\det(A(i\mid j))$，并定义 $\operatorname{adj}(A)_{ji}=C_{ij}$。$A\operatorname{adj}(A)$ 的 $(i,j)$ 元素为 $\sum_k a_{ik}C_{jk}$。若 $i=j$，行展开使它等于 $\det A$；若 $i\ne j$，它是将第 $j$ 行换成第 $i$ 行后所得矩阵的第 $j$ 行展开：该行的余因子不变，而重复行使行列式为零。因此 $A\operatorname{adj}(A)=(\det A)I$。

排列公式还给出 $\det(A^T)=\det A$：将排列换成其逆排列即可。两者的逆序数相同，因为逆序 $(r,s)$ 与逆排列的逆序 $(\sigma(s),\sigma(r))$ 一一对应，元素乘积在重新编号后也相同。对子矩阵同样适用，故 $\operatorname{adj}(A^T)=(\operatorname{adj} A)^T$。对 $A^T$ 使用第一个恒等式再转置，得到 $\operatorname{adj}(A)A=(\det A)I$。当 $n=1$，定义 $\operatorname{adj}([a])=[1]$，两个恒等式立即成立。

伴随恒等式建立后的非奇异性

已经证明的代数余子式展开与重复行规则给出 $A\operatorname{adj}A=\operatorname{adj}A\,A=(\det A)I$，当 $n=1$ 时约定 $\operatorname{adj}[a]=[1]$。若 $\det A\ne0$，相除即得双侧逆。反之，若 $A$ 可逆，则乘积公式给出 $1=\det I=\det A\det(A^{-1})$，所以 $\det A\ne0$。这里的伴随恒等式有明确选入的先行证明，并非假设每个矩阵均可逆。

2 任意有限维数中的行列式

对方阵 $A$，定义

$$\det A=\sum_{\sigma\in S_n}(-1)^{\operatorname{inv}(\sigma)}\prod_{i=1}^na_{i,\sigma(i)},$$

其中 $\operatorname{inv}(\sigma)$ 计数满足 $\sigma(i)>\sigma(j)$ 的 $i<j$ 对。这个明确的整数计数避免选择对换分解。交换两个行位置，在重新标号的置换和中将逆序数奇偶性改变奇数次，故行列式变号。公式对每一行分别线性，且 $I$ 的行列式为 1。

因此，相等的行使行列式为零；把一行的倍数加到另一行不改变行列式；一行乘 $c$ 会使行列式乘 $c$。三角矩阵行列式等于对角元素乘积，因为其他置换乘积都含有必然为零的元素。

可逆性判据。 方阵可逆当且仅当其行列式非零。

证明。 消元使用的可逆行变换对行列式只产生非零缩放或符号反转。若每个主元都存在，消元达到 $I$，故行列式非零，行变换也构造出逆矩阵。若缺少主元，阶梯形出现零行，行列式为零并留下非零零空间向量。该向量排除逆矩阵的存在。$\square$

行列式只对方阵定义。矩形矩阵可以有满列秩或满行秩，却没有行列式或双侧逆矩阵。

3 完整的线性无关坐标例子

取列向量 $u_1=(1,1,0)$、$u_2=(0,1,1)$、$u_3=(1,0,1)$：

$$A=\begin{pmatrix}1&0&1\\1&1&0\\0&1&1\end{pmatrix},\qquad\det A=2.$$

沿第一行按代数余子式展开得 $1\cdot1+1\cdot1=2$。因此三列构成 $\mathbb R^3$ 的基。解 $A(a,b,c)^T=(x,y,z)^T$ 得

$$a=\frac{x+y-z}{2},\quad b=\frac{-x+y+z}{2},\quad c=\frac{x-y+z}{2}.$$

故 $(3,2,3)$ 在该基下的唯一坐标为 $(1,1,2)$。逆矩阵是以 $(1,1,-1)$、$(-1,1,1)$、$(1,-1,1)$ 为行的矩阵的一半；相乘可验证单位矩阵。该基张成整个空间，而前面的相关列只张成一个平面。

4 内积、欧氏范数与正交性

欧氏内积为 $u\cdot v=\sum_i u_iv_i$，范数为 $\|u\|=\sqrt{u\cdot u}$。正交向量的点积为零。

对刚定义了内积的欧氏空间 $V=\mathbb R^n$，以下估计成立。

定理

Cauchy-Schwarz 不等式

对所有向量 $v,w\in V$，

$$|\langle v,w\rangle|\le\|v\|\,\|w\|.$$

而且等号成立当且仅当 $v$ 与 $w$ 线性相关。

证明

用二次多项式证明

先考虑 $w=0$。此时 Cauchy-Schwarz 的两边同为 $0$，等号立即成立；而 包含零向量的一对向量必定线性相关。因此，不等式和上述等号条件在这个 情形都成立。

现在假设 $w\ne0$，并考虑函数

$$F(t)=\|tw-v\|^2.$$

由于范数平方永远非负，所以对所有实数 $t$ 都有 $F(t)\ge0$。把它展 开得

$$F(t)=t^2\langle w,w\rangle-2t\langle v,w\rangle+\langle v,v\rangle.$$

由于首项系数是 $\|w\|^2>0$，这是一个真正的二次多项式。它对所有实数 都非负，因此其判别式不能为正：

$$4\langle v,w\rangle^2-4\|v\|^2\|w\|^2\le0.$$

于是

$$|\langle v,w\rangle|\le\|v\|\,\|w\|.$$

在 $w\ne0$ 的情形，Cauchy-Schwarz 取等当且仅当判别式为零，也就是 $F(t)$ 有实根。这表示存在某个实数 $t$ 使 $tw-v=0$，所以 $v$ 是 $w$ 的标量倍。反过来，若 $v$ 与 $w$ 线性相关，因 $w\ne0$，可写成 $v=tw$，直接代入便得等号。连同 $w=0$ 的情形，这就证明了完整的等号 条件，包括其中一个或两个向量都是零向量的所有情形。

定理

三角不等式

对所有向量 $u,v\in V$，

$$\|u+v\|\le\|u\|+\|v\|.$$

而且等号成立当且仅当 $u$ 与 $v$ 其中一个是另一个的非负标量倍，包括 其中一个是零向量的情形。

证明

两个估计的等号必须同时成立

这里要追踪连续的两个等号缺口：

$$\langle u,v\rangle\le|\langle u,v\rangle|\le\|u\|\,\|v\|$$

第一个缺口控制内积的符号，第二个控制线性相关性。零向量情形单独处理， 因此不需要在这些情形下归一化。

由

$$\|u+v\|^2 =\langle u+v,u+v\rangle =\|u\|^2+2\langle u,v\rangle+\|v\|^2$$

及 Cauchy-Schwarz，

$$\langle u,v\rangle\le|\langle u,v\rangle|\le\|u\|\,\|v\|,$$

可得

$$\|u+v\|^2\le\|u\|^2+2\|u\|\,\|v\|+\|v\|^2=(\|u\|+\|v\|)^2.$$

两边取平方根便得到

$$\|u+v\|\le\|u\|+\|v\|.$$

要在最后取等，上面一连串的两个估计都必须取等。第一个估计要求 $\langle u,v\rangle=|\langle u,v\rangle|$，即内积非负； Cauchy-Schwarz 的界取等则要求 $u$ 与 $v$ 线性相关。若两个向量都非 零，可写成 $v=\lambda u$，而 $\langle u,v\rangle=\lambda\|u\|^2\ge0$ 迫使 $\lambda\ge0$。若其中 一个是零向量，等号立即成立，而零向量也是另一个向量的非负标量倍。反 过来，直接代入可见，符合这个非负标量倍条件的向量必定取等。因此，两 个非零向量方向相反时虽然会令 Cauchy-Schwarz 取等，却不会令三角不等 式取等。

对非零 $v$，$u$ 沿它的向量分量为 $[(u\cdot v)/(v\cdot v)]v$。减去该分量得到正交残差，因为残差与 $v$ 的点积为零。例如将 $(2,1)$ 投影到 $(1,1)$ 上得 $(3/2,3/2)$，残差为 $(1/2,-1/2)$。这种几何是最小二乘会计章节的基础。

5 分级练习

E1 基础。 对 $A=\begin{pmatrix}1&2\\0&1\end{pmatrix}$、$B=\begin{pmatrix}2&0\\0&1\end{pmatrix}$，计算 $AB$ 和 $BA$。

E2 行列式。 求 $\begin{pmatrix}1&2&3\\0&2&1\\0&0&4\end{pmatrix}$ 的行列式与秩。

E3 相关性。 判断 $(1,0,1),(0,1,1),(2,3,5)$ 是否线性无关，并找出一个非零系数的零组合。

E4 投影。 将 $(1,2,3)$ 投影到 $(1,1,1)$ 张成的直线上，并求残差范数。

6 完整解答

S1. $AB=\begin{pmatrix}2&2\\0&1\end{pmatrix}$，而 $BA=\begin{pmatrix}2&4\\0&1\end{pmatrix}$。不同次序产生不同变换。

S2. 三角矩阵的结构给出行列式 $1\cdot2\cdot4=8$。它非零，故秩为 3，核为零。

S3. 第三个向量等于第一个的两倍加第二个的三倍。因此 $-2v_1-3v_2+v_3=0$ 是非零系数组合；该向量组相关，与前两个向量张成同一个二维平面。

S4. 系数为 $(1+2+3)/3=2$，故投影为 $(2,2,2)$。残差为 $(-1,0,1)$，与直线正交，范数为 $\sqrt2$。

总结

矩阵运算编码线性组合与复合。张成空间和零空间识别可能输出与不可见变化；线性无关和基决定坐标的唯一性。行列式检测方阵可逆性，欧氏内积则提供正交和投影所需的几何。