5. 重复作用与最小二乘模型

学习目标与准备

我们假设已掌握第 4 章的矩阵、转置、行列式、零空间和逆矩阵。本章把这些工具用于重复变化及没有精确解的系统，计算特征对、核对对角化，并由正交残差推导最小二乘方程。模型例子中的拟合数据和转移表均为假设。

5.1 重复矩阵作用与特征向量

离散线性模型 $x_{n+1}=Ax_n$ 给出 $x_n=A^nx_0$。反复直接相乘有时会掩盖规律。

对 $n\times n$ 方阵 $A$ 和标量 $\lambda$，若非零向量 $v$ 满足 $Av=\lambda v$，则称它为对应的特征向量。相应的特征空间为

$$E_\lambda=\{v:(A-\lambda I)v=0\}=N(A-\lambda I).$$

特征空间是包含零向量的子空间；零向量本身不是特征向量。标量 $\lambda$ 是特征值当且仅当该零空间非零。由可逆性的行列式判据，这又当且仅当

$$p_A(\lambda)=0,\qquad p_A(t)=\det(tI-A).$$

本章使用首一特征多项式 $p_A(t)$。若改用 $\det(A-tI)$，多项式会相差因子 $(-1)^n$，但根及其重数不变。

沿特征向量 $v$，归纳法给出 $A^nv=\lambda^nv$。

例 1：两个简单模式。 令 $A=\begin{pmatrix}2&1\\1&2\end{pmatrix}$。特征方程 $(2-\lambda)^2-1=0$ 给出 $3$ 与 $1$，其特征空间分别是 $(1,1)^T$ 和 $(1,-1)^T$ 的所有倍数。因此

$$A^n\begin{pmatrix}4\\2\end{pmatrix} =3\cdot3^n\begin{pmatrix}1\\1\end{pmatrix}+1\begin{pmatrix}1\\-1\end{pmatrix},$$

因为 $(4,2)^T=3(1,1)^T+(1,-1)^T$。此分解精确给出每次迭代，而不只是极限方向。

5.2 对角化及其局限

若存在可逆实矩阵 $P$ 和实对角矩阵 $D$ 使 $A=PDP^{-1}$，则称实矩阵在 $\mathbb R$ 上可对角化。这等价于存在一组实特征向量基。

先证明正向。将 $A=PDP^{-1}$ 右乘 $P$。在 $AP=PD$ 中，第 $j$ 列表明 $P$ 的第 $j$ 列是特征值为 $D_{jj}$ 的特征向量。由于 $P$ 可逆，这些列构成一组基。反之，将任意特征向量基放入 $P$ 的各列，并把对应特征值按相同顺序放在 $D$ 的对角线上。逐列相乘得到 $AP=PD$，再乘以 $P^{-1}$ 即得对角化。

对两个线性无关特征向量组成的 $P$ 和相应特征值对角矩阵 $D$，由相邻因子 $P^{-1}P$ 消去，

$$A=PDP^{-1},\qquad A^n=PD^nP^{-1}\quad(n\ge0).$$

$n\times n$ 矩阵需要 $n$ 个线性无关特征向量，而不只是按重数计有 $n$ 个根。

对 $J=\begin{pmatrix}1&1\\0&1\end{pmatrix}$，唯一特征值为 $1$，其特征空间是所有 $(t,0)^T$。不能构成两个线性无关特征向量，故不可对角化。直接归纳得 $J^n=\begin{pmatrix}1&n\\0&1\end{pmatrix}$：即使唯一特征值的绝对值为 $1$，重复作用仍可能线性增长。这反驳了“所有特征值绝对值不大于 $1$ 就保证每个迭代收敛”的说法。

5.3 比例转移模型

例 2：有稳定模式的比例。 假设两个非负比例之和为 $1$，并按

$$p_{n+1}=Mp_n,\qquad M=\begin{pmatrix}0.7&0.2\\0.3&0.8\end{pmatrix}$$

变化。每列非负且列和为 $1$，所以输出仍是比例向量。直接计算得特征向量 $(2,3)^T$ 对应特征值 $1$，$(1,-1)^T$ 对应特征值 $0.5$。因此 $p_*=(0.4,0.6)^T$ 是固定比例。

对 $p_0=(s,1-s)^T$、$0\le s\le1$，

$$p_n=p_*+(s-0.4)(0.5)^n(1,-1)^T.$$

等价地，$p_n=(1-0.5^n)p_*+0.5^np_0$；这是凸组合，故分量非负且和为 $1$。由 $0.5^n\to0$，每个这样的初始向量都趋向 $p_*$。这个结论依赖转移表保持固定。

5.4 几何与正交残差

设 $a_1,\ldots,a_n\in\mathbb R^m$ 为 $A$ 的列。假设 $q_1,\ldots,q_r$ 是此前已处理各列的张成空间的一组标准正交基。对下一列 $a_j$，令

$$w=a_j-\sum_{i=1}^r(q_i^Ta_j)q_i.$$

与先前的 $q_\ell$ 取内积，得到

$$q_\ell^Tw=q_\ell^Ta_j-\sum_{i=1}^r(q_i^Ta_j)(q_\ell^Tq_i)=0.$$

有两种情况：若 $w\ne0$，加入 $q_{r+1}=w/\|w\|$；若 $w=0$，则不加入向量，因为新列已是先前方向的线性组合。特别地，不能将零残差除以其范数。开始时使用空向量组，其对应和为零。

用归纳法可证明该过程保持所需张成空间。非零情形下，$w$ 是 $a_j$ 与旧基向量的线性组合，故新向量 $q_{r+1}$ 属于扩大的列张成空间。反过来，

$$a_j=\sum_{i=1}^r(q_i^Ta_j)q_i+\|w\|q_{r+1},$$

所以新列也属于新基向量组的张成空间。零情形下，展示的投影和已经等于 $a_j$，张成空间不变。由上述内积计算及归一化，新向量组仍标准正交。这就同时证明了构造及其张成空间结论，而非仅凭图形推断。

处理完所有列后，最终向量组的长度为 $r=\operatorname{rank}A$。若 $Q$ 由这些列组成，则 $Q^TQ=I_r$ 且

$$A=QB,\qquad B=Q^TA.$$

事实上，$A$ 的每列都属于 $Q$ 的张成空间，而它相对于标准正交基的坐标就是与各 $q_i$ 的内积。矩阵 $B$ 是 $r\times n$ 矩阵。若列线性相关，它不一定是方阵，也不一定是通常意义下的三角矩阵。

若 $A=0$，秩为零，$Q$ 没有列，投影到其列空间的矩阵是零矩阵。无需进行空矩阵乘法也可直接理解这一边界情形。

对任意具有标准正交列的矩阵 $Q$，定义

$$P=QQ^T.$$

对 $b\in\mathbb R^m$，向量 $p=Pb=\sum_i(q_i^Tb)q_i$ 属于该列空间。其残差 $r=b-p$ 满足 $Q^Tr=0$，因此垂直于该空间中的每个向量。若 $z$ 是该空间中的任意其他向量，则 $p-z$ 属于该空间且与 $r$ 正交。因此

$$\|b-z\|^2=\|r+(p-z)\|^2=\|r\|^2+\|p-z\|^2.$$

唯一的最近向量是 $z=p$。唯一性来自第二项恰在 $z=p$ 时为零。这同时证明了投影公式及其最小距离性质。

对非零 $u$ 所张成的直线，取 $q=u/\|u\|$，上面的正交投影公式化为

$$p=\frac{b\cdot u}{u\cdot u}u.$$

例 3：投影。 对 $b=(3,1)^T$、$u=(1,2)^T$，系数为 $(3+2)/(1+4)=1$，故 $p=(1,2)^T$、$r=(2,-1)^T$。核对 $r\cdot u=2-2=0$，最小平方误差为 $5$。

正交归一列表各向量长度为 $1$，且两两点积为零。对这样的列表，到其张成空间的投影为 $\sum_i(q_i\cdot b)q_i$；若不正交归一，这些简单系数一般不适用，应改解相应方程组。

5.5 推导正规方程

给定 $A\in\mathbb R^{m\times n}$ 和 $b\in\mathbb R^m$，最小二乘系数向量是在所有 $x\in\mathbb R^n$ 中使 $\|b-Ax\|^2$ 最小的向量。如果 $Ax=b$ 不相容，这是一种近似准则，不是找到了新的精确解。

系数向量 $\widehat x$ 使误差最小，当且仅当其残差 $r=b-A\widehat x$ 垂直于列空间。先证必要性：固定任意 $h$，在 $\widehat x+th$ 处的误差为

$$\|r-tAh\|^2=\|r\|^2-2t\,r^TAh+t^2\|Ah\|^2.$$

若 $r^TAh\ne0$，则 $Ah\ne0$。取 $t=(r^TAh)/\|Ah\|^2$ 会严格减小误差，与最小性矛盾。因此对每个 $h$ 都有 $r^TAh=0$。为证充分性，这一条件使任意 $h$ 的交叉项为零，所以

$$\|b-A(\widehat x+h)\|^2=\|r\|^2+\|Ah\|^2\ge\|r\|^2.$$

用矩阵记号，垂直条件为

$$A^T(b-A\widehat x)=0,\qquad A^TA\widehat x=A^Tb.$$

这些称为正规方程。无论列是否线性无关，它们都是充要条件。线性无关性是系数唯一所需的条件，而不是这一刻画本身所需的条件。

存在性由投影得到。用考虑秩的过程构造列空间的标准正交基 $Q$。投影向量 $p=QQ^Tb$ 属于列空间，因此按定义至少存在一个 $\widehat x$ 使 $A\widehat x=p$；它就是最小化向量。拟合向量 $p$ 唯一，若某个最小化向量是 $x_0$，那么所有最小化向量恰为

$$x_0+N(A)=\{x_0+h:Ah=0\}.$$

事实上，加入零空间向量不会改变拟合结果；反过来，所有最小化系数都给出同一个唯一的最近拟合向量，所以它们的差位于零空间中。系数唯一当且仅当 $N(A)=\{0\}$，等价于列线性无关。这些结论包括零矩阵：其拟合向量为零，每个系数向量都使固定误差 $\|b\|^2$ 最小。

例 4：拟合直线。 用 $a+bt$ 拟合 $(0,2),(1,2),(2,5)$。设计矩阵各行为 $(1,0),(1,1),(1,2)$，观测列为 $y=(2,2,5)^T$。正规方程为

$$\begin{pmatrix}3&3\\3&5\end{pmatrix}\begin{pmatrix}a\\b\end{pmatrix}=\begin{pmatrix}9\\12\end{pmatrix}.$$

相减得 $2b=3$，再得 $a=3/2$。残差为 $(1/2,-1,1/2)^T$，与每个设计矩阵列的点积都为零。平方误差为 $3/2$。该直线最小化指定的无权竖直误差平方和；改变误差度量或数据尺度可能得到不同拟合。

较大的数值计算中，正交分解方法常比显式形成 $A^TA$ 更可靠。正规方程便于手算推导，但不意味着一种计算算法适用于所有数据。

5.6 分级练习

基础

1. 对例 1 的矩阵验证特征对 $(\lambda,v)=(3,(1,1)^T)$ 和 $(1,(1,-1)^T)$。
2. 求 $\operatorname{diag}(2,4)$ 的全部特征值及特征空间。
3. 将 $(2,0)^T$ 投影到 $(1,1)^T$ 的张成空间。

核心

4. 对 $A=\begin{pmatrix}3&1\\1&3\end{pmatrix}$ 作对角化，并求 $A^n(1,0)^T$。
5. 对例 2 的 $M$ 和 $p_0=(1,0)^T$，用两种方法计算 $p_2$。
6. 用归纳法证明所示 $J^n$ 公式。$J^n(0,1)^T$ 是否收敛？
7. 对 $(0,1),(1,2),(2,4)$ 拟合最小二乘直线，并核对残差。
8. 说明单位向量不一定与另一个单位向量正交，给出明确反例。

综合

9. 设 $A\in\mathbb R^{2\times2}$ 有两个线性无关的实特征向量 $v_1,v_2$，对应实特征值 $\lambda_1,\lambda_2$ 满足 $|\lambda_i|<1$。证明对每个初始向量 $x\in\mathbb R^2$ 都有 $A^nx\to0$。

10. 设 $A=\begin{pmatrix}1&1\\1&1\end{pmatrix}$、$b=(1,3)^T$。求所有最小二乘系数向量，并证明即使系数不唯一，拟合向量仍唯一。

5.7 完整解答

1. 相乘得 $(3,3)^T=3(1,1)^T$ 和 $(1,-1)^T=1(1,-1)^T$。
2. 特征值为 $2,4$，特征空间分别是 $(1,0)^T$ 和 $(0,1)^T$ 的所有倍数。
3. 投影系数为 $2/2=1$，故投影为 $(1,1)^T$，残差 $(1,-1)^T$ 垂直于直线。
4. 特征向量 $(1,1)^T$、$(1,-1)^T$ 对应特征值 $4,2$。以它们为 $P$ 的列，取 $D=\operatorname{diag}(4,2)$，得 $A=PDP^{-1}$。分解 $(1,0)^T=\frac12(1,1)^T+\frac12(1,-1)^T$，因此 $A^n(1,0)^T=((4^n+2^n)/2,(4^n-2^n)/2)^T$。
5. 公式给出 $p_2=(0.4,0.6)^T+0.6(0.25)(1,-1)^T=(0.55,0.45)^T$。直接算得 $p_1=(0.7,0.3)^T$，$Mp_1=(0.49+0.06,0.21+0.24)^T=(0.55,0.45)^T$。
6. 当 $n=0$ 时公式给出 $I$。$\begin{pmatrix}1&n\\0&1\end{pmatrix}$ 乘以 $J$ 得 $\begin{pmatrix}1&n+1\\0&1\end{pmatrix}$，证明归纳步骤。作用于 $(0,1)^T$ 得 $(n,1)^T$，不收敛。
7. 正规方程右侧为 $(7,10)^T$。于是 $3a+3b=7$、$3a+5b=10$，得 $b=3/2$、$a=5/6$。残差为 $(1/6,-1/3,1/6)^T$；其分量和及其与 $(0,1,2)^T$ 的点积均为零，验证正规方程与最优性。
8. 取 $u=(1,0)^T$ 和 $v=(1/\sqrt2,1/\sqrt2)^T$。两者长度都为 $1$，但点积为 $1/\sqrt2\ne0$。单位长度是归一化条件，不是两两夹角条件。
9. 特征向量构成基，故每个 $x$ 可写成 $c_1v_1+c_2v_2$。于是 $A^nx=c_1\lambda_1^nv_1+c_2\lambda_2^nv_2$。两个标量幂都趋零，有限和的每个坐标亦趋零。
10. 每个拟合向量均为 $(s,s)^T$，其中 $s=x_1+x_2$。最小化 $(s-1)^2+(s-3)^2=2(s-2)^2+2$ 得 $s=2$。因此每个 $(t,2-t)^T$ 都是最小二乘系数向量，但它们都给出同一拟合向量 $(2,2)^T$。

小结

存在独立特征基时，特征向量把矩阵的重复作用分解为标量模式；重根本身不保证这种基存在。比例模型需要核对非负性与归一化。正交性刻画最接近的拟合，正规方程表达该条件，列独立性决定系数是否唯一。