唯一算出的分摊结果仍可能对微小数据变化反应强烈。可逆性回答是否存在精确逆;条件性询问误差可能被放大多少。分开这两个问题,才能避免把数学上有效的求解误认为稳健估计。
有限消元必停止,并保持解集
设 A ∈ R m × n A\in\mathbb R^{m\times n} A ∈ R m × n 、b ∈ R m b\in\mathbb R^m b ∈ R m ,其中 m , n m,n m , n 是有限正整数。允许的行变换为交换不同的两行、以非零标量乘一行,以及把一行的标量倍加到另一行。逆变换分别为同一交换、乘以倒数,以及减去该倍数。因此对整个增广阵施行变换恰好保持 A x = b Ax=b A x = b 的解集:新方程由旧方程推出,逆变换给出反向蕴含。每个行变换也等于左乘把同一变换施于单位矩阵所得的可逆初等矩阵。
从左到右扫描系数列,并记录下一未使用行。若当前列在未使用行中有非零元素,就将其所在行交换到下一位置,除以非零主元,再从其余各行减去适当倍数,清空该列其他元素,然后推进未使用行指标。若该列所有未使用位置都是零,就跳过该列。先前主元列始终是单位列:当前未使用行在这些列均为零,所以新主元行以及后续减法保留这些零与原主元。总共只有 n n n 次列扫描及至多 min ( m , n ) \min(m,n) min ( m , n ) 个主元,每次只作有限个行变换,故算法必停止。最后非零系数行的主元列依次递增,各主元上下均为零,其余系数行全零。这证明下面使用的简化阶梯形确实能得到,而非假设它最终出现。
解的分类与齐次自由度
令 r r r 为系数部分的主元数。若某个零系数行对应非零变换后右端,就出现不可能的方程 0 = c 0=c 0 = c ,因此无解。否则任意指定 n − r n-r n − r 个非主元变量的实数值。每个主元行都把其主元变量写成变换后右端减去自由变量的已知线性组合,其中没有其他主元变量。这些公式既构造解,也恢复每一个解。若 r = n r=n r = n ,解唯一;若 r < n r<n r < n ,改变自由变量就改变解向量,故有无穷多解。
对 A z = 0 Az=0 A z = 0 ,全部自由变量取零给出零解。若 r < n r<n r < n ,将一个自由变量设为一,其余设为零,再按主元公式求解,就构造出非零齐次解;若 r = n r=n r = n ,公式迫使所有齐次变量为零。对相容系统固定一个解 x p x_p x p ,两解相减表明每个解均为 x p + z x_p+z x p + z ,其中 A z = 0 Az=0 A z = 0 ;代入又证明反向包含。
当 A A A 为方阵且每列都有主元时,系数阶梯形为 I I I 。有限个初等矩阵之积 E E E 满足 E A = I EA=I E A = I 。因为 E E E 可逆,A = E − 1 A=E^{-1} A = E − 1 ,故也有 A E = I AE=I A E = I ,所以 E E E 是双侧逆。若缺少主元,上面构造的非零齐次解排除可逆性。这也证明可逆时,对 [ A ∣ I ] [A\mid I] [ A ∣ I ] 作相同行变换会得到 [ I ∣ A − 1 ] [I\mid A^{-1}] [ I ∣ A − 1 ] 。
1 逆矩阵与消元
方阵 A A A 的逆是满足 A B = B A = I AB=BA=I A B = B A = I 的矩阵 B B B 。它唯一:若 B , C B,C B , C 都是逆,则 B = B ( A C ) = ( B A ) C = C B=B(AC)=(BA)C=C B = B ( A C ) = ( B A ) C = C 。若 A A A 和 B B B 可逆,( A B ) − 1 = B − 1 A − 1 (AB)^{-1}=B^{-1}A^{-1} ( A B ) − 1 = B − 1 A − 1 ,可通过两个次序的相乘验证。次序反转是因为逆运算必须先撤销最后一个操作。
行变换是左乘可逆初等矩阵。若消元通过乘积 E E E 将 A A A 化为 I I I ,则 E A = I EA=I E A = I 、E = A − 1 E=A^{-1} E = A − 1 。对 [ A ∣ I ] [A\mid I] [ A ∣ I ] 使用相同行变换得到 [ I ∣ A − 1 ] [I\mid A^{-1}] [ I ∣ A − 1 ] 。
若缺少主元,则齐次方程 A z = 0 Az=0 A z = 0 存在非零解 z z z ,从而排除可逆性。
对 2 × 2 2\times2 2 × 2 矩阵,
A = ( a b c d ) , A − 1 = 1 a d − b c ( d − b − c a ) A=\begin{pmatrix}a&b\\c&d\end{pmatrix},\qquad
A^{-1}=\frac1{ad-bc}\begin{pmatrix}d&-b\\-c&a\end{pmatrix} A = ( a c b d ) , A − 1 = a d − b c 1 ( d − c − b a )
当 a d − b c ≠ 0 ad-bc\ne0 a d − b c = 0 时成立。直接相乘在相除前得到 ( a d − b c ) I (ad-bc)I ( a d − b c ) I ,证明公式。当 a d − b c = 0 ad-bc=0 a d − b c = 0 ,行化简或明确的列相依论证表明矩阵奇异。标量 a d − b c ad-bc a d − b c 是行列式。小行列式本身不是与尺度无关的病态程度指标:0.001 I 0.001I 0.001 I 的行列式小,但完全保持相对输入误差。
2 接近奇异规则的相互分摊
当 1 − α β ≠ 0 1-\alpha\beta\ne0 1 − α β = 0 ,方程 a = d A + α b a=d_A+\alpha b a = d A + α b 、b = d B + β a b=d_B+\beta a b = d B + β a 的系数矩阵及其逆为
A = ( 1 − α − β 1 ) , A − 1 = 1 1 − α β ( 1 α β 1 ) . A=\begin{pmatrix}1&-\alpha\\-\beta&1\end{pmatrix},\qquad
A^{-1}=\frac1{1-\alpha\beta}\begin{pmatrix}1&\alpha\\\beta&1\end{pmatrix}. A = ( 1 − β − α 1 ) , A − 1 = 1 − α β 1 ( 1 β α 1 ) .
当 α , β ≥ 0 \alpha,\beta\ge0 α , β ≥ 0 且 α β < 1 \alpha\beta<1 α β < 1 ,非负直接成本给出非负总额。分母也说明接近完全相互回收的规则为何可能产生很大的总额。若 α = β = 0.99 \alpha=\beta=0.99 α = β = 0.99 且直接成本为 ( 1 , 1 ) (1,1) ( 1 , 1 ) ,总额为 ( 100 , 100 ) (100,100) ( 100 , 100 ) ;每项直接成本增加 0.01,使每项总额增加 1。
这是绝对 变化放大 100 倍,但本例相对变化并未放大 100 倍:直接和总成本都增加 1%。相对敏感性取决于方向和基准状态。总额还包含重复内部服务,不应视为新增外部支出。
3 范数与相对误差界
向量的 ∥ x ∥ ∞ = max i ∣ x i ∣ \|x\|_\infty=\max_i|x_i| ∥ x ∥ ∞ = max i ∣ x i ∣ 。其诱导矩阵范数是最大绝对行和 ∥ A ∥ ∞ = max i ∑ j ∣ a i j ∣ \|A\|_\infty=\max_i\sum_j|a_{ij}| ∥ A ∥ ∞ = max i ∑ j ∣ a ij ∣ 。逐行估计点积给出 ∥ A x ∥ ∞ ≤ ∥ A ∥ ∞ ∥ x ∥ ∞ \|Ax\|_\infty\le\|A\|_\infty\|x\|_\infty ∥ A x ∥ ∞ ≤ ∥ A ∥ ∞ ∥ x ∥ ∞ 。诱导范数次乘性来自两次使用向量界:∥ A B x ∥ ≤ ∥ A ∥ ∥ B ∥ ∥ x ∥ \|ABx\|\le\|A\|\|B\|\|x\| ∥ A B x ∥ ≤ ∥ A ∥∥ B ∥∥ x ∥ 。
若 A x = b Ax=b A x = b ,A A A 不变而数据改变 δ b \delta b δ b ,则 δ x = A − 1 δ b \delta x=A^{-1}\delta b δ x = A − 1 δ b 。对非零 b b b ,
∥ δ x ∥ ∥ x ∥ ≤ κ ( A ) ∥ δ b ∥ ∥ b ∥ , κ ( A ) = ∥ A ∥ ∥ A − 1 ∥ . \frac{\|\delta x\|}{\|x\|}\le\kappa(A)\frac{\|\delta b\|}{\|b\|},\qquad
\kappa(A)=\|A\|\|A^{-1}\|. ∥ x ∥ ∥ δ x ∥ ≤ κ ( A ) ∥ b ∥ ∥ δ b ∥ , κ ( A ) = ∥ A ∥∥ A − 1 ∥.
证明。 前述界给出 ∥ δ x ∥ ≤ ∥ A − 1 ∥ ∥ δ b ∥ \|\delta x\|\le\|A^{-1}\|\|\delta b\| ∥ δ x ∥ ≤ ∥ A − 1 ∥∥ δ b ∥ 。又 ∥ b ∥ = ∥ A x ∥ ≤ ∥ A ∥ ∥ x ∥ \|b\|=\|Ax\|\le\|A\|\|x\| ∥ b ∥ = ∥ A x ∥ ≤ ∥ A ∥∥ x ∥ ,所以 1 / ∥ x ∥ ≤ ∥ A ∥ / ∥ b ∥ 1/\|x\|\le\|A\|/\|b\| 1/∥ x ∥ ≤ ∥ A ∥/∥ b ∥ 。将两式相乘。□ \square □
条件数是最坏情况的界,不代表每个扰动都取等。由 1 = ∥ I ∥ ≤ ∥ A ∥ ∥ A − 1 ∥ 1=\|I\|\le\|A\|\|A^{-1}\| 1 = ∥ I ∥ ≤ ∥ A ∥∥ A − 1 ∥ ,它至少为 1。实际解释也依赖观测和未知量所选的单位及缩放。
例。 取 A = diag ( 1 , 0.01 ) A=\operatorname{diag}(1,0.01) A = diag ( 1 , 0.01 ) 、b = ( 1 , 0.01 ) b=(1,0.01) b = ( 1 , 0.01 ) ,得到 x = ( 1 , 1 ) x=(1,1) x = ( 1 , 1 ) 。数据扰动 ( 0 , 0.001 ) (0,0.001) ( 0 , 0.001 ) 使 x x x 变化 ( 0 , 0.1 ) (0,0.1) ( 0 , 0.1 ) 。在无穷范数下,数据相对变化为 0.001,解的相对变化为 0.1,且 κ ∞ ( A ) = 100 \kappa_\infty(A)=100 κ ∞ ( A ) = 100 。此处达到该界。
诱导无穷范数也达到所声称的下界
设 m , n m,n m , n 为有限正整数,A ∈ R m × n A\in\mathbb R^{m\times n} A ∈ R m × n ,记 R = max i ∑ j ∣ a i j ∣ R=\max_i\sum_j|a_{ij}| R = max i ∑ j ∣ a ij ∣ 。向量范数 ∥ x ∥ ∞ = max j ∣ x j ∣ \|x\|_\infty=\max_j|x_j| ∥ x ∥ ∞ = max j ∣ x j ∣ 在非零处为正且绝对齐次,逐坐标不等式 ∣ x j + y j ∣ ≤ ∣ x j ∣ + ∣ y j ∣ |x_j+y_j|\le|x_j|+|y_j| ∣ x j + y j ∣ ≤ ∣ x j ∣ + ∣ y j ∣ 还证明其三角不等式。将诱导矩阵范数定义为 sup x ≠ 0 ∥ A x ∥ ∞ / ∥ x ∥ ∞ \sup_{x\ne0}\|Ax\|_\infty/\|x\|_\infty sup x = 0 ∥ A x ∥ ∞ /∥ x ∥ ∞ 。每行满足 ∣ ( A x ) i ∣ ≤ ∑ j ∣ a i j ∣ ∥ x ∥ ∞ |(Ax)_i|\le\sum_j|a_{ij}|\|x\|_\infty ∣ ( A x ) i ∣ ≤ ∑ j ∣ a ij ∣∥ x ∥ ∞ ,所以该上确界至多为 R R R 。
若 R = 0 R=0 R = 0 ,所有元素为零,上确界为零。若 R > 0 R>0 R > 0 ,选取达到有限最大值的一行 i ∗ i_* i ∗ :当 a i ∗ j > 0 a_{i_*j}>0 a i ∗ j > 0 时令 x j = 1 x_j=1 x j = 1 ,当其为负时令 x j = − 1 x_j=-1 x j = − 1 ,其余令 x j = 0 x_j=0 x j = 0 。该向量至少一个分量的模为一,故 ∥ x ∥ ∞ = 1 \|x\|_\infty=1 ∥ x ∥ ∞ = 1 ,并且 ( A x ) i ∗ = ∑ j ∣ a i ∗ j ∣ = R (Ax)_{i_*}=\sum_j|a_{i_*j}|=R ( A x ) i ∗ = ∑ j ∣ a i ∗ j ∣ = R 。所以上确界至少为 R R R ,证明 ∥ A ∥ ∞ = R \|A\|_\infty=R ∥ A ∥ ∞ = R 。这里明确构造了达到界的符号向量;单有上界估计不能证明等式。
任意实诱导范数下收敛的矩阵几何级数
有限实坐标空间的任意范数为何完备
固定整数 n ≥ 1 n\ge1 n ≥ 1 ,在 R n \mathbb R^n R n 上使用欧几里得范数。集合若包含在某个有限半径的球内,就称为有界 ;若补集是开集,就称为闭集 ;若它的每个由 R n \mathbb R^n R n 中开集组成的覆盖都有有限子覆盖,就称为紧集 。我们使用实数完备性,包括闭区间套性质。
有限维欧几里得空间的 Heine–Borel 定理
定理。 集合 K ⊆ R n K\subseteq\mathbb R^n K ⊆ R n 紧致,当且仅当它闭且有界。空集具有这三种性质。
紧致推出有界。 开球 B ( 0 , m ) B(0,m) B ( 0 , m ) (整数 m ≥ 1 m\ge1 m ≥ 1 )覆盖 K K K 。取有限子覆盖后,K K K 包含在其中最大的球内。
紧致推出闭。 设 K ≠ ∅ K\ne\varnothing K = ∅ 且 y ∉ K y\notin K y ∈ / K 。开球 B ( x , ∥ x − y ∥ / 2 ) B(x,\|x-y\|/2) B ( x , ∥ x − y ∥/2 ) (x ∈ K x\in K x ∈ K )覆盖 K K K 。取中心为 x 1 , … , x r x_1,\ldots,x_r x 1 , … , x r 的有限子覆盖,令 δ = min i ∥ x i − y ∥ / 2 > 0 \delta=\min_i\|x_i-y\|/2>0 δ = min i ∥ x i − y ∥/2 > 0 。若 z z z 在以 x i x_i x i 为中心的所选球内,三角不等式给出 ∥ z − y ∥ > ∥ x i − y ∥ / 2 ≥ δ \|z-y\|>\|x_i-y\|/2\ge\delta ∥ z − y ∥ > ∥ x i − y ∥/2 ≥ δ 。所以 B ( y , δ ) B(y,\delta) B ( y , δ ) 不与 K K K 相交,补集是开集。
闭且有界推出紧致。 设非空的 K K K 闭且有界,把它包含在闭立方体 Q 0 = [ − M , M ] n Q_0=[-M,M]^n Q 0 = [ − M , M ] n 内,其中 M > 0 M>0 M > 0 。假设 K K K 的某个开覆盖没有有限子覆盖。把每个坐标区间分成两个闭半区间,所得 2 n 2^n 2 n 个闭子立方体覆盖 Q 0 Q_0 Q 0 。至少一个子立方体与 K K K 的交集不能由给定覆盖族有限覆盖;否则把有限多个有限子覆盖合并,就能覆盖 K K K 。选取这样的子立方体并重复,得到闭立方体套 Q j Q_j Q j ,其边长为 2 M / 2 j 2M/2^j 2 M / 2 j ,且 K ∩ Q j K\cap Q_j K ∩ Q j 不能被有限覆盖,因而非空。
对每个坐标使用闭区间套性质,得到公共坐标值;合起来得到 p ∈ ⋂ j Q j p\in\bigcap_jQ_j p ∈ ⋂ j Q j 。Q j Q_j Q j 中任意两点的距离不超过 2 M n / 2 j 2M\sqrt n/2^j 2 M n / 2 j ,所以交集中只有 p p p 。选取 x j ∈ K ∩ Q j x_j\in K\cap Q_j x j ∈ K ∩ Q j ,则 ∥ x j − p ∥ ≤ 2 M n / 2 j → 0 \|x_j-p\|\le2M\sqrt n/2^j\to0 ∥ x j − p ∥ ≤ 2 M n / 2 j → 0 。闭集包含这种极限:若 p p p 在开补集中,p p p 周围某个开球就会使最终的 x j x_j x j 落在 K K K 外,矛盾。因此 p ∈ K p\in K p ∈ K 。
覆盖中有一个成员 O O O 含 p p p ,由开放性,存在 ε > 0 \varepsilon>0 ε > 0 使 B ( p , ε ) ⊆ O B(p,\varepsilon)\subseteq O B ( p , ε ) ⊆ O 。当 j j j 足够大时,Q j Q_j Q j 的每点到 p p p 的距离都小于 ε \varepsilon ε ,于是单个 O O O 就覆盖 K ∩ Q j K\cap Q_j K ∩ Q j ,与 Q j Q_j Q j 的选取矛盾。因此每个开覆盖都有有限子覆盖。这里 2 n 2^n 2 n 是有限数;若改成无限多个子块,这个论证就不再成立。
连续像与极值
定理。 若 K ⊆ R n K\subseteq\mathbb R^n K ⊆ R n 紧致,且 F : K → R m F:K\to\mathbb R^m F : K → R m 相对于 K K K 连续,则 F ( K ) F(K) F ( K ) 紧致。特别地,非空紧集 K K K 上的连续函数 f : K → R f:K\to\mathbb R f : K → R 有界,并达到最大值和最小值。
证明。 F ( K ) F(K) F ( K ) 的开覆盖 ( O i ) (O_i) ( O i ) 的原像是相对开集 F − 1 ( O i ) = K ∩ U i F^{-1}(O_i)=K\cap U_i F − 1 ( O i ) = K ∩ U i ,其中 U i U_i U i 在 R n \mathbb R^n R n 中开。这些 U i U_i U i 覆盖 K K K ,所以有限多个足够。对应的 O i O_i O i 覆盖 F ( K ) F(K) F ( K ) ,证明了像的紧致性。对标量函数 f f f ,由已证明定理的一维情形,其像非空、闭且有界。令 a = sup f ( K ) a=\sup f(K) a = sup f ( K ) 。对每个 j ≥ 1 j\ge1 j ≥ 1 ,由上确界定义,可取 y j ∈ f ( K ) y_j\in f(K) y j ∈ f ( K ) 使 a − 1 / j < y j ≤ a a-1/j<y_j\le a a − 1/ j < y j ≤ a 。于是 y j → a y_j\to a y j → a ,闭性使 a a a 属于像,所以最大值可达。对 − f -f − f 使用同一论证即得最小值。该结论证明存在性,而不提供极大点的计算公式。
设 d ≥ 1 d\ge1 d ≥ 1 有限,N N N 是 R d \mathbb R^d R d 上任意范数:除零向量外为正,绝对齐次,并满足三角不等式。记标准坐标向量为 e j e_j e j ,欧氏范数为 ∥ x ∥ 2 = ( ∑ j x j 2 ) 1 / 2 \|x\|_2=(\sum_jx_j^2)^{1/2} ∥ x ∥ 2 = ( ∑ j x j 2 ) 1/2 ,令 C = ∑ j = 1 d N ( e j ) > 0 C=\sum_{j=1}^dN(e_j)>0 C = ∑ j = 1 d N ( e j ) > 0 。按标准基展开,得到
N ( x ) ≤ ∑ j ∣ x j ∣ N ( e j ) ≤ C ∥ x ∥ 2 . N(x)\le\sum_j|x_j|N(e_j)\le C\|x\|_2. N ( x ) ≤ j ∑ ∣ x j ∣ N ( e j ) ≤ C ∥ x ∥ 2 .
反三角不等式给出 ∣ N ( x ) − N ( y ) ∣ ≤ N ( x − y ) ≤ C ∥ x − y ∥ 2 |N(x)-N(y)|\le N(x-y)\le C\|x-y\|_2 ∣ N ( x ) − N ( y ) ∣ ≤ N ( x − y ) ≤ C ∥ x − y ∥ 2 ,所以 N N N 对欧氏距离连续。已证明的紧致性定理适用于非空欧氏单位球面,故 N N N 在其上取得最小值 m m m ;球面各点都非零,所以 m > 0 m>0 m > 0 。对 x ≠ 0 x\ne0 x = 0 ,将此最小值用于 x / ∥ x ∥ 2 x/\|x\|_2 x /∥ x ∥ 2 ;连同 x = 0 x=0 x = 0 ,得到
m ∥ x ∥ 2 ≤ N ( x ) ≤ C ∥ x ∥ 2 . m\|x\|_2\le N(x)\le C\|x\|_2. m ∥ x ∥ 2 ≤ N ( x ) ≤ C ∥ x ∥ 2 .
若 ( x k ) (x_k) ( x k ) 是 N N N -柯西序列,则每个坐标都是实柯西序列,因为 ∣ ( x k − x l ) j ∣ ≤ ∥ x k − x l ∥ 2 ≤ N ( x k − x l ) / m |(x_k-x_l)_j|\le\|x_k-x_l\|_2\le N(x_k-x_l)/m ∣ ( x k − x l ) j ∣ ≤ ∥ x k − x l ∥ 2 ≤ N ( x k − x l ) / m 。实数完备性给出各坐标极限 a j a_j a j 。有限个坐标差平方之和趋零,故 ∥ x k − a ∥ 2 → 0 \|x_k-a\|_2\to0 ∥ x k − a ∥ 2 → 0 ,再由 N ( x k − a ) ≤ C ∥ x k − a ∥ 2 N(x_k-a)\le C\|x_k-a\|_2 N ( x k − a ) ≤ C ∥ x k − a ∥ 2 得到范数收敛。因此每个 N N N -柯西序列均在 N N N 中收敛。零维空间只有零向量,单独即知完备;这里不声称无限维空间的完备性或范数等价。
固定 R n \mathbb R^n R n 上的实范数 N N N ,其中 n ≥ 1 n\ge1 n ≥ 1 ,定义诱导矩阵范数 ∥ A ∥ = sup x ≠ 0 N ( A x ) / N ( x ) \|A\|=\sup_{x\ne0}N(Ax)/N(x) ∥ A ∥ = sup x = 0 N ( A x ) / N ( x ) 。已证 m ∥ x ∥ 2 ≤ N ( x ) ≤ C ∥ x ∥ 2 m\|x\|_2\le N(x)\le C\|x\|_2 m ∥ x ∥ 2 ≤ N ( x ) ≤ C ∥ x ∥ 2 保证上确界有限:初等估计 ∣ ( A x ) i ∣ ≤ ( ∑ j ∣ a i j ∣ ) ∥ x ∥ 2 |(Ax)_i|\le(\sum_j|a_{ij}|)\|x\|_2 ∣ ( A x ) i ∣ ≤ ( ∑ j ∣ a ij ∣ ) ∥ x ∥ 2 给出 ∥ A x ∥ 2 ≤ ( ∑ i , j ∣ a i j ∣ ) ∥ x ∥ 2 \|Ax\|_2\le(\sum_{i,j}|a_{ij}|)\|x\|_2 ∥ A x ∥ 2 ≤ ( ∑ i , j ∣ a ij ∣ ) ∥ x ∥ 2 ,因为非负数列的欧氏范数不超过其和。因此该比值至多为 ( C / m ) ∑ i , j ∣ a i j ∣ (C/m)\sum_{i,j}|a_{ij}| ( C / m ) ∑ i , j ∣ a ij ∣ 。对向量不等式取上确界即得齐次性及三角不等式。若 A ≠ 0 A\ne0 A = 0 ,某个标准向量 e j e_j e j 满足 A e j ≠ 0 Ae_j\ne0 A e j = 0 ,所以 ∥ A ∥ > 0 \|A\|>0 ∥ A ∥ > 0 。因此这是 n × n n\times n n × n 实矩阵组成的有限实向量空间上的范数;已证有限坐标结论保证该空间完备。此外,∥ I ∥ = 1 \|I\|=1 ∥ I ∥ = 1 ,且 N ( A x ) ≤ ∥ A ∥ N ( x ) N(Ax)\le\|A\|N(x) N ( A x ) ≤ ∥ A ∥ N ( x ) ;连续应用两次,得到 ∥ A B ∥ ≤ ∥ A ∥ ∥ B ∥ \|AB\|\le\|A\|\|B\| ∥ A B ∥ ≤ ∥ A ∥∥ B ∥ 。
设 q = ∥ M ∥ < 1 q=\|M\|<1 q = ∥ M ∥ < 1 ,对 k ≥ 1 k\ge1 k ≥ 1 有 ∥ M k ∥ ≤ q k \|M^k\|\le q^k ∥ M k ∥ ≤ q k ;另有零次项 M 0 = I M^0=I M 0 = I ,其范数为一。若 q = 0 q=0 q = 0 ,则 M = 0 M=0 M = 0 ,级数只剩 I I I 。否则 0 < q < 1 0<q<1 0 < q < 1 ,写 1 / q = 1 + δ 1/q=1+\delta 1/ q = 1 + δ ,其中 δ > 0 \delta>0 δ > 0 ;由 ( 1 + δ ) k ≥ 1 + k δ (1+\delta)^k\ge1+k\delta ( 1 + δ ) k ≥ 1 + k δ 得 q k → 0 q^k\to0 q k → 0 。有限几何恒等式给出 ∑ k = s t q k ≤ q s / ( 1 − q ) \sum_{k=s}^tq^k\le q^s/(1-q) ∑ k = s t q k ≤ q s / ( 1 − q ) 。因此部分和 S N = ∑ k = 0 N M k S_N=\sum_{k=0}^NM^k S N = ∑ k = 0 N M k 在完备矩阵空间中为柯西序列,收敛到矩阵 S S S ,并满足 ∥ S ∥ ≤ 1 / ( 1 − q ) \|S\|\le1/(1-q) ∥ S ∥ ≤ 1/ ( 1 − q ) 。
有限矩阵相乘在两个次序下都可望远镜相消:
( I − M ) S N = S N ( I − M ) = I − M N + 1 . (I-M)S_N=S_N(I-M)=I-M^{N+1}. ( I − M ) S N = S N ( I − M ) = I − M N + 1 .
次乘性保证乘以固定矩阵 I − M I-M I − M 的连续性,且 ∥ M N + 1 ∥ ≤ q N + 1 → 0 \|M^{N+1}\|\le q^{N+1}\to0 ∥ M N + 1 ∥ ≤ q N + 1 → 0 。取极限得到 ( I − M ) S = S ( I − M ) = I (I-M)S=S(I-M)=I ( I − M ) S = S ( I − M ) = I 。所以级数是 I − M I-M I − M 的双侧逆,并满足所列范数界。在扰动公式中取 M = − A − 1 E M=-A^{-1}E M = − A − 1 E ,由 A + E = A ( I + A − 1 E ) A+E=A(I+A^{-1}E) A + E = A ( I + A − 1 E ) ,即得 ∥ ( A + E ) − 1 ∥ ≤ ∥ A − 1 ∥ / ( 1 − ∥ A − 1 E ∥ ) \|(A+E)^{-1}\|\le\|A^{-1}\|/(1-\|A^{-1}E\|) ∥ ( A + E ) − 1 ∥ ≤ ∥ A − 1 ∥/ ( 1 − ∥ A − 1 E ∥ ) 。论证没有假设可对角化,也没有暗中留下无限维 Banach 空间前提。
4 扰动模型系数
若 A A A 变为 A + E A+E A + E ,将其分解为 A ( I + A − 1 E ) A(I+A^{-1}E) A ( I + A − 1 E ) 。对任何满足 ∥ A − 1 E ∥ < 1 \|A^{-1}E\|<1 ∥ A − 1 E ∥ < 1 的诱导范数,几何矩阵级数
( I + A − 1 E ) − 1 = ∑ k = 0 ∞ ( − A − 1 E ) k (I+A^{-1}E)^{-1}=\sum_{k=0}^\infty(-A^{-1}E)^k ( I + A − 1 E ) − 1 = k = 0 ∑ ∞ ( − A − 1 E ) k
绝对收敛。有限部分乘积相消为 I − ( − A − 1 E ) N + 1 I-(-A^{-1}E)^{N+1} I − ( − A − 1 E ) N + 1 ,余项趋零;这不依赖对角化便证明它是逆。因此
∥ ( A + E ) − 1 ∥ ≤ ∥ A − 1 ∥ 1 − ∥ A − 1 E ∥ . \|(A+E)^{-1}\|\le\frac{\|A^{-1}\|}{1-\|A^{-1}E\|}. ∥ ( A + E ) − 1 ∥ ≤ 1 − ∥ A − 1 E ∥ ∥ A − 1 ∥ .
若扰动系统的右端为 b + δ b b+\delta b b + δ b ,两方程相减得 ( A + E ) δ x = δ b − E x (A+E)\delta x=\delta b-Ex ( A + E ) δ x = δ b − E x 。这一恒等式显示观测误差和系数误差。病态模型的逐项小变化不一定产生小的解变化。
5 分层练习
E1 基础。 求 A = ( 2 1 1 1 ) A=\begin{pmatrix}2&1\\1&1\end{pmatrix} A = ( 2 1 1 1 ) 的逆并解 A x = ( 3 , 2 ) T Ax=(3,2)^T A x = ( 3 , 2 ) T 。
E2 条件性。 沿用 E1 的矩阵和基准右端 b = ( 3 , 2 ) T b=(3,2)^T b = ( 3 , 2 ) T ,求 κ ∞ ( A ) \kappa_\infty(A) κ ∞ ( A ) 。对 δ b = ( ε , − ε ) \delta b=(\varepsilon,-\varepsilon) δ b = ( ε , − ε ) ,计算 δ x \delta x δ x 并比较相对误差界。
E3 缩放。 解释为什么二维的 A = 10 − 6 I A=10^{-6}I A = 1 0 − 6 I 行列式很小但条件数为 1。
E4 系数误差。 对 A = I A=I A = I 且 ∥ E ∥ ≤ 0.1 \|E\|\le0.1 ∥ E ∥ ≤ 0.1 ,给出 ∥ ( I + E ) − 1 ∥ \|(I+E)^{-1}\| ∥ ( I + E ) − 1 ∥ 的界以及右端固定且非零时相对解变化的界;另说明零右端的情况。
6 详解
S1. 行列式为 1,A − 1 = ( 1 − 1 − 1 2 ) A^{-1}=\begin{pmatrix}1&-1\\-1&2\end{pmatrix} A − 1 = ( 1 − 1 − 1 2 ) 。乘以 ( 3 , 2 ) (3,2) ( 3 , 2 ) 得 ( 1 , 1 ) (1,1) ( 1 , 1 ) ,代回原方程可验证。
S2. A A A 和其逆的最大行和都是 3,故 κ ∞ = 9 \kappa_\infty=9 κ ∞ = 9 。解的扰动为 ( 2 ε , − 3 ε ) (2\varepsilon,-3\varepsilon) ( 2 ε , − 3 ε ) 。基准解范数为 1,相对解误差为 3 ∣ ε ∣ 3|\varepsilon| 3∣ ε ∣ ;基准 b b b 的范数为 3,故条件数界为 9 ∣ ε ∣ / 3 = 3 ∣ ε ∣ 9|\varepsilon|/3=3|\varepsilon| 9∣ ε ∣/3 = 3∣ ε ∣ ,在此取等。
S3. 行列式为 10 − 12 10^{-12} 1 0 − 12 ,但逆矩阵为 10 6 I 10^6I 1 0 6 I ,所以诱导范数之积为 10 − 6 10 6 = 1 10^{-6}10^6=1 1 0 − 6 1 0 6 = 1 。统一缩放改变绝对大小,却不扭曲相对方向。
S4. 逆范数至多为 1 / ( 1 − 0.1 ) = 10 / 9 1/(1-0.1)=10/9 1/ ( 1 − 0.1 ) = 10/9 。数据固定且 b b b 非零时,基准解 x = b ≠ 0 x=b\ne0 x = b = 0 ,且 ( I + E ) δ x = − E x (I+E)\delta x=-Ex ( I + E ) δ x = − E x ,故 ∥ δ x ∥ / ∥ x ∥ ≤ ( 10 / 9 ) ( 0.1 ) = 1 / 9 \|\delta x\|/\|x\|\le(10/9)(0.1)=1/9 ∥ δ x ∥/∥ x ∥ ≤ ( 10/9 ) ( 0.1 ) = 1/9 。若 b = 0 b=0 b = 0 ,两个唯一解均为零;绝对变化为零,但基准范数为零时相对比值无定义。假设是范数界,而不只是每个元素小于 0.1。
总结
可逆性建立唯一精确逆,条件性衡量敏感度。绝对与相对放大不同。范数不等式给出可辩护的界;收敛的矩阵几何级数控制系数扰动,而不假设可对角化,也不把小行列式当作完整稳定性诊断。