矩陣有兩個角色:它是可進行算術運算的數據數組;選擇基後,它也表示線性變換。理解後者有助解釋乘法公式為何如此、秩為何衡量信息,以及坐標改變為何不改變變換本身。
1 表示複合的算術
對 A ∈ R m × n A\in\mathbb R^{m\times n} A ∈ R m × n 和 B ∈ R n × p B\in\mathbb R^{n\times p} B ∈ R n × p ,定義 ( A B ) i j = ∑ k = 1 n a i k b k j (AB)_{ij}=\sum_{k=1}^n a_{ik}b_{kj} ( A B ) ij = ∑ k = 1 n a ik b kj 。重排有限和得到 ( A B ) x = A ( B x ) (AB)x=A(Bx) ( A B ) x = A ( B x ) 。矩陣乘法滿足結合律和分配律,但一般不滿足交換律。單位矩陣 I n I_n I n 保持向量不變。轉置 A T A^T A T 交換行列指標,並滿足 ( A B ) T = B T A T (AB)^T=B^TA^T ( A B ) T = B T A T 。
例如,A = ( 1 1 0 1 ) A=\begin{pmatrix}1&1\\0&1\end{pmatrix} A = ( 1 0 1 1 ) 、B = ( 2 0 0 1 ) B=\begin{pmatrix}2&0\\0&1\end{pmatrix} B = ( 2 0 0 1 ) 給出 A B = ( 2 1 0 1 ) AB=\begin{pmatrix}2&1\\0&1\end{pmatrix} A B = ( 2 0 1 1 ) ,但 B A = ( 2 2 0 1 ) BA=\begin{pmatrix}2&2\\0&1\end{pmatrix} B A = ( 2 0 2 1 ) 。先縮放再剪切與先剪切再縮放不同。
高斯消元對 [ A ∣ b ] [A\mid b] [ A ∣ b ] 使用可逆行變換。主元欄決定主元變量,其餘變量是自由變量。若某行 [ 0 ⋯ 0 ∣ c ] [0\cdots0\mid c] [ 0 ⋯ 0 ∣ c ] 中 c ≠ 0 c\ne0 c = 0 ,則證明不相容。若無矛盾行,可選擇自由變量,再回代得到主元變量。當左塊化為 I I I ,對 [ A ∣ I ] [A\mid I] [ A ∣ I ] 使用相同變換可求 A − 1 A^{-1} A − 1 。
例。 對
A = ( 1 2 1 0 1 1 ) , b = ( 4 3 ) , A=\begin{pmatrix}1&2&1\\0&1&1\end{pmatrix},\qquad b=\binom43, A = ( 1 0 2 1 1 1 ) , b = ( 3 4 ) ,
方程給出 y = 3 − z y=3-z y = 3 − z 、x = − 2 + z x=-2+z x = − 2 + z 。因此所有解為 ( − 2 , 3 , 0 ) + t ( 1 , − 1 , 1 ) (-2,3,0)+t(1,-1,1) ( − 2 , 3 , 0 ) + t ( 1 , − 1 , 1 ) 。零空間方向衡量兩個觀測不能恢復的信息。
有限消元必停止,並保持解集
設 A ∈ R m × n A\in\mathbb R^{m\times n} A ∈ R m × n 、b ∈ R m b\in\mathbb R^m b ∈ R m ,其中 m , n m,n m , n 是有限正整數。允許的行變換為交換不同的兩行、以非零標量乘一行,以及把一行的標量倍加到另一行。逆變換分別為同一交換、乘以倒數,以及減去該倍數。因此對整個增廣陣施行變換恰好保持 A x = b Ax=b A x = b 的解集:新方程由舊方程推出,逆變換給出反向蘊含。每個行變換也等於左乘把同一變換施於單位矩陣所得的可逆初等矩陣。
從左到右掃描係數欄,並記錄下一未使用行。若當前欄在未使用行中有非零元素,就將其所在行交換到下一位置,除以非零主元,再從其餘各行減去適當倍數,清空該欄其他元素,然後推進未使用行指標。若該欄所有未使用位置都是零,就跳過該欄。先前主元欄始終是單位欄:當前未使用行在這些欄均為零,所以新主元行以及後續減法保留這些零與原主元。總共只有 n n n 次欄掃描及至多 min ( m , n ) \min(m,n) min ( m , n ) 個主元,每次只作有限個行變換,故算法必停止。最後非零係數行的主元欄依次遞增,各主元上下均為零,其餘係數行全零。這證明下面使用的簡化階梯形確實能得到,而非假設它最終出現。
解的分類與齊次自由度
令 r r r 為係數部分的主元數。若某個零係數行對應非零變換後右端,就出現不可能的方程 0 = c 0=c 0 = c ,因此無解。否則任意指定 n − r n-r n − r 個非主元變量的實數值。每個主元行都把其主元變量寫成變換後右端減去自由變量的已知線性組合,其中沒有其他主元變量。這些公式既構造解,也恢復每一個解。若 r = n r=n r = n ,解唯一;若 r < n r<n r < n ,改變自由變量就改變解向量,故有無窮多解。
對 A z = 0 Az=0 A z = 0 ,全部自由變量取零給出零解。若 r < n r<n r < n ,將一個自由變量設為一,其餘設為零,再按主元公式求解,就構造出非零齊次解;若 r = n r=n r = n ,公式迫使所有齊次變量為零。對相容系統固定一個解 x p x_p x p ,兩解相減表明每個解均為 x p + z x_p+z x p + z ,其中 A z = 0 Az=0 A z = 0 ;代入又證明反向包含。
當 A A A 為方陣且每欄都有主元時,係數階梯形為 I I I 。有限個初等矩陣之積 E E E 滿足 E A = I EA=I E A = I 。因為 E E E 可逆,A = E − 1 A=E^{-1} A = E − 1 ,故也有 A E = I AE=I A E = I ,所以 E E E 是雙側逆。若缺少主元,上面構造的非零齊次解排除可逆性。這也證明可逆時,對 [ A ∣ I ] [A\mid I] [ A ∣ I ] 作相同行變換會得到 [ I ∣ A − 1 ] [I\mid A^{-1}] [ I ∣ A − 1 ] 。
2 向量空間、基與維數
實向量空間 的加法和數乘滿足通常的分配、結合、單位元及逆元規則。例子包括 R n \mathbb R^n R n 、多項式空間 P d P_d P d 和矩陣空間。子空間包含零且對線性組合封閉。基是線性無關的生成列表,其長度為維數。{ ( x , y ) : x + y = 1 } \{(x,y):x+y=1\} {( x , y ) : x + y = 1 } 這樣的點集不含零,所以不是子空間。
在 P 2 P_2 P 2 中,( 1 , t , t 2 ) (1,t,t^2) ( 1 , t , t 2 ) 是一個基;( 1 , 1 + t , t + t 2 ) (1,1+t,t+t^2) ( 1 , 1 + t , t + t 2 ) 也是:多項式 a + b t + c t 2 a+bt+ct^2 a + b t + c t 2 在該列表中的坐標為 ( a − b + c , b − c , c ) (a-b+c,b-c,c) ( a − b + c , b − c , c ) 。多項式本身不變,坐標卻依賴基。
若映射 T : V → W T:V\to W T : V → W 滿足 T ( a v + b w ) = a T ( v ) + b T ( w ) T(av+bw)=aT(v)+bT(w) T ( a v + b w ) = a T ( v ) + b T ( w ) ,它是線性的 。其核為 { v : T ( v ) = 0 } \{v:T(v)=0\} { v : T ( v ) = 0 } ,像為 { T ( v ) : v ∈ V } \{T(v):v\in V\} { T ( v ) : v ∈ V } ,二者都是子空間。核為零等價於單射,因為 T ( v ) = T ( w ) T(v)=T(w) T ( v ) = T ( w ) 當且僅當 v − w v-w v − w 屬於核。
不預設計數結論的有限基存在與擴充
設實向量空間 V V V 已給定有限生成列表 t 1 , … , t N t_1,\ldots,t_N t 1 , … , t N 。先證明任何線性無關列表 u 1 , … , u k u_1,\ldots,u_k u 1 , … , u k 的長度不超過 N N N 。插入 j j j 個向量後,維持一個由 u 1 , … , u j u_1,\ldots,u_j u 1 , … , u j 與 N − j N-j N − j 個剩餘舊向量組成的生成列表。將 u j + 1 u_{j+1} u j + 1 按此列表展開,至少一個剩餘舊向量的係數非零;否則它在先前 u i u_i u i 的張成空間中,與無關性矛盾。解出這個舊向量,再以 u j + 1 u_{j+1} u j + 1 取代它。新列表仍張成同一空間,而且保留全部先前插入向量。若 k > N k>N k > N ,則 N N N 步後前 N N N 個向量已張成 V V V ,與 u N + 1 u_{N+1} u N + 1 的無關性矛盾。此即所需上界,也包括 N = 0 N=0 N = 0 。
每個子空間 W W W 都有有限基。從空的無關列表開始;若當前張成空間尚不是 W W W ,就在 W W W 中取一個不在該張成空間內的向量。若新向量在某關係中的係數非零,就能由舊向量表示它,矛盾,故新列表仍無關。已證上界允許至多添加 N N N 次,所以過程必停止於 W W W 的無關生成列表。若 W = { 0 } W=\{0\} W = { 0 } ,立即得到空基。改從 W W W 內任意給定無關列表開始,同樣證明該列表可擴充為 W W W 的基;只需有界有限次選擇。最後,若兩組基的長度為 p , q p,q p , q ,分別把它們用作上界證明中的有限生成列表,得到 p ≤ q p\le q p ≤ q 與 q ≤ p q\le p q ≤ p 。故基的長度有良定義,稱為維數。這些論證補足秩–零度定理所用的基存在、擴充與維數事實。
3 秩、零度與矩陣表示
設 V V V 是有限維實向量空間,T : V → W T:V\to W T : V → W 為線性映射。
映射 T : V → W T:V\to W T : V → W 若滿足 T ( α v + β u ) = α T v + β T u T(\alpha v+\beta u)=\alpha Tv+\beta Tu T ( αv + β u ) = α T v + βT u ,則為線性。其核與像都是子空間。選取 ker T \ker T ker T 的基 k 1 , … , k r k_1,\ldots,k_r k 1 , … , k r ,並以 v 1 , … , v s v_1,\ldots,v_s v 1 , … , v s 擴充為基,則 T v 1 , … , T v s Tv_1,\ldots,Tv_s T v 1 , … , T v s 構成 im T \operatorname{im}T im T 的基:展開任意輸入可證明張成性;若這些像線性相關,相應輸入組合落入核,而擴充基的線性無關性迫使所有系數為零。因此
dim V = dim ker T + dim im T . \dim V=\dim\ker T+\dim\operatorname{im}T. dim V = dim ker T + dim im T .
這就是秩–零度定理 。有限維且維數相等時,單射與滿射等價;無限維空間中該等價可能失效。
對微分 D : P 2 → P 1 D:P_2\to P_1 D : P 2 → P 1 ,核為常數多項式,維數為 1;像是整個 P 1 P_1 P 1 ,維數為 2。相對基 ( 1 , t , t 2 ) (1,t,t^2) ( 1 , t , t 2 ) 和 ( 1 , t ) (1,t) ( 1 , t ) ,矩陣為
[ D ] = ( 0 1 0 0 0 2 ) . [D]=\begin{pmatrix}0&1&0\\0&0&2\end{pmatrix}. [ D ] = ( 0 0 1 0 0 2 ) .
每一欄都是一個定義域基元素的像的坐標向量。定義矩陣表示的是這一構造,而不是記憶一個數組。
若 P P P 的欄是新基向量在舊坐標下的表示,則 [ v ] o l d = P [ v ] n e w [v]_{\rm old}=P[v]_{\rm new} [ v ] old = P [ v ] new 。對舊矩陣為 A A A 的算子 T : V → V T:V\to V T : V → V ,新矩陣是 P − 1 A P P^{-1}AP P − 1 A P 。次序錯誤會混淆輸入坐標變換與應用變換本身。
4 分層練習
E1 基礎。 解 x + y + z = 2 x+y+z=2 x + y + z = 2 、2 x + y + 3 z = 5 2x+y+3z=5 2 x + y + 3 z = 5 。給出特解及零空間的一組基。
E2 表示。 對 T : P 2 → P 2 T:P_2\to P_2 T : P 2 → P 2 ,定義 T ( p ) = p + p ′ T(p)=p+p' T ( p ) = p + p ′ 。求它在 ( 1 , t , t 2 ) (1,t,t^2) ( 1 , t , t 2 ) 下的矩陣。它可逆嗎?
E3 坐標。 設 A = diag ( 2 , 3 ) A=\operatorname{diag}(2,3) A = diag ( 2 , 3 ) ,新基為 u = ( 1 , 1 ) u=(1,1) u = ( 1 , 1 ) 、v = ( 1 , − 1 ) v=(1,-1) v = ( 1 , − 1 ) 。計算 P − 1 A P P^{-1}AP P − 1 A P 並直接檢驗第一欄。
E4 證明。 若 V V V 和 W W W 有相同有限維數,證明線性映射 T : V → W T:V\to W T : V → W 單射當且僅當滿射。
5 詳解
S1. 第二式減第一式的兩倍得 − y + z = 1 -y+z=1 − y + z = 1 ,故 y = z − 1 y=z-1 y = z − 1 、x = 3 − 2 z x=3-2z x = 3 − 2 z 。全部解為 ( 3 , − 1 , 0 ) + t ( − 2 , 1 , 1 ) (3,-1,0)+t(-2,1,1) ( 3 , − 1 , 0 ) + t ( − 2 , 1 , 1 ) ,零空間由 ( − 2 , 1 , 1 ) (-2,1,1) ( − 2 , 1 , 1 ) 張成。
S2. 各像為 1 1 1 、1 + t 1+t 1 + t 、2 t + t 2 2t+t^2 2 t + t 2 ,因此 [ T ] = ( 1 1 0 0 1 2 0 0 1 ) [T]=\begin{pmatrix}1&1&0\\0&1&2\\0&0&1\end{pmatrix} [ T ] = 1 0 0 1 1 0 0 2 1 。回代對每個輸出都唯一可解,所以它可逆。其核為零,也可由秩–零度證明。
S3. P = ( 1 1 1 − 1 ) P=\begin{pmatrix}1&1\\1&-1\end{pmatrix} P = ( 1 1 1 − 1 ) 、P − 1 = P / 2 P^{-1}=P/2 P − 1 = P /2 ,得到 ( 5 / 2 − 1 / 2 − 1 / 2 5 / 2 ) \begin{pmatrix}5/2&-1/2\\-1/2&5/2\end{pmatrix} ( 5/2 − 1/2 − 1/2 5/2 ) 。直接算得 T ( u ) = ( 2 , 3 ) = ( 5 / 2 ) u − ( 1 / 2 ) v T(u)=(2,3)=(5/2)u-(1/2)v T ( u ) = ( 2 , 3 ) = ( 5/2 ) u − ( 1/2 ) v ,即第一欄。
S4. 設共同維數為 n n n ,秩–零度給出 dim im T = n − dim ker T \dim\operatorname{im}T=n-\dim\ker T dim im T = n − dim ker T 。核為零等價於像的維數為 n n n ;W W W 的 n n n 維子空間就是整個 W W W 。有限維與維數相等的假設不可缺少。
總結
矩陣乘法表示複合;基將抽象向量與映射轉成坐標。核衡量丟失的信息,像衡量可能的輸出,秩–零度平衡二者。相似矩陣是在不同基下表示同一算子。