矩陣既是行和列的集合,也是一個從輸入空間到輸出空間的映射。四個子空間描述它失去甚麼資訊、能產生甚麼輸出。其中兩個位於輸入空間,另兩個位於輸出空間。它們的正交關係不僅解釋秩與零度,也解釋為何一個向量可以證明方程組無解。
本章在實數域上使用通常點積。正交補陳述使用此內積;相應複數結果需要共軛轉置。這裏利用投影解釋四個子空間。
四個空間,兩個環境空間
設 ,。我們將 的每一行轉置,視為 中的列向量。
定義 9.5.1
(四個基本子空間)
的四個基本子空間是
最後一個稱為左零空間:向量 屬於它,當且僅當 。
的一行有 個項,一列有 個項;先寫出環境空間,可避免嘗試對長度不相容的向量取點積。即使 ,行空間和列空間也不一定是相同子空間。
列空間由所有輸出 組成,核由所有被映到零的輸入組成。行空間記錄行測量的線性組合;左零空間記錄這些測量之間的線性關係,因為 表示以 為係數的各行加權和為零。
行空間與核
定理 9.5.2
(行空間是核的正交補)
對每個 ,在 的通常點積下,
因此每個 都有唯一分解 ,其中 、。
證明
(一個方向用點積,另一個方向數維數)
若 ,則 的每一行與 的點積均為零,因為這些點積正是 的各個項。各行的任何線性組合因此也垂直於 ,所以 。
反方向使用維數。秩—零度定理給出 。可把核的標準正交基底擴充為 的標準正交基底;新增向量構成正交補的基底。因此 。根據行秩等於列秩的定理,行空間維數也是 。一個子空間包含於另一個同有限維數的子空間時,兩者相等,故得結論。行列秩相等是另一條定理,可用秩分解證明;我們並非只因行與列外觀相似而推論它。
至於分解:取 ,則 ,而 。
證明透視
哪一步用到哪個假設
這個證明的兩半性質很不相同。包含關係 只是一行計算: 的第 項就是第 行與 的點積。除了算術之外,它不用 的任何性質。
反向包含不能逐個元素去做,因為沒有辦法從一個垂直於核的向量直接造出行空間的元素。證明改為夾逼:證明兩個子空間有相同的有限維數 ,而一個子空間若與整個空間維數相同便是整個空間。兩個數目來自不同來源。 來自秩—零度定理,要把它變成 ,必須用標準正交基底,也就是正定的內積;行空間維數等於 則需要行秩等於列秩。兩個維數計算缺一,論證便只停在包含關係。
證明能收尾,是因為兩個空間都是有限維。正定性並非裝飾:若某個雙線性形式容許非零向量與自身垂直,就會有 ,分解 便失效,「常見錯誤」一節的反例就是這樣。
由此得到有用結論:每個輸入都有唯一正交分解
作用 後第二個分量消失,即 。因此行空間分量包含此映射能從輸入取得的全部資訊;非零核分量確實改變了輸入,卻不改變輸出。
概念視角幾何
核是超平面的交
把 的各行寫成 。每個方程 描述一個過原點、法向量為 的超平面(若 則是整個 )。核就是這 個超平面的交;垂直於核的向量恰是各法向量 的線性組合。因此 的意思是:一族過原點的超平面,其法向量生成的空間,就是它們公共交集的正交補。對 ,核是 中的直線 ,行空間是由 生成的垂直直線。
列空間與左核
定理 9.5.3
(列空間、左零空間與四個維數)
設 的秩為 ,則
並且
每個 都有唯一分解 ,其中 、。
證明
(對轉置應用行空間恆等式)
的行空間是 ,核是 。對 應用上一個定理,便得 ,等價於 ,以及 的唯一分解。由於行秩等於列秩, 的秩也是 ;它的定義域是 ,所以秩—零度定理給出 。其餘三個維數已在上面得出。
第一個分量 是 到可達輸出的正交投影;第二個分量與每個可達輸出垂直。 的公式是對 使用秩—零度定理,此時必須使用行列秩相等。公式也包括零矩陣:其行空間和列空間均為零,兩個核則是各自的整個環境空間。
兩個分解位於不同空間。圖示中把行空間配對核空間、把列空間配對左零空間,只在清楚標示箭頭定義域時才有幫助。
概念視角結構
矩陣的可逆部分
把 限制在 上。這個限制映成 ,因為對每個 都有 。它是單射,因為 :與自己垂直的向量必為零。兩個空間的維數都是 。所以 就是兩個 維空間之間的可逆映射,再加上輸入端被捨棄的核,以及輸出端永遠達不到的左核。
相容性與無解證明
定理 9.5.4
(無解的證明向量)
方程組 有解,當且僅當
等價地,下面兩種情形恰有一種成立: 有解;或存在 使 且 。
證明
(左核向量看不見列空間)
方程組有解當且僅當 ;由上一個定理,,這就是上述條件。
若某個 滿足 ,卻有 ,則 不可能成立:因為若 ,則 ,產生矛盾。反過來,若 不在列空間,其非零左核分量 就是這樣的證明向量:。
這裏嚴格大於零用到實數歐氏(Euclid)內積,不是任意域上純形式的轉置結論。有限維投影論證也說明為何任意檢查幾個左核向量並不足夠:它們必須生成整個左零空間。一組基底給出有限多個純量條件;若全部成立,它們的線性組合也會與 正交。
若 相容,選一個解 ,所有解都形如 ,其中 。從 移除核分量,便得到唯一位於 的解。由正交性,它也是範數最小解:加入任何非零核向量,範數平方都增加該向量的範數平方。若 不相容,同一構造解的是 ,並得到範數最小的最小二乘係數。這是投影定理的解釋,並非聲稱 因而變得相容。
如何求基底而不混淆空間
把 化至 RREF。其非零行轉置後構成行空間基底,因為行運算保持行空間。解化簡後的齊次方程可得 的基底。主元位置指出線性無關的列,但原來列空間的基底必須使用 的相應列,不能用 RREF 的列,因為行運算可能改變列空間本身。
要求左零空間,可解 ;等價地,找出原來各行之間的所有線性關係。用 、、、 檢查維數。這些數目只是檢查,不能代替證明所列向量確實屬於相應空間且線性無關。秩為零時,行空間和列空間都是零子空間,各自以空集為基底;滿行秩或滿列秩時,相應的核基底可能為空。
例題
例題 9.5.5
(相容性證明向量)
設 。求四個子空間的基底,並判斷 和 是否可達。
第二行是第一行的兩倍,故 ,行空間基底可取 。方程 給出核基底 。第一列給出列空間基底 。解 得左核基底 。各維數是 ,與 、 一致。
對 ,左核點積 ;事實上 ,所有解為
對 ,。同一左核向量證明它不相容;知道這個證明向量後,不需要再對增廣系統做行化簡。
例題 9.5.6
(分解輸入與輸出)
設 。求四個子空間的基底,將 分解為行空間及核分量,並求 到列空間的投影。
第三行是首兩行之和,而首兩行線性無關,故 ;行空間基底為 、。解 得核基底 、。首兩列 、 是列空間基底;其餘列分別是 和 。左零空間由 生成。
把行空間分量寫為 。要求 與兩個基底向量均正交,得到
因此 ,。兩者之和為 ;直接相乘得 。
對輸出,、,所以 ,故 。非零左核分量證明 不相容;它也是擬合輸出的最小二乘殘差。輸入 被映到 ,所有最小二乘係數由加入上述核向量的線性組合得到。
例題 9.5.7
(滿列秩:平凡的核)
設 ,故 、。兩列線性無關,所以 :行空間是整個 , 以空集為基底。列空間是由 和 生成的平面, 的維數為 。解 ,即 與 ,得基底向量 。
試 :,所以 可達;事實上 ,即 。對 ,,所以 無解。由於核是平凡的, 的解是唯一的:沒有核分量可加。對 的最小二乘問題,因 ,有 ,。
常見錯誤
常見錯誤
(從化簡後的矩陣取列空間)
設 , 是交換 兩行所得。兩者的行空間相同,都由 生成;但列空間是不同的座標軸:,。行運算保持行空間和秩,卻不保持列空間作為集合。因此 的基底必須取原矩陣的主元列。
常見錯誤
(把核與列空間配對)
對 ,核在 中,列空間在 中,問兩者是否垂直根本沒有意義。真正的正交配對是輸入空間中的 ,以及輸出空間中的 。
常見錯誤
(維數取錯空間)
左零空間的維數是 ,不是 。對秩為 的 矩陣,核的維數是 ,左零空間的維數卻是 。 等於 ,而 等於 。
第一個定理同樣需要實內積,下面的例子說明它不能放棄。
反例模式
在複數域用不加共軛的點積,分解會失效
斷言:對每個矩陣 ,不論純量是甚麼,每個輸入都可分解為 。取複矩陣 ,並用不加共軛的雙線性點積 。向量 滿足 ,所以 ;而 是 的行,所以 。兩個空間的維數都是 ,所以都等於直線 。和 就是這條直線,它不含 ,因為 不可能成立。所以 沒有分解 。修正的辦法是改用共軛轉置,使 ,非零向量不會與自身垂直;或者如定理所述只用實向量。
即時檢查
快速檢查
(矩陣 為 ,秩為 。寫出四個基本子空間各自的維數及所在的環境空間。)
取 、、。
解答 · 答案
,維數 ;,維數 ;,維數 ;,維數 。
快速檢查
(對 ,找一個向量 ,證明 不在列空間中。)
解 ,再檢驗 。
解答 · 答案
,由 得 。於是 。若 有解,則 ;故 不可達。事實上 的每個輸出兩個項都相等。
快速檢查
(對 ,把 分解為行空間分量與核分量。)
行空間由 生成,核由 生成。
解答 · 答案
解 :、,故 。所以 ,。兩個分量互相垂直,因為 ;而且 。