奇異矩陣或長方形矩陣沒有一般的雙側逆,但仍可有良定義的偽逆。奇異值分解把非零奇異值取倒數,並把轉置後長方形對角矩陣的其餘項設為零,從而構造偽逆;零奇異方向不會被取逆。四條方程可以不依賴所用的具體 SVD,刻畫所得矩陣。
頭兩條方程說明原映射與候選逆如何互相重現,但它們不足以選出偽逆:另外兩條要求相關投影為正交投影。我們將從 SVD 證明存在性,再研究這些投影的像、核與正交補,以證明唯一性。
方程及其大小
定義 4.3.1
(Moore–Penrose 方程)
設 ,其中 是有限正整數。若 滿足以下方程,便稱它滿足 的 Moore–Penrose 方程:
和 雖然都是方陣,卻作用於不同空間: 作用於 , 作用於 。因此兩個轉置條件不能互換。對複矩陣,相應刻畫使用共軛轉置;本章證明實數情況。
若 是可逆方陣,在第一條方程兩側乘以 便得 。若 ,第二條方程迫使 。因此這些方程包括一般逆及秩為零的極端情況。但對一般長方形矩陣, 和 都未必是整個空間上的恆等算子。
從 SVD 證明存在性
定理 4.3.2
(偽逆的存在性)
每個 都有矩陣 :它由完整 SVD 只反轉正奇異值得到,並滿足全部四條 Moore–Penrose 方程。
證明
(在長方形對角矩陣上驗證方程)
取完整奇異值分解 ,其中 和 正交。若 ,長方形對角矩陣 的正對角項為 ,其餘項為零。定義 為 長方形對角矩陣,前 個對角項為 ,其餘項為零。令
過程沒有對零奇異值取倒數。當 , 和 均為零。直接檢查長方形對角矩陣得
而 是 對角矩陣,前 項為 1、其餘為零; 是相應的 矩陣。兩者均對稱。在乘積中插入 及 ,便證明 滿足全部四條方程。這證明了存在性,包括秩為零及長方形的情況。
對稱冪等矩陣的性質
引理 4.3.3
(對稱冪等矩陣是正交投影)
若實方陣 滿足 且 ,則 ,且 ; 是向 的正交投影。
證明
(把 拆成 )
設實方陣 滿足 和 。每個向量都可分解為 。第一項屬於 ;第二項因 而屬於 。兩個子空間互相垂直:若 、,則 。它們的交集為零,因此
所以 是到其像空間的唯一正交投影。分解亦證明唯一性:每個向量只有一個像空間分量,使它與該分量的差垂直於像空間。要稱為「正交」投影,對稱性不可省略;只有冪等性時只能得到直和分解。
乘積 是到 列空間的正交投影。同樣, 投影到正奇異值對應的右奇異向量生成空間,即 。這兩個投影通常大小不同,作用的定義域亦不同。
四條方程迫使兩個投影出現
命題 4.3.4
(四條方程迫使兩個投影出現)
若 對 滿足全部四條方程,則 是向 的正交投影, 是向 的正交投影,且 。
證明
(冪等、對稱,且像與核正確)
現在任取滿足全部四條方程的 。由 ,
再配合轉置條件, 和 都是對稱冪等矩陣。 的像恰為 :一個包含方向顯然,另一方向來自 。因此 是到 的正交投影。
的核恰為 。若 ,則 ;反過來,若 ,則 。因為 是對稱冪等矩陣,它是到 的正交投影。特別是,這兩個投影由 決定,與一開始選取哪個候選 無關。
我們還須知道 把向量送到哪裏。 表示對每個 ,都有 ,所以 。這個包含關係是唯一性論證的關鍵,不能單憑維數假設它成立。
用限制映射的逆證明唯一性
定理 4.3.5
(偽逆的唯一性)
對每個 ,恰有一個 滿足四條 Moore–Penrose 方程。它記作 ,並且不依賴於構造它時所用的 SVD。
證明
(在一個像及其補空間上取值一致的兩個矩陣)
把 限制在 ,所得映射雙射到 。它是單射:同時屬於 和 的向量必為零。它是滿射:每個 可分解為 ,其中 ,故 。
若 ,因 是到像空間的投影,便有 ;而 。因此 是 中被 映到 的唯一向量。若 ,則 ,故 ;前述包含關係又使 ,所以 。
每個 都能唯一分解為像空間分量及垂直分量。因此線性性唯一決定整個空間上的 。任何兩個滿足四條方程的矩陣在兩個分量上均相同,故相等。SVD 構造已給出其中一個,因而它是唯一解,記為 ;特別地,不同有效 SVD 選擇會得到同一偽逆。
證明透視
每條方程在哪裏起作用
第一條方程使 與 冪等,兩條轉置方程使它們對稱;合起來,就把斜向分解變成正交分解。關鍵一步是包含關係 ,它來自 ,而且不能單靠維數讀出。一旦知道 與 是由 決定的投影, 便被確定:它是 的像分量在 中的唯一原像,在垂直分量上則為零。這兩個分量生成 ,而 是線性的,論證因而完結。去掉任一條轉置方程,投影就未必正交,論證便不成立。
這也解釋先前的最小範數結果:對任意 , 是 到列空間的唯一投影,且 。所有最小二乘係數與它只差一個 向量,故由畢氏(Pythagoras)定理, 是唯一範數最小者。四條方程刻畫算子;最小範數陳述則描述它對右端的作用。
為何兩條方程不足夠
反例模式
兩條方程不足以確定偽逆
斷言:任何滿足 與 的 都等於 。這是假的。令 、。直接相乘得 及 ,所以依這兩條方程, 是自反廣義逆。但 不對稱,而且 。它的像/核分解是斜的,不是所需的正交分解。因此只有兩條重現方程,不能選出 Moore–Penrose 逆。
亦應區分驗證候選偽逆和只求解一個系統:矩陣可能碰巧對某個 給出最小範數答案,卻仍不滿足四條方程之一。反過來,只要已核對大小正確的四條恆等式,唯一性就證明該矩陣對所有右端均有效。
實際如何檢查方程
先寫出 與候選 的維數。重現乘積 、 分別與 、 同形;對稱性檢查則涉及兩個大小可能不同的方陣。維數不符已足以否定候選公式。接著分別檢查四條恆等式:證明 對稱本身不保證 對稱,任何一個對稱條件也不自動給出兩條重現等式。
驗證時可利用已知恆等式。例如若 ,便立即得到 及 ,第一個對稱條件亦自動成立;仍須檢查 對稱。只有當顯示的乘積確實是單位矩陣,才可使用這個捷徑,不能對秩虧矩陣直接假設它。以下例子分別展示秩一長方形情況及滿行秩情況。
概念視角結構
偽逆是限制在一對子空間上的逆
唯一性證明給出一個不用方程的描述。 限制在 上是到 的雙射,而 就是這個雙射在 上的逆,並在 上線性地取 。所以凡是 可以還原的地方, 都還原它; 到不了的部分則被捨去。四條方程正是這句話的矩陣形式。
例題
例題 4.3.6
(秩一長方形矩陣)
設 、。求 、兩個投影及對 的最小範數最小二乘係數。
解答。 寫成 ,其中 、。兩者範數平方分別為 6 和 5,故唯一正奇異值為 ,並有
兩個乘積為
它們分別是到 和 的對稱投影。由所示秩一乘積可得 、,故四條方程均成立。對 ,有 ,擬合向量為 。殘差是 ,與 正交,其範數平方為 。係數與 正交,確認它的範數最小。
例題 4.3.7
(滿行秩方程組)
設 、。求一個偽逆及範數最小的精確解。
解答。 此處 可逆。令
相乘得 ,以及
第二個矩陣對稱,因此 、,兩個對稱條件也成立。由唯一性,。向量 滿足 。核由 生成,與此解垂直,故它是範數最小的精確解。涉及 的公式在此適用,因為已驗證滿行秩;它不是任意矩陣的通用公式。
例題 4.3.8
(零矩陣:秩為零的邊界情形)
令 為 零矩陣。沒有正奇異值,所以 是 零矩陣, 也是 零矩陣。四條方程全部成立:、,而 與 分別是 與 零矩陣,自然對稱。 的形狀是 的轉置形狀,在這裏是第二條方程 迫使 。
常見錯誤與細節
常見錯誤
(未檢查秩就使用逆矩陣公式)
公式 與 分別只在 滿列秩與滿行秩時有效。對 , 是奇異的,但 仍然存在。
常見錯誤
(只檢查一個對稱條件便當作完成)
當 時, 與 是大小不同的方陣。 對稱並不說明 對稱:對 及 ,有 ,它自動對稱,但仍須檢查大小為 的 。
習題
快速檢查
(求 的 。)
只反轉非零的對角元。
解答 · 答案
。此時 對稱,且 、。
快速檢查
(若 的各列標準正交,證明 。)
對 檢查四條方程。
解答 · 答案
各列標準正交即 。於是 、, 對稱, 亦對稱。由唯一性,。
快速檢查
(求行矩陣 的 。)
可寫成 ,其中 、,或用 。
解答 · 答案
可逆,所以 。確實 ,而 對稱。