奇異值分解不只把矩陣分解成因子,還分清映射伸縮哪些方向、遺忘哪些方向,以及哪些輸出方向無法到達。這些分別同時解釋最小二乘及唯一的最小範數解,也說明映射有核時,為何不能把每個奇異值都拿來相除。
我們使用歐幾里得(Euclid)或標準 Hermitian 範數,而非未指定的加權度量。
奇異向量從哪裏來?
設 ,以 表示共軛轉置。因為
所以 是 Hermitian 半正定矩陣。
定義 4.2.1
(奇異值與奇異向量)
設 是 的特徵向量所成的標準正交基,特徵值為 ,並把正的排在前面。數 稱為 的奇異值;正奇異值按 排列,其後才是零值。 稱為右奇異向量。對 ,向量 稱為左奇異向量。
基 由譜定理給出。
定理 4.2.2
(奇異值分解)
在上述記號下, 標準正交;當 時 ,當 時 。把 延拓成 的標準正交基 ,並以兩組基向量為列組成 ,則
其中 是 乘 矩陣,長方形對角線上是 ,其餘為零。
證明
( 的標準正交性與矩陣等式)
對 ,
因為 。若 ,則 ,故 ;範數恆等式給出的是這個結果,並不能靠除法得到左奇異向量。於是在基 上有 ,而 是酉矩陣,所以 。
實數情況則用轉置與正交矩陣作同一構造。
正奇異值的右奇異向量生成 ;左奇異向量生成 。兩種補空間不同:其餘右方向位於輸入核,其餘左方向則組成 。輸入、輸出維數不同時,尤其不能混淆兩者。
最接近而又能到達的輸出
給定 ,把 最小化,就是在像中找最接近 的點。
定理 4.2.3
(最小二乘解)
把 寫成 ,其中 、。則對每個 ,
的極小元存在。向量 是極小元,當且僅當 ,當且僅當 ,亦即當且僅當 。
證明
(輸出空間中的勾股定理)
向量 在 中,而 與它垂直,由此得上面的恆等式。右邊恰在 時最小;因 屬於像,這樣的 存在。因此最佳輸出唯一是 ,但產生該輸出的輸入未必唯一。
至於正規方程:向量與每個 垂直,當且僅當其伴隨像為零,因為 對所有 為零當且僅當 。把它用於 : 是極小元,當且僅當 ,當且僅當 ,當且僅當 。這證明必要性與充分性,不用對複座標式直接微分,也沒有假設正規矩陣可逆。
證明透視
為甚麼分解 b 就足夠
證明只有一個想法:把 一次拆成在像中的部分與垂直於像的部分,之後每個候選 只影響第一部分。垂直性 恰好用了一次,用來消去 的交叉項;沒有它,恆等式便會帶一個依賴 的項 。包含關係 也恰好用了一次,使 對某個 為零,所以即使 本身不可到達,極小元仍然存在。有限維只用在分解的存在性上。關於 的敘述不是第二個論證:它只是把 垂直於像這個事實換一種寫法,所以二者等價,而且完全不需要 可逆。
若各列線性無關, 正定且可逆;若線性相關, 便無效,但最小二乘解仍存在。正規矩陣奇異,失效的是逆矩陣公式,而非最小化問題本身。
常見錯誤
(各列線性相關時仍使用正規方程的逆)
對 ,兩列線性相關, 的行列式為 ,所以 不存在。然而對每個 , 的極小元都存在(這裏 是一個數, 有解)。失效的只是公式;正確的工具是下面定義的廣義逆。
找回範數最小的輸入
定義 4.2.4
(廣義逆)
用上述奇異向量, 的廣義逆定義為
只把正奇異值取倒數。零矩陣時和為空,。
快速檢查
(求 的 。)
取 ,找出 、、。
解答 · 答案
此處 ,所以 、、。因此 。零奇異值不取倒數,沒有任何貢獻。
定理 4.2.5
(範數最小的最小二乘解)
廣義逆滿足
全部最小二乘解具有形式 ,其中 ,而 是其中唯一範數最小的解。特別地, 不依賴奇異向量的選擇,包括重複奇異值空間內的選擇。
證明
(先是投影,再用輸入空間中的勾股定理)
由 得 。由 得 ,所以 。第一個和投影到 的生成空間,即 ;第二個投影到 的生成空間,即 。第一個投影選出最接近且可到達的輸出,第二個則刪去映射無法察覺的輸入分量。
由上一個定理, 是極小元,當且僅當 ,當且僅當 ,當且僅當 ,其中 。向量 屬於 ,故
恰在 時最小。因此範數最小的極小元就是 。這個刻畫只涉及 與 ,不涉及奇異向量,所以線性映射 對每種允許的選擇都相同。
快速檢查
(對 、,求 範數最小的解。)
對單一非零行計算 。
解答 · 答案
此處 、、,所以 ,。核對:,而其餘解 的範數平方為 。
概念視角結構
廣義逆是限制映射的逆
還可以不用基底描述: 從 到 的限制是雙射。因與核交集為零,所以單射;把任意原像分解成核部分與垂直部分,就證明滿射。先把 投影到像,再用此限制的逆映射,所得恰為 。這說明每個有限維映射都有廣義逆,即使普通逆不存在;定義涉及兩個不同空間,而不是同一方陣。
投影恆等式推出 、,而 、 都自伴隨。這就是四條 Moore–Penrose 恆等式,描述的是正交投影,而非普通雙側逆。零矩陣時各和為空,廣義逆為零,同樣結論仍成立。
反例模式
乘積的逆序律
對可逆矩陣有 ,於是有人會預期 。取 、,則 ,。單一非零行或列 滿足 ,所以 、。於是 。兩個因子都不可逆,逆矩陣的規律在此沒有指引作用: 的核與 的像是互不相干的子空間,它們所定義的投影並不對齊。乘積的廣義逆必須從乘積本身計算,不能由因子拼出。
例題 4.2.6
(失秩矩陣的完整長方形分解)
設
構造完整實 SVD,求全部最小二乘解,並證明哪一個範數最小。
解答。 有 、,唯一正奇異值為 。取
以及
直接計點積,可核對兩組均標準正交。以它們為 的列,並令
便有 。沒有向量除以零奇異值,其餘左基向量是以正交延拓選出的。
廣義逆為
像的投影為 ,故最近輸出為 。殘差為
它與 點積為零,核對了正規方程及最優性。
核為 ,因此全部最小二乘解是
兩項正交,得到
只有 時範數最小。這分清了擬合輸出唯一,與擬合輸入可以不唯一。
例題 4.2.7
(有精確解,不代表輸入唯一)
設
求全部精確解及其中唯一範數最小的解。
解答。 方程給出 ,其中 為實數。範數平方為
所以範數最小的輸入是 。核由 生成;所選輸入與該向量垂直,獨立核對了幾何刻畫。
此處各行線性無關,因此
相乘得 。可逆的是 ,而非奇異的三乘三矩陣 。另有 ,但 是秩二投影,不是 。
因像是全部輸出空間,輸出可精確擬合;因核非零,輸入仍不唯一。零殘差決定了可解性,卻不決定唯一性。最小範數規則利用正交性選出特定解,沒有假裝原映射是雙射。
座標證明指出哪些量是自由的
寫 、,利用酉不變性可得
座標 完全沒有出現。正奇異方向取 ,核座標任意;把自由座標設為零,就得到最小輸入範數。
此證明適用於高、方、寬矩陣,也包括失秩情況。它不把輸出方向數作額外輸入變量,也不要求 在像中。未使用的輸出座標決定不可避免的殘差;未使用的輸入座標則決定同樣良好擬合的整族解。
常見錯誤
(小殘差不能證明輸入準確)
某些輸入方向可能幾乎不被映射看見,在那裏大幅改動,對輸出影響卻很小,所以小殘差本身不能證明輸入準確。下面第三個例題把這點定量化:數據只改 ,解卻改變 ,而殘差完全不變。
定理 4.2.8
(廣義逆的範數)
若非零映射的最小正奇異值是 ,則
證明
(在左奇異座標內估計並取得等號)
在左奇異座標 內,
取屬於 的左奇異向量 可得等號,此時 。故估計是銳的,不只是方便上界。對同一固定映射的數據差使用不等式,得到 。
投影本身不放大長度,範數至多一。放大發生在恢復輸入座標時,因必須除以小的正奇異值。相反,核座標按最小範數慣例直接設為零,這是不同操作。零映射的廣義逆及範數均為零,不使用最小正奇異值公式。
例題 4.2.9
(數據只改一點,殘差卻完全相同)
對 設
比較最小範數最小二乘輸入,並解釋 時的情況。
解答。 奇異值為一與 ,所以
兩個輸入分別是 、;殘差均為 ,範數一。但數據改動範數為 ,輸入改動範數卻為一。令 趨零,就看見 的放大。
到零時秩改變,第二輸入方向成為真正核方向。廣義逆必須把該方向設為零,而非除以零:
對極限數據 ,全部擬合輸入的首座標為一,第二座標任意。最小範數選擇是 。正參數下受擾數據的輸入 ,即使數據趨於 ,也不趨向該最小範數選擇。
這並不矛盾。秩變化附近的廣義逆很敏感。在固定的正奇異方向上,誤差按其倒數縮放;奇異值恰好為零時,幾何規則改為刪去該方向。
快速檢查
(設 。最小二乘輸出 唯一嗎?輸入 唯一嗎?)
分開考慮像與核各自的作用。
解答 · 答案
輸出必唯一:它是 在 上的投影 。輸入唯一當且僅當 ,因為極小元的集合是 。
哪些是內在量,哪些仍有選擇?
奇異值由 決定,但奇異向量未必唯一。重複的正奇異值容許在相應輸入、輸出子空間內,同時作標準正交換基。核與左零空間的基底亦可改變,但兩個正交投影與最小範數解的乘積公式不變。
最後保留範數假設。加權最小二乘使用指定輸入、輸出度量及相應伴隨,不能保留普通轉置就直接搬用上述公式。本章處理標準歐幾里得/Hermitian 幾何;數值算法、截斷閾值及加權實作屬進一步課題,不是精確證明中隱藏的假設。