動機
把協方差寫成低秩部分加對角噪音,只說明一種相關結構,還沒有解決估計問題。隱藏因子並非已觀察的解釋變量。如果先猜一組因子分數,再把量度對這些分數作回歸,卻不保留分數的不確定性,所得方法便不是原概率模型的最大似然估計。
本節把先前的條件高斯(Gaussian)計算延伸成完整 EM 迭代。關鍵橋樑是二階矩:後驗均值的外積之外,還有後驗協方差。有了兩者,載荷更新才成為正確的矩陣最小二乘,噪音更新才是條件期望下的殘差方差。這種推導比背誦更新式更可靠,因為更換噪音假設時,也知道哪些步驟必須重做。
普通因子分析容許不同座標有不同噪音方差;概率主成分分析,簡稱 PPCA,則令所有噪音方差相同。正是這項限制,讓樣本協方差的主方向出現在似然解中。兩種模型都不能單靠觀測決定隱藏座標的唯一方向。
定義
定義 4.1.1
(中心化高斯因子分析)
給定 ,固定 ,記 。對 ,設
各觀測互相獨立,因子與噪音亦獨立。,而 的對角元素皆正。令 ,則邊際協方差為 。
固定樣本均值有似然依據:任何正定協方差下,高斯邊際似然的最佳均值都是樣本均值。因此可以先中心化,再估計協方差。若改用同時更新均值的 EM,必須使用相應的增廣統計量,不能把另一方案的均值更新與本節公式混用。 除以 ,目的是最大化似然,而非製造無偏估計。
在舊參數 下定義
E 步提供下列量,整個隨後的 M 步都要把它們固定:
為 , 為 。即使所有後驗均值只生成一個較小子空間, 的存在仍令 正定。實際計算宜解線性方程組;逆矩陣記號表達數學關係,不表示必須明確計算逆矩陣。
定義 4.1.2
(PPCA 與明確的噪音下限)
PPCA 指 、 的因子模型。若預先指定 ,可把限制改為 或 。這是另一個受限制的似然問題,不能與更新後隨意加一個小常數混為一談。
定理/命題
定理 4.1.3
(後驗矩與完整的中心化 M 步)
有 ,故 。令
若每個 ,因子分析更新為 ;若設噪音下限,則 。PPCA 的更新為 ,前提是其為正;有下限時改為 。
兩種噪音結構有同一個載荷更新,因為每一行的正噪音權重只把整個回歸殘差乘上一個正數,並不改變其最小點。若載荷本身有耦合限制,或噪音不是對角結構,就應重新推導,不能沿用這句理由。
定理 4.1.4
(似然單調性與方向歧義)
精確 E 步加上上述可行 M 步,不會降低所指定中心化模型的觀測高斯似然,包括已明確指定的噪音下限模型。對任意正交矩陣 , 與 產生同一邊際分佈。因此單調性既不能選定唯一載荷方向,也不能保證達到全域最大似然。
定理 4.1.5
(樣本協方差正定時的主 PPCA 擬合)
設 的特徵值為 ,。取前 個正交單位特徵向量為 ,並令 。若 ,一個無下限限制的最大似然解為
其中 任意正交。重複特徵值容許更多等價方向;正定與嚴格間隙假設把邊界情形排除在本命題之外。
證明思路或證明
證明
(先配方,再保留兩個條件矩)
固定 ,聯合負對數密度乘二後,含 的項為
配方得 加常數。對非零 ,有 ,故這確實定義高斯後驗。再寫 ;條件中心化變量的均值為零,兩個交叉項消失,所以二階矩是 。
刪去與新參數無關的常數,M 步最小化
中括號可配成
最後一項經正定 加權後,跡非負,而且恰在 時為零。因此這是全域 M 步最小點,不只是解了一條導數方程。剩下的目標為 。當 ,各項先減後增,最小點是 ;加下限後便截在 。等方差時目標化為 ,微分得所述平均。
是新載荷下條件期望殘差外積的平均,故半正定。若 且沒有下限,對應目標 在 時無下界,並不存在正方差的 M 步最小點。直接報零方差,會掩蓋模型邊界失效。
後驗也可從收縮理解。先按噪音標準差把量度白化;白化載荷的某個奇異方向若有奇異值 ,該潛在方向的後驗方差是 。相對噪音越強的信號方向,估計越精確;零奇異方向完全沒有新增資訊,均值仍零、方差仍一。若對同一因子再作一次獨立噪音量度,其預測均值是載荷乘因子後驗均值,再加擬合的觀測均值;預測協方差應是載荷乘後驗協方差再乘載荷轉置,加上新噪音協方差。只代入一個分數並保留新噪音,會低估預測不確定性。這是擬合模型內的推論,並不證明實驗真的符合其噪音假設。
證明
(一次 EM 迭代不會降低似然)
設 為中心化數據的觀測對數似然, 為舊的可行參數。對每個 與每個 ,由貝葉斯(Bayes)公式得 。對 取期望,再對 求和:
其中 是完整數據對數似然的期望,。除去與 無關的項, 等於上述 M 步目標的 倍,所以可行的 M 步輸出 在包含 的可行集合上最大化 ,即 。Gibbs 不等式( 與 兩個後驗之間的 Kullback–Leibler 散度非負)給出對每個 都有 。把 的兩個表達式相減,
定理的第二個陳述是直接的:對正交 有 ,故 以至邊際高斯分佈不變。
證明透視
兩個不等式與一個固定的後驗
這個論證有一個固定對象和兩個不等式。固定對象是 處的後驗: 與 都由它定義,所以 、 只算一次,並在整個 M 步中保持不變。第一個不等式來自 M 步,只把 與 比較,因此 必須屬於可行集合;設了噪音下限時,低於下限的舊參數不在此保證之內。第二個不等式是 Gibbs 不等式,完全不需要優化。兩個不等式都沒有把 與全域最大點比較,所以結論只是 不下降,並非收斂到最大值。若在部分更新後的參數處重算已存的矩, 就不再是同一個固定後驗下的期望,分解 也就不再描述正在最小化的目標。
證明
(為何等方差選出主方向)
負邊際對數似然除去常數為 。PPCA 的協方差至多有 個特徵值高於共同底層 。固定協方差特徵值 ,最大樣本特徵值應與最大 配對:當 及 ,順序配對的跡減去交換後的跡為 ,故交換一個已順序配對的對不會降低跡。一般的兩組正交基,其重疊平方構成雙隨機矩陣;跡是這些元素的線性函數,最小值在一個排列取得,再由交換判定順序。
如此對齊後,目標為 。逐項最小化得 及尾部平均 。間隙確保載荷方差 皆正,亦符合次序限制。容許更少的正載荷,仍屬此已最小化的秩至多 族,不能再改善。最後 直接證明正交歧義。
證明透視
先對齊,再逐個變量優化
真正的想法是分離。先固定協方差的特徵值,證明當 的特徵向量與 的特徵向量按同樣次序對齊時,跡項最小;這靠交換不等式。對齊之後,目標函數分解為單變量問題,由此得到 和尾部平均值。等噪音結構只以「 有 個特徵值相同」的要求出現,這正是尾部特徵值被合併的原因。間隙假設最後才用到,用來令每個 為正,載荷才存在。 正定使 保持有限。由於只有 出現,載荷只能確定到 為止。
例題詳解
例題 4.1.6
(完整的一維 EM 迭代)
取中心化數據 、一個因子、舊載荷一及噪音方差一。得 、後驗均值 、、、,故 ,。邊際方差由二變成 ,朝樣本二階矩四前進。若漏掉後驗協方差,便會錯得載荷二、噪音零。這不是合理的精確觀測,而是抹除了隱藏因素的不確定性。一維下兩種方差本來亦不能分別識別。
例題 4.1.7
(兩個量度仍留下因子不確定性)
取 、、。後驗精度為 ,所以 。加權分數為 ,得 。二階矩為 。第二座標噪音較大,因此權重較小;只取 則會漏掉 的後驗不確定性。
例題 4.1.8
(保留一個方向,合併兩個殘差方差)
若 且 ,噪音估計為 。載荷可取 ,擬合協方差為 。PPCA 保留首個樣本方差,卻把尾部兩個合併,並非完整重現 。把噪音直接設為最小特徵值一,是另一個問題。小樣本下,因子分析雖較靈活,額外參數亦增加識別與估計困難。
常見錯誤
反例模式
同一協方差容許不同解釋
一個誘人的說法是:觀測協方差決定載荷與噪音方差。事實並非如此。一維邊際方差四,可由載荷 加噪音一產生,也可由載荷一加噪音三產生,兩者因子先驗皆為標準高斯。這種歧義不只是正負號。高維對角噪音模型也必須先檢查維度與結構,才談唯一性。下三角載荷慣例可以固定部分旋轉,卻不自動證明每個協方差的因子與噪音分解唯一。
常見錯誤
(收斂容差不能選因子數)
增加 擴大模型族,訓練似然可能純粹因靈活性而提高。選因子數需要明確的驗證或模型比較程序;EM 的停止容差不是預測不確定性的估計。重複特徵值也可讓個別軸改變而共同子空間不變,因此比較載荷時應容許模型本來就無法識別的旋轉。
思想史
PCA 的概率橋樑
Tipping 與 Bishop 的 1999 年 PPCA 原論文 以等方差潛在高斯模型及 EM 估計主子空間。這項聯繫依賴該概率模型,不能把任意對角噪音因子分析都視為普通 PCA。
總結
後驗均值與二階矩各有作用。保留兩者,才得到正定潛在散佈、載荷回歸及期望殘差噪音更新。噪音下限可以有精確受限解。等方差把似然協方差連到主特徵子空間;一般對角噪音與潛在旋轉則要求更審慎的解釋。
練習
快速檢查
(在一維 EM 例中,分別計算兩個觀測在新載荷下的條件期望殘差平方,並解釋為何等於新噪音方差。)
把後驗均值的殘差平方加上載荷平方乘後驗方差。
解答 · 答案
對 ,有 、、,所以期望殘差平方為 。另一觀測由對稱性有相同結果,平均亦為 。只保留均值殘差,會低估噪音。
快速檢查
(若 為二階單位矩陣, 的兩行為 與 , 的對角為 與 ,求載荷及噪音更新,再加入 的噪音下限。)
下限不改變無載荷限制的回歸最小點。
解答 · 答案
,。沒有下限時噪音為 ;加入下限後為 。任意正對角噪音下,同一載荷都讓配方後的非負項為零,故不用另外求載荷。
快速檢查
(對樣本協方差 diag(10,6,2,2) 作兩因子 PPCA,求邊際特徵值並說明旋轉自由。)
先平均尾部兩個特徵值。
解答 · 答案
噪音為二。載荷可取兩列 與 ,載荷方差為八與四,邊際特徵值便是 。右乘任意二階正交矩陣仍保留 及似然。即使觀測的前兩個特徵值不同,潛在因子列仍可混合,因為其先驗等方。
快速檢查
(舊載荷為零時,求後驗均值與下一次載荷,並解釋這種初始化的缺點。)
與觀測獨立的因子,其後驗就是原先驗。
解答 · 答案
給 、所有 ,因此 、、。下一步噪音吸收各座標方差,PPCA 則吸收其平均;之後載荷仍為零。即使存在較佳的非零載荷,單調性也不會強迫迭代離開這個固定配置。