动机
把协方差写成低秩部分加对角噪声,只说明一种相关结构,还没有解决估计问题。隐藏因子并非已观察的解释变量。如果先猜一组因子分数,再把量度对这些分数作回归,却不保留分数的不确定性,所得方法便不是原概率模型的最大似然估计。
本节把先前的条件高斯(Gaussian)计算延伸成完整 EM 迭代。关键桥梁是二阶矩:后验均值的外积之外,还有后验协方差。有了两者,载荷更新才成为正确的矩阵最小二乘,噪声更新才是条件期望下的残差方差。这种推导比背诵更新式更可靠,因为更换噪声假设时,也知道哪些步骤必须重做。
普通因子分析容许不同坐标有不同噪声方差;概率主成分分析,简称 PPCA,则令所有噪声方差相同。正是这项限制,让样本协方差的主方向出现在似然解中。两种模型都不能单靠观测决定隐藏坐标的唯一方向。
定义
定义 4.1.1
(中心化高斯因子分析)
给定 ,固定 ,记 。对 ,设
各观测互相独立,因子与噪声亦独立。,而 的对角元素皆正。令 ,则边际协方差为 。
固定样本均值有似然依据:任何正定协方差下,高斯边际似然的最佳均值都是样本均值。因此可以先中心化,再估计协方差。若改用同时更新均值的 EM,必须使用相应的增广统计量,不能把另一方案的均值更新与本节公式混用。 除以 ,目的是最大化似然,而非制造无偏估计。
在旧参数 下定义
E 步提供下列量,整个随后的 M 步都要把它们固定:
为 , 为 。即使所有后验均值只张成一个较小子空间, 的存在仍令 正定。实际计算宜解线性方程组;逆矩阵记号表达数学关系,不表示必须明确计算逆矩阵。
定义 4.1.2
(PPCA 与明确的噪声下限)
PPCA 指 、 的因子模型。若预先指定 ,可把限制改为 或 。这是另一个受限制的似然问题,不能与更新后随意加一个小常数混为一谈。
定理/命题
定理 4.1.3
(后验矩与完整的中心化 M 步)
有 ,故 。令
若每个 ,因子分析更新为 ;若设噪声下限,则 。PPCA 的更新为 ,前提是其为正;有下限时改为 。
两种噪声结构有同一个载荷更新,因为每一行的正噪声权重只把整个回归残差乘上一个正数,并不改变其最小点。若载荷本身有耦合限制,或噪声不是对角结构,就应重新推导,不能沿用这句理由。
定理 4.1.4
(似然单调性与方向歧义)
精确 E 步加上上述可行 M 步,不会降低所指定中心化模型的观测高斯似然,包括已明确指定的噪声下限模型。对任意正交矩阵 , 与 产生同一边际分布。因此单调性既不能选定唯一载荷方向,也不能保证达到全局最大似然。
定理 4.1.5
(样本协方差正定时的主 PPCA 拟合)
设 的特征值为 ,。取前 个正交单位特征向量为 ,并令 。若 ,一个无下限限制的最大似然解为
其中 任意正交。重复特征值容许更多等价方向;正定与严格间隙假设把边界情形排除在本命题之外。
证明思路或证明
证明
(先配方,再保留两个条件矩)
固定 ,联合负对数密度乘二后,含 的项为
配方得 加常数。对非零 ,有 ,故这确实定义高斯后验。再写 ;条件中心化变量的均值为零,两个交叉项消失,所以二阶矩是 。
删去与新参数无关的常数,M 步最小化
中括号可配成
最后一项经正定 加权后,迹非负,而且恰在 时为零。因此这是全局 M 步最小点,不只是解了一条导数方程。剩下的目标为 。当 ,各项先减后增,最小点是 ;加下限后便截在 。等方差时目标化为 ,微分得所述平均。
是新载荷下条件期望残差外积的平均,故半正定。若 且没有下限,对应目标 在 时无下界,并不存在正方差的 M 步最小点。直接报零方差,会掩盖模型边界失效。
后验也可从收缩理解。先按噪声标准差把量度白化;白化载荷的某个奇异方向若有奇异值 ,该潜在方向的后验方差是 。相对噪声越强的信号方向,估计越精确;零奇异方向完全没有新增信息,均值仍零、方差仍一。若对同一因子再作一次独立噪声量度,其预测均值是载荷乘因子后验均值,再加拟合的观测均值;预测协方差应是载荷乘后验协方差再乘载荷转置,加上新噪声协方差。只代入一个分数并保留新噪声,会低估预测不确定性。这是拟合模型内的推论,并不证明实验真的符合其噪声假设。
证明
(一次 EM 迭代不会降低似然)
设 为中心化数据的观测对数似然, 为旧的可行参数。对每个 与每个 ,由贝叶斯(Bayes)公式得 。对 取期望,再对 求和:
其中 是完整数据对数似然的期望,。除去与 无关的项, 等于上述 M 步目标的 倍,所以可行的 M 步输出 在包含 的可行集合上最大化 ,即 。Gibbs 不等式( 与 两个后验之间的 Kullback–Leibler 散度非负)给出对每个 都有 。把 的两个表达式相减,
定理的第二个陈述是直接的:对正交 有 ,故 乃至边际高斯分布不变。
证明透视
两个不等式与一个固定的后验
这个论证有一个固定对象和两个不等式。固定对象是 处的后验: 与 都由它定义,所以 、 只算一次,并在整个 M 步中保持不变。第一个不等式来自 M 步,只把 与 比较,因此 必须属于可行集合;设了噪声下限时,低于下限的旧参数不在此保证之内。第二个不等式是 Gibbs 不等式,完全不需要优化。两个不等式都没有把 与全局最大点比较,所以结论只是 不下降,并非收敛到最大值。若在部分更新后的参数处重算已存的矩, 就不再是同一个固定后验下的期望,分解 也就不再描述正在最小化的目标。
证明
(为何等方差选出主方向)
负边际对数似然除去常数为 。PPCA 的协方差至多有 个特征值高于共同底层 。固定协方差特征值 ,最大样本特征值应与最大 配对:当 及 ,顺序配对的迹减去交换后的迹为 ,故交换一个已顺序配对的对不会降低迹。一般的两组正交基,其重叠平方构成双随机矩阵;迹是这些元素的线性函数,最小值在一个排列取得,再由交换判定顺序。
如此对齐后,目标为 。逐项最小化得 及尾部平均 。间隙确保载荷方差 皆正,亦符合次序限制。容许更少的正载荷,仍属此已最小化的秩至多 族,不能再改善。最后 直接证明正交歧义。
证明透视
先对齐,再逐个变量优化
真正的想法是分离。先固定协方差的特征值,证明当 的特征向量与 的特征向量按同样次序对齐时,迹项最小;这靠交换不等式。对齐之后,目标函数分解为单变量问题,由此得到 和尾部平均值。等噪声结构只以“ 有 个特征值相同”的要求出现,这正是尾部特征值被合并的原因。间隙假设最后才用到,用来使每个 为正,载荷才存在。 正定使 保持有限。由于只有 出现,载荷只能确定到 为止。
例题详解
例题 4.1.6
(完整的一维 EM 迭代)
取中心化数据 、一个因子、旧载荷一及噪声方差一。得 、后验均值 、、、,故 ,。边际方差由二变成 ,朝样本二阶矩四前进。若漏掉后验协方差,便会错得载荷二、噪声零。这不是合理的精确观测,而是抹除了隐藏因素的不确定性。一维下两种方差本来亦不能分别识别。
例题 4.1.7
(两个量度仍留下因子不确定性)
取 、、。后验精度为 ,所以 。加权分数为 ,得 。二阶矩为 。第二坐标噪声较大,因此权重较小;只取 则会漏掉 的后验不确定性。
例题 4.1.8
(保留一个方向,合并两个残差方差)
若 且 ,噪声估计为 。载荷可取 ,拟合协方差为 。PPCA 保留首个样本方差,却把尾部两个合并,并非完整重现 。把噪声直接设为最小特征值一,是另一个问题。小样本下,因子分析虽较灵活,额外参数亦增加识别与估计困难。
常见错误
反例模式
同一协方差容许不同解释
一个诱人的说法是:观测协方差决定载荷与噪声方差。事实并非如此。一维边际方差四,可由载荷 加噪声一产生,也可由载荷一加噪声三产生,两者因子先验皆为标准高斯。这种歧义不只是正负号。高维对角噪声模型也必须先检查维度与结构,才谈唯一性。下三角载荷惯例可以固定部分旋转,却不自动证明每个协方差的因子与噪声分解唯一。
常见错误
(收敛容差不能选因子数)
增加 扩大模型族,训练似然可能纯粹因灵活性而提高。选因子数需要明确的验证或模型比较程序;EM 的停止容差不是预测不确定性的估计。重复特征值也可让个别轴改变而共同子空间不变,因此比较载荷时应容许模型本来就无法识别的旋转。
思想史
PCA 的概率桥梁
Tipping 与 Bishop 的 1999 年 PPCA 原论文 以等方差潜在高斯模型及 EM 估计主子空间。这项联系依赖该概率模型,不能把任意对角噪声因子分析都视为普通 PCA。
总结
后验均值与二阶矩各有作用。保留两者,才得到正定潜在散布、载荷回归及期望残差噪声更新。噪声下限可以有精确受限解。等方差把似然协方差连到主特征子空间;一般对角噪声与潜在旋转则要求更审慎的解释。
练习
快速检查
(在一维 EM 例中,分别计算两个观测在新载荷下的条件期望残差平方,并解释为何等于新噪声方差。)
把后验均值的残差平方加上载荷平方乘后验方差。
解答 · 答案
对 ,有 、、,所以期望残差平方为 。另一观测由对称性有相同结果,平均亦为 。只保留均值残差,会低估噪声。
快速检查
(若 为二阶单位矩阵, 的两行为 与 , 的对角为 与 ,求载荷及噪声更新,再加入 的噪声下限。)
下限不改变无载荷限制的回归最小点。
解答 · 答案
,。没有下限时噪声为 ;加入下限后为 。任意正对角噪声下,同一载荷都让配方后的非负项为零,故不用另外求载荷。
快速检查
(对样本协方差 diag(10,6,2,2) 作两因子 PPCA,求边际特征值并说明旋转自由。)
先平均尾部两个特征值。
解答 · 答案
噪声为二。载荷可取两列 与 ,载荷方差为八与四,边际特征值便是 。右乘任意二阶正交矩阵仍保留 及似然。即使观测的前两个特征值不同,潜在因子列仍可混合,因为其先验等方。
快速检查
(旧载荷为零时,求后验均值与下一次载荷,并解释这种初始化的缺点。)
与观测独立的因子,其后验就是原先验。
解答 · 答案
给 、所有 ,因此 、、。下一步噪声吸收各坐标方差,PPCA 则吸收其平均;之后载荷仍为零。即使存在较佳的非零载荷,单调性也不会强迫迭代离开这个固定配置。