动机
一批没有类别标签的量度,可以呈现多个中心。单一高斯(Gaussian)必须以一组均值与协方差解释所有观测;混合模型则假设每个观测背后都有一个未观察到的分量标签。困难在于:边际似然先对标签求和,再取对数,于是已知标签时容易处理的高斯计算,不能直接搬过来。
期望最大化法,简称 EM,把问题拆成两个互相配合的步骤:给定目前参数,每个观测应把多少后验权重分给各标签?给定这些权重,参数应如何更新?软指派来自概率模型,不是随意填写的信心分数。似然单调性的证明说明这种迭代的合理性,却不保证找到全局最优点,甚至不保证存在有限的最大值。
潜在变量也可以是连续的隐藏因子。因子分析用共享因子解释量度之间的相关,同时保留各坐标独有的噪声。把它与混合模型比较,可避免一个常见误解:观测分布有定义,不代表背后每个隐藏方向都能唯一恢复。
定义
定义 2.1.1
(有限高斯混合)
在 取 个分量,权重满足 、,均值为 ,协方差 对称正定。潜在标签满足 ,而 的密度为 。边际密度为
独立观测的对数似然为 。责任度 等于 。
同一观测的责任度总和为一。它同时依赖权重、协方差与观测位置;若权重或协方差不同,均值最近的分量未必有最大责任度。实现时可以用对数密度及 log-sum-exp 避免极小正数下溢,但这属数值稳定问题,应与概率定义分开。
对每个观测另取标签上的概率分布 ,定义
其中零权重的项按连续延伸取值。因为所有联合标签权重皆正,任何 都可使用。 是熵,属于下界本身,并非额外加入原似然的可选正则项。
定义 2.1.2
(高斯因子模型)
设 与 独立, 是正对角矩阵。对载荷矩阵 ,令 。则 。共享因子产生非对角协方差,对角噪声则描述各量度坐标特有的变化。
因子是连续量,与离散混合标签不同。这个模型也不同于一般主成分重构,因为它明确分开潜在变化与量度噪声。主成分分析是几何近似准则,因子分析则是协方差的分布模型;要说明两者关系,必须指定噪声假设,不能只因为都用了低维坐标便视为同一方法。混合模型说每个观测来自几个群体之一;因子模型说多个隐藏的连续影响共同形成每个观测。两者都有潜在变量,却回答不同问题。混合可以有多个模态;单一高斯因子模型积分掉因子后,仍然是高斯分布。
因子方向虽依赖惯例,固定参数后仍可推断隐藏坐标。把因子的标准高斯先验密度与观测的条件密度相乘,会得到因子的二次式。令
配方后可知,给定观测的因子条件分布是均值 、协方差 的高斯。 的二次型是向量范数平方加一个非负项,故正定。推断保留了条件不确定性,并非把隐藏坐标当成已知数值。
这也说明以 EM 处理因子分析时需要什么。后验均值只给一阶矩,二次似然项还需要二阶矩,即 ,不能只取后验均值的外积。漏掉协方差,等于把不确定因子当成已观察量,会改变更新方程。本节推导了条件推断;若要完整估计载荷与对角噪声,仍须另外推导受限制的 M 步及检查可行性。
定理/命题
定理 2.1.3
(EM 恒等式与单调性)
对上述严格正权重的有限混合,有
因此 ,等号当且仅当每个 都是目前后验。若 E 步使用 的后验,随后找到可行的 使 ,则 。
定理 2.1.4
(加权散布非奇异时的高斯混合 M 步)
固定责任度,令 。假设以下加权散布均为正定,则在未另加限制的正定高斯混合参数中,最大化 得
这是最大似然更新,协方差除以 ,并非为了无偏估计而作的修正。若加权散布奇异,公式便不会产生可行的正定协方差,上述无限制最大化的结论也不再适用。
定理 2.1.5
(高斯因子的正交歧义)
对任意正交的 矩阵 ,以 取代 ,因子模型的观测分布不变。因此,若没有额外限制,仅靠 的分布无法识别潜在因子的方向及正负号。
证明思路或证明
证明
(E 步使下界接触似然)
记 ,,则后验为 。展开散度可得
对观测求和即得恒等式。由 ,在 的正支撑上,记后验为 ,有 ,因此散度非负;等号要求两个分布完全相同。E 步令散度为零,故
这条不等式链没有使用、也没有证明全局最优性。
证明透视
每次重建的下界
每次重新计算责任度,是为了让下界在旧参数处取等号。任意改善一个加权高斯目标,并不足以得到不等式链最后的等号。近似 E 步需要另作论证。广义 M 步可以只增加正确的下界,不必精确最大化,但所有更新参数仍必须可行。
证明
(更新公式与因子歧义的推导)
M 步中熵固定,权重的目标是 。对权重总和加拉格朗日(Lagrange)乘子,得到 ;严格凹性保证最大值。固定正定协方差后,把均值相关的加权二次式配方,便得到加权平均。
令 为除以 的加权协方差,剩下要最小化 。若 正定,令 。除常数外,目标变成 ,每个特征值 时最小,所以 。
因子模型方面,独立性给出 及 。将 换成 后, 不变。高斯分布由均值与协方差决定,故观测分布相同。
例题详解
例题 2.1.6
(责任度与对数似然比)
两个一维高斯分量等权,均值分别为 、,方差皆一。在 两密度相同,责任度各为 。一般 处,第二分量与第一分量的密度比为 ,所以第二责任度为 。在 时约为 ;即使观测恰在其中一个均值上,另一分量仍有正后验概率,因为两个密度有重叠。
例题 2.1.7
(完整计算一次加权 M 步)
观测为零与二。假设有效 E 步得到第一分量的责任度为 ,第二分量为 。例如,等权、均值零与二、共同方差 就会产生这些责任度。两个有效样本数皆一,新权重仍为 ,新均值为 与 。第一方差为 ;对称性给出第二方差亦为 。这是软加权拟合。若把每个观测硬指派给最可能分量,这个例子会得到零方差,离开原来的正方差模型。
例题 2.1.8
(因子解释相关,但不能固定自己的正负号)
取一个标准高斯因子,载荷 ,独立噪声协方差 ,则
相关系数为 。把因子及载荷同时反号,观测分布完全不变。协方差特征值为七与三,第一特征方向为 ,与载荷 不同,原因是两个噪声方差不相等。可见直接拿协方差第一特征向量当载荷,并不是一般的因子分析方法。
概念视角代数
用行内积描述载荷矩阵
记 为 的第 行。那么协方差的元素是: 时 ,而 。因此数据只约束 各行之间的内积,而旋转 恰好保持这些内积:。在上面的例子中,,,所以 ,。
常见错误
软高斯指派与最近中心几何有一个精确联系。若所有分量等权、共同协方差为 ,责任度与 成正比。固定中心、让方差趋近零,唯一最近分量的责任度便趋近一;若最近距离平手,极限权重会在平手分量间分配。因此硬指派是特定极限,不是 EM 的定义。不等权重或不同协方差会改变有限方差的指派,而协方差塌缩也不是合理选择这个极限的程序。
E 步所说的“期望”,是在目前后验下平均完整数据的对数似然,不是另抽新样本、以边际均值填补缺失量,或使用未知真参数作期望。这个分布来自目前可计算的拟合模型。保持条件分布明确,才能在潜在变量不只是单一混合标签时,重新正确推导算法。
反例模式
高斯混合的似然可以无上界
人们很容易假定,最大化混合似然总有一个有限的答案让 EM 去逼近。事实并非如此。当至少有两个分量及一个观测 ,保留一个在所有样本点均有正密度的固定背景分量。另一分量取固定权重 、均值 、协方差 。它在 的密度与 成正比,所以当 ,该点的对数密度趋向正无穷。其他观测的密度仍有背景分量提供的正下界,因此总似然无上界。单调增加无法解决“有限最大值不存在”的问题。协方差限制或正则化会改变优化问题,必须清楚列出。
常见错误
(最近的均值未必有最大的责任)
取两个单位方差分量,均值为 与 ,权重为 与 。在 处,第一个均值更近,但第二项与第一项的比值为 ,所以第二个分量的责任约为 。责任同时考虑混合比例与协方差,而不只看距离;只有在权重相等、协方差为相同各向同性的情形下,它才与最近中心分配一致。
常见错误
(收敛与解释都需要另外的证据)
对数似然非递减,不代表参数一定收敛,尤其在目标无上界时。即使得到驻点,也可能是很差的局部解。混合分量互换标签不改变密度,因子正交旋转也不改变协方差。因此,分量名称或因子方向的意义,来自识别惯例或外部解释,并非似然函数自动赋予。
总结
EM 交替进行后验推断与紧下界的改善。加权均值与协方差来自这个下界,小样本时尤其不能忽略可行性条件。因子分析以共享坐标及对角噪声解释协方差,旋转歧义则显示不可识别性。似然数值好,不等于解释唯一、全局最优或数值稳定。
练习
快速检查
(两个等权、单位方差的高斯分量,均值为负一与一。求观测负一时第二分量的责任度,给出精确式并核对总和为一。)
使用似然比,无须重算高斯归一化常数。
解答 · 答案
第二责任度是 ,第一为 。两者非负、总和为一。由对称性,观测 与 的责任度刚好交换。
快速检查
(观测为零与三,第一分量的固定责任度为 0.75、0.25。求其有效样本数、更新均值及更新方差。)
方差必须以新均值为中心。
解答 · 答案
有效样本数为一,均值为 ,方差为 。若除以有效样本数减一,既无定义,也不是似然更新。
快速检查
(在塌缩反例中,为何一个分量塌缩到观测点,不会迫使其他观测的对数密度趋向负无穷?)
保留有正固定权重的背景分量。
解答 · 答案
设背景密度为 ,权重 。每个样本的密度至少是 ,且这个下界不依赖 ,故其对数有有限下界。在 ,塌缩分量使对数密度向上发散;有限个观测的总和中没有相抵的向下发散。
快速检查
(载荷及噪声协方差原来都是二维单位矩阵。给出两个不同载荷,具有相同观测协方差,并解释 EM 单调性为何不能区分它们。)
考虑非平凡正交旋转。
解答 · 答案
取 与 。两者皆满足 ,所以加上指定噪声后,观测协方差都是 。任意数据集下似然完全相同;增加似然的定理无法识别观测模型本来就没有表达的差别。