特征很多的数据集,变异往往集中在少数几个方向上。主成分分析(PCA)寻找一组标准正交方向,按所承载的样本变异由大到小排列,再用前几个方向把每个观测值表示为一个短向量。它用于压缩、二维或三维可视化,也常作为聚类或分类前的预处理。本节承接 k-means 的质心与平方误差观点,以及已用过协方差矩阵的白化一节;这里从单一优化问题推导 PCA,并证明它保证什么、不保证什么。
中心化数据与协方差矩阵
定义 13.1.1
(样本均值、中心化数据与样本协方差)
设 为观测值,。样本均值为 ,中心化观测值为 ,满足 。样本协方差矩阵为
它是对称半正定的,因为对每个 都有 。这里除以 ;若改除以 ,所有特征值同乘常数 ,特征向量不变。
对单位向量 ,数 是第 个观测值中心化后沿 的坐标,而 就是这些坐标的样本方差。由谱定理,存在由特征向量组成的标准正交基 ,,且 。
定义 13.1.2
(主成分、得分与解释方差)
的单位特征向量 按特征值由大到小排列,称为主方向(载荷)。第 个观测值在第 个成分上的得分为 。特征值 是第 个成分的方差。前 个成分解释的方差比例为
分母等于 。若特征值有重根,重特征空间内的方向并不唯一;而且每个 的符号改变同样有效。
PCA 优化的是什么
定理 13.1.3
(方差最大化与最佳秩 k 重构)
设 的特征对 如上,并设 。
- ,在 取得。
- 对 ,,在 取得。
- 不同成分的得分向量互不相关:。
- 在所有列标准正交的矩阵 中,平均平方重构误差 在 时最小,最小值为 。
证明
(方差与重构结论的证明)
把单位向量写成 ,其中 。于是 ,是特征值的加权平均,故不超过 ,且在 时取等。若 ,则 ,同一加权平均不超过 。这证明了第 1、2 项。
第 3 项:,当 时为 ,否则为 。
第 4 项:因为 是正交投影,由勾股恒等式得 。对 取平均,误差等于 。所以最小化误差等价于在 的标准正交列 上最大化 。令 ,则 ,其中 ,且 。满足 、 的加权和 ,在权重 全放在最大的 个特征值时最大,等于 ,并在 张成 时取得。因此最小误差为 。
证明透视
重建下界真正是在哪里证明的
第 4 项的证明有两步,只有第二步不是例行公事。第一步把误差化为一个迹:它用到 的列标准正交,所以 是正交投影,勾股恒等式才适用。若列不是标准正交,这个恒等式不成立, 也就不再是误差。
第二步把未知量由矩阵 换成 个数 。投影的两个性质约束了它们:,以及 。收尾是一个比较。由于 时 ,而 时 ,
每个不等号分别用到 或 的符号,最后的零正是约束 。当 时 ,即 张成 ,等号成立。若 ,还有其他子空间也能取等,此时最小值点并不唯一。
第 4 项说明为什么 PCA 是 k-means 平方误差目标的自然搭档:它选出过均值的 维子空间,使数据与其投影之间的平方距离最小。它完全没有用到类别标签,所以方差大的方向不一定是能分开类别的方向。
概念视角几何
主方向是协方差椭球的轴
设 可逆,考虑 。写 ,条件化为 ,这是一个椭球,其轴沿 方向,半轴长为 。所以主方向恰好就是这个椭球的轴,而第 1 项说明第一主方向是最长的轴。在第一个例题中,轴指向 与 ,长度分别为 和 。特征值相等时横截面是圆,这就是这些方向不唯一的原因。
计算流程
- 计算 及中心化数据。2. 形成 。3. 求其特征值与标准正交特征向量。4. 选取 ,例如取使解释方差比例达到指定水平的最小 。5. 报告得分 ,并以 重构。终止性与成本即对称特征值问题的终止性与成本,稠密方法约为 。
例题
例题 13.1.4
(精确计算二维数据集)
取四个观测值 。均值为 ,中心化后为 。于是
特征多项式的迹为 ,行列式为 ,故 与 。由于 及 ,单位方向为 与 。
在 上的得分为 ,均方为 ,与预测一致。在 上的得分为 ,均方为 。第一个成分解释的比例为 。只用一个成分重构第三点,得 ,而实际为 ,平方误差为 。四点的平方误差为 ,平均为 ,与第 4 项吻合。
例题 13.1.5
(解释方差,以及单位的影响)
设三特征数据集已中心化的协方差为
此矩阵为分块对角。上方的块有特征值 ,即 与 ,方向为 与 ;最后一块给出 ,方向为 。方差比例:一个成分为 ,两个成分为 。两个成分的平均平方重构误差为 。
现在改用小十倍的单位表示第三个特征,即把它换成原值的 倍。其方差变为 ,协方差矩阵为最后一位是 的分块对角矩阵。最大特征值为 ,方向为 ,一个成分现在解释 的方差。背后的现象丝毫没有改变,改变的只是单位。
例题 13.1.6
(退化情形:共线数据与各向同性点云)
先取三个观测值 ,它们落在一条直线上。均值为 ,中心化后为 ,故
迹为 ,行列式为 ,所以特征值为 与 。由于 ,第一方向为 。在 上的得分为 ,均方为 ,与预测一致。一个成分解释 的方差, 的重建误差为 :每个点都被精确重现。零特征值是合理的,因为 只是半正定。
再取已中心化的 。此时 ,所以 ,每个单位向量都是特征向量。方向 的得分为 ,均方为 , 也一样。无论选哪个方向,一个成分的解释比例都是 ;"第一主方向"在这里并未被确定。
常见错误与细节
常见错误
(PCA 对特征尺度不是不变的,而且必须先中心化)
由于 取决于各特征的单位,尺度大的特征会主导前几个成分,如第二个例子所示。当各特征单位不兼容时,常先把每个特征标准化,这等于改用相关矩阵;这是建模上的决定,并非免费的修正。若省略减去 ,得到的是 的特征向量,一般不同于主方向,而且会被数据的位置主导。
另有几点。方差大的成分不一定能预测标签。符号与重特征值方向都是任意的,所以“那个”方向只在这些歧义之内成立。在训练与测试的设定中,均值与特征向量只用训练数据计算,再应用到测试观测值。最后,得分互不相关,这比独立弱;白化一节讨论了两者的区别。
反例模式
方差最大的方向不一定能分开类别
一个诱人的说法是:第一主方向就是分辨两个类别的最佳方向。取 A 类为 ,B 类为 。均值为 ,数据已中心化,且
第一主方向是 ,方差为 。两个类别沿 的坐标完全相同,都是 与 ,所以这个方向对类别毫无信息。方差只有 的方向 则使 A 类每点的坐标为 、B 类每点为 ,把两类完全分开。PCA 从未见过标签;它最大化的是方差,所以在分类器之前使用它是一个建模选择,需要数据提供支持。
练习
快速检查
(1. 计算第一主方向)
中心化观测值为 。求 、其特征值、第一主方向,以及它解释的方差比例。
解答 · 解答 1
。特征值为 与 ,第一方向为 (差一个符号),解释的方差比例为 。
快速检查
(2. 选择成分个数)
某数据集的协方差特征值为 。求 时的解释比例、达到 的最小 ,以及 的平均平方重构误差。
解答 · 解答 2
总和为 。比例分别为 、、。达到 的最小 为 ,因为 不低于目标。 时,误差等于被舍弃的特征值之和,即 。
快速检查
(3. 证明得分互不相关)
设 为 的特征向量,,且特征值不同。证明这两个成分的得分向量样本协方差为零。
解答 · 解答 3
得分已中心化,因为 。其样本协方差为 ,因为对称矩阵属于不同特征值的特征向量互相正交。
快速检查
(4. 重构新点)
沿用第一个例题,只用一个成分。重构新观测值 ,并计算其平方重构误差。
解答 · 解答 4
以训练均值中心化:。其在 上的得分为 ,重构为 。残差为 ,平方范数为 。这等于在 上得分的平方,即 。