动机
一个学习系统可以把分布估计得相当准确,却仍然作出不合适的决策。设想分类器要区分常见类别与罕见类别。若只比较观测值在两个类别下的密度,便忽略了两类原来出现的频率,也忽略两种错误的代价是否相同。因此,选算法之前,应先区分“估计什么”与“按什么准则评价行动”。
降维也有类似区别:我们可以保留数据变化最大的方向,也可以保留最能区分类别的方向。奇异值分解处理矩阵近似,费歇(Fisher)判别则比较类别均值之差与类内散布。这两个目标并不相同,解决其中一个不会自动解决另一个。
本节从概率及欧几里得(Euclid)几何出发,以可逐步核算的小例子建立上述区别。所有向量均为有限维实向量;涉及抽样分布时会另列假设。本节只涵盖若干统计基础,并不代表已涵盖所有估计方法或整门机器学习课程。
定义
定义 1.1.1
(风险与贝叶斯(Bayes)决策)
设随机对 满足 。分类器 把观测值映至行动集合 。给定非负损失 ,其总体风险为 ,假设期望存在。在观测值 的条件风险为 。贝叶斯(Bayes)行动在几乎处处的 最小化这个条件风险。
在零一损失下,选某类的条件风险就是一减该类的后验概率。因此,最小错误率规则选择后验概率最大的类别。若先验为 ,类别条件密度为 ,应比较 与 。只比较 与 的规则,暗中假定先验相同、两种错误的代价也相同。另外,这种分类上的最大似然规则,与“用最大似然估计未知参数”应分开理解。
定义 1.1.2
(似然与参数估计)
若独立观测 来自密度族 ,似然为 。最大似然估计是指定参数空间上的最大化点,前提是这个点存在。参数模型在看到样本前固定有限维的参数表示;非参数方法容许有效复杂度随样本数增长,并不是“完全没有假设”。
例如,高斯(Gauss)模型无论有多少观测,都只估计均值与方差。实数线上的核密度估计则写成
其中 且 。每个观测值放上一个平移后的小峰。带宽 越小,越能呈现细节,但估计也越容易受这一批样本的偶然位置影响。逐项换元便可证明积分为一;至于估计是否准确,则需要额外的平滑性与抽样假设。密度值可以大于一,因为必须介于零与一之间的是集合的概率,即密度的积分。
回归中以 表示设计矩阵, 表示响应, 表示系数。此处 是矩阵,与上面的随机观测记号不同。平方残差目标为 。需要截距时,必须把一列全一向量放入设计矩阵;数学公式本身不会自动加入截距。
可以把不确定性分成三层。第一层是总体分布,它决定后验与理想决策。第二层是有限训练样本,用来估计分布或决策规则。第三层则是未来观测,交由拟合好的规则分类。贝叶斯最优性属于第一层,依赖指定分布与损失。以估计概率代入,可形成实用规则,但必须另分析估计误差,不能直接把理想最优性的定理搬过去。
回归系数的意义也需要上下文。加入相关预测变量,或改变设计列的单位,都可能改变系数。拟合向量由列空间决定,同一空间的不同基底可有相同预测、不同系数。因此,解释一个系数需要知道设计、单位及控制了哪些变量,不能只看算法输出的数字。因果结论更需要说明数据产生机制;最小化残差本身不会确立因果方向。这不是否定线性方法,而是界定其代数能回答的问题。
定理/命题
定理 1.1.3
(错误代价不相等的贝叶斯规则)
设正确分类损失为零,假阳性代价为 ,假阴性代价为 。在密度及后验有定义之处,当 时,最小风险规则在
时选类别一。等号时两种行动皆可。若分母为零,应直接比较 与 ,不要作无效除法。
定理 1.1.4
(最小二乘就是正交投影)
对任何实设计矩阵 ,最小二乘的拟合向量恰为 在 的列空间上的正交投影。系数向量是最小化点,当且仅当 。若 列满秩,唯一系数为 。若不是列满秩,拟合向量仍唯一,但系数可能不唯一。
最大似然的解释需要另外的模型假设。若 ,且给定 时误差独立、服从 ,其中共同方差 已知,最大化 的条件似然等同最小化平方残差。没有高斯假设,最小二乘仍是一个有意义的几何优化问题。这个条件零均值高斯模型解释某种统计用途,却不是正规方程的证明条件。
定理 1.1.5
(截断奇异值分解给出最佳低秩近似)
设 的正奇异值为 ,相应奇异向量为 。对整数 ,矩阵 在秩不超过 的矩阵中最小化 ,平方误差为 。截断位置若有重复奇异值,最佳近似可能不唯一。
证明思路或证明
证明
(从条件风险到正规方程)
行动一与零的条件风险分别为 与 。代入贝叶斯公式后,两者有共同正分母,因此比较风险就得到所述阈值。由全期望公式(塔性质),逐点最小化条件风险,也就最小化其期望。
对最小二乘,令 为 在列空间上的正交投影。每个候选 都在该空间,而 垂直于该空间。勾股定理给出 。因此最优时 ,等价于残差垂直于每一列。若列满秩,对非零 有 ,故 正定,可解出唯一系数。
证明
(为何应舍弃最小的奇异方向)
设候选矩阵 的列空间为 ,维数至多为 ,其正交投影矩阵为 。逐列作正交分解得 。在 的正交特征基底下,此迹为 ,其中 、;有需要时包括零特征值。把可用权重移往较大特征值,不会减少总和,故迹至多为 。截断 SVD 恰好达到此界。被舍弃的秩一项互相正交,各自的平方 Frobenius 范数为 ,由此得到误差式。
证明透视
投影证明究竟用了什么
证明使用的是线性子空间与欧几里得内积,没有使用随机抽样、无偏误差或总体回归模型。相反,若要声称对未来观测有小预测误差,就必须说明新数据如何产生。在一个矩阵上代数最优,并不等于已有统计保证。
若已中心化的观测放在 的各行,且 ,样本协方差为 ,其特征向量就是 的右奇异向量。主成分分析选择保留方差的方向,等价于中心化后最小化平方重构误差。若直接对未中心化矩阵做分解,均值也会影响奇异方向,通常回答的是另一个问题。
概念视角几何
保留的方差与重构误差是同一个量
设已中心化矩阵 的各行 被正交投影矩阵 投影到一个 维子空间。对每一行用勾股定理,得 ,再对 求和,便有
左边是平方重构误差;被减去的和,是投影点总方差的 倍,因为各行已中心化,投影后的各点也已中心化。 与 无关,所以最大化保留的方差与最小化重构误差选出同样的子空间。从“散布”看,准则是找数据变化最大的方向;从“距离”看,则是找最接近所有观测的子空间。两种描述针对同一份数据、同一个目标,都不涉及类别标签。
两类费歇准则则从类均值 与指定的类内散布矩阵 出发。报告准则数值前,必须固定其归一化约定。一种总体约定是 ;未归一化样本散布则用另一约定。整个矩阵乘正数不会改变最佳方向,却会改变商的数值。令 。若 正定且 ,考虑
令 ,此商变成 。柯西–施瓦茨(Cauchy–Schwarz)不等式给出上界 ;当且仅当 为 的非零倍数时达到。这在正定假设下是一个完整推导。小样本可能令 不可逆,此时必须另加子空间限制或正则化,不可直接写普通逆矩阵。
例题详解
例题 1.1.6
(较高的类别似然不一定代表较高的后验)
设 、,先验为 、。只比较似然会选一。但未归一化的后验权重是 与 ,所以类别一的后验为 。零一损失下应选零。若假阴性代价是假阳性的十倍,行动零的风险变成 ,行动一的风险为 ,应改选一。分布模型没变,改变的是决策目标。
例题 1.1.7
(拟合直线并核对残差)
输入为 ,响应为 。以截距在前, 的两列是 与 ,所以 、。截距为 ,斜率为 。预测为 ,残差为 。残差总和为零,与输入列的内积也为零,两条正规方程皆成立。残差平方和为 。这里总和为零是因为设计含截距,并非每种回归都自动具有的性质。
例题 1.1.8
(重构与判别可以选出互相垂直的方向)
对 ,最佳秩一近似之一是 ,平方误差为一。这是在重构矩阵。另考虑分类模型:、,费歇方向与 平行,最大准则值为二。若两类等先验、共同类内协方差为 ,均值为 与 ,总体协方差为 。最大方差方向是第二坐标,但均值差只在第一坐标。只保留第一主成分,反而会舍弃费歇准则所选的信息。
常见错误
反例模式
方差大不代表类别信息多
有人以为第一主成分(方差最大的方向)永远是区分类别的最佳单一特征。最后一例就推翻这个说法:若进一步假设两个类别皆为具有上述共同协方差的高斯分布,第二坐标在两类有完全相同的分布。单独观测它,不会把后验从先验改变。它的大方差记录的是与标签无关的变化。把每个大主成分都叫作良好分类特征,就是混淆了两个不同目标。
常见错误
(有优化目标,不等于有唯一性或统计相合性)
设计矩阵有重复列时,最小二乘系数可以不唯一。某些密度族在指定参数空间上没有最大似然点。核估计若带宽极小,可忠实重现样本尖峰,却未必准确估计原来密度。每次都要分清:什么存在、什么唯一、什么必须依赖抽样极限。训练目标本身不会自动回答这些问题。
总结
最小错误率分类比较后验,错误代价不相等时阈值也改变。似然估计在假定的模型族内选参数。最小二乘把响应投影至列空间。SVD 为重构选表示,费歇准则则比较均值差与类内变化。这些方法互有联系,但只有保留其假设及目标的区别,联系才有用。
练习
快速检查
(类别零与一的先验分别为 0.8、0.2。假阳性代价为 3,假阴性代价为 2。推导似然比阈值;若似然比为 5,应选哪一类?)
先比较条件风险,再代入数字。
解答 · 答案
阈值为 。五小于六,故选零。亦可计算选一与选零的风险比 ,直接看出选一的风险较高。
快速检查
(设计矩阵的两列均为 (1,1) 的转置,响应为 (1,3) 的转置。求全部最小二乘系数与拟合响应。)
拟合只依赖两个系数的总和。
解答 · 答案
令 ,目标为 。因此全部解为 ,拟合均为 ,残差为 ,最小平方误差为二。试图对奇异的 Gram 矩阵求逆,并不能处理真正的非唯一性。
快速检查
(证明核密度估计积分为一。若核的积分是二,哪个条件失效?)
对每个观测所对应的一项分别换元。
解答 · 答案
在每一项令 ,则 。连同系数 ,每项积分为 ,总和为一。若 ,估计的积分便为二,未重新归一化前不是概率密度。核的非负性也是必要条件。
快速检查
(求 diag(2,2) 的一个最佳秩一近似及其误差,并解释为何答案不唯一。)
比较保留第一或第二坐标方向。
解答 · 答案
最优,Frobenius 误差为二,平方误差为四; 也一样。更一般地,对任何单位向量 , 都可行:被舍弃的正交方向具有奇异值二。定理保证最佳误差,不保证重复奇异值位置有唯一基底。