动机
后验概率描述的是标签的不确定性,却不会决定哪一种错误最要紧。在三类问题中,选择最可能的类别,可能令我们承担一种高代价的错误,而一个可能性较低的行动反而可以避开它。如果每个分类行动的条件损失都相当大,设立拒绝选项亦可能合理。这些决定应该依据明确的损失矩阵,而不是非正式的信心阈值。
后验概率本身通常也要估计。参数模型通过一个有限的密度族分享信息;核密度估计则平均邻近的观测,不把密度形状限制在固定的有限维族之内。弹性是有代价的:窄邻域减少平滑偏差,却只用到较少有效观测。密度积分为一只是第一项要求;满足它的估计仍可能很差。
本节把这两层问题连接起来。我们先证明一般的 Bayes 决策规则,以及估计后验的稳定性界;再量化实线上核估计量的偏差、方差与均方积分误差。所有抽样及平滑假设都明确写出,所以常见的带宽幂次是计算得出的结论,而不是普遍适用的处方。
定义
定义 20.1.1
(行动、标签与条件风险)
设标签 ,行动属于有限集合 ,其中亦可包含拒绝。设 ,并设 为固定损失。条件风险与总风险为
Bayes 行动使这个条件风险最小,并采用固定的可测并列惯例。在零一损失下,它就是使后验最大的行动。若类别先验为 、类别密度为 ,则在分母为正之处 。
行动与标签不必是同一个集合。拒绝可以对每个真类别都有常数损失 ;此时它的条件风险恰为 。后验分母对各个普通行动都相同,但成本仍须对所有真标签求和。只为每个行动比较一个加权密度,只适用于某些特定损失,包括零一损失。
概念视角几何
把决策区域看作概率单纯形的胞腔
固定 ,记 。条件风险是概率向量单纯形上的线性函数 。行动 恰好在凸多面体胞腔 上是 Bayes 行动,而最小风险就是这些函数的下包络。固定代价为 的拒绝行动占有 ,它同样是凸的。在零一损失下,这个区域就是每个 的区域。
定义 20.1.2
(参数代入与核密度代入)
参数代入规则在指定族 中估计参数,再把相应密度及估计先验代入 Bayes 公式。若 是来自实线上密度 的独立观测,核估计量为
这里 非负、为偶函数、支撑在固定的有界区间内、积分为一,并满足 。记 及 。均方积分误差为 。
分类时,每个类别使用自己的样本数,不能不加区别地用观测总数。在需要作决策的位置,估计先验与密度估计必须组成非负后验,而且分母为正。局部数据稀疏时,紧支撑核可能令所有估计密度都为零;必须说明这类观测如何处理,而不是除以零。下面的定理只分析一个密度,所以它本身并不证明多个估计密度之比的分类收敛率。
正确参数假设的益处,不需要渐近定理也能看到。对方差已知的独立正态观测,样本均值的均方误差等于该方差除以样本数。因此估计未知中心有精确的样本数倒数准确度。密度族已把问题限制为一个参数;它并不尝试学习每一种平滑形状。限制可信时,这是有用的信息,而不是一概排斥参数方法的理由。
同一个限制在模型设定错误时,可能变成持续的误差。假设真分布是两个单位方差正态分布的等权混合,中心位于相反的非零位置,但工作族只容许一个均值未知的单位方差正态分布。拟合的均值仍是样本均值。它的期望为零、方差趋于零,所以由切比雪夫(Chebyshev)不等式,它依概率收敛到零。所得的工作密度趋向以零为中心的单位方差正态密度,而真混合的方差却较大。增加观测可以消除拟合中心的抽样波动,却不能补上缺失的形状参数。因此,即使参数估计已经稳定,基于这个族的代入决策仍可能一直出错。
核估计以随带宽改变的平均邻域,取代这种固定形状限制。方差计算将显示,相关的有效样本数为何与观测数乘以带宽成正比。较大的样本既容许更窄的平滑,也令每个收缩中的邻域内有更多观测;若带宽太快趋于零,就会失去这个好处。
定理/命题
定理 20.1.3
(Bayes 最优与代入风险界)
条件最小化规则 在所有可测规则中使总风险最小。若 是概率向量,而 使其估计条件风险最小,则在每一点都有
对一个独立的评估观测及任何训练随机性取期望后,这个界仍然成立。它是一个充分的连续性界,不是对每个分类问题的精确刻画。
定理 20.1.4
(核估计的逐点偏差及方差)
设 是有界且二次连续可微的密度。当 时,对每个固定的 ,
而对独立观测,
因此带宽减小时,方差等于 。当 且 ,逐点偏差与方差都趋于零。
定理 20.1.5
(积分误差与一维带宽率)
再假设 且 。当 且 ,
主项表达式在 处最小,主误差的阶为 。由于粗糙度 未知,这条公式并不是可以只靠数据直接使用的带宽规则。
证明思路或证明
证明
(先条件化,再比较估计行动)
对每个 ,由定义得 。积分即证明最优性。在行动之间随机选择,只会得到它们条件风险的凸组合,不能低于最小值。对代入规则,在 与 处加减估计风险。估计风险之差非正。其余每个误差的绝对值至多为 ,于是得到所述的界。先条件于一个训练集,再对它取期望,就得到随机估计量的版本。
证明透视
加减估计风险
真正的想法是通过估计风险 来比较 和 :因为 使 最小,所以 。把 写成三个差,就剩下这个非正的中间项和两个外侧项,因为损失以 为界,每个外侧项都满足 。有界性只在这里用到。系数 来自两个外侧项。证明不假设 准确,界只是随它的误差而变差。
证明
(逐点展开与独立性)
换元得 。在有界的核支撑上作 Taylor 展开,得 ,且对 一致成立。偶对称性令一次项消去。单个求和项(连同其 因子)的二阶矩为 。独立性令其方差除以 ,证明精确表达式。连续性及有界支撑给出方差展开。若平均的是相依观测,就需要协方差项,这个证明也会改变。
证明
(为何逐点余项也能控制积分误差)
单靠逐点 Taylor 展开,不足以把误差在整条实线上积分。改用精确的积分余项:
平移在 中是连续的:先以连续紧支撑函数近似一个 函数,对该近似使用一致连续性,再以未改变的 范数界住两个平移后的近似误差。Minkowski 积分不等式把上式与 的 距离,界于 的双重积分。被积函数趋于零,并以 为界,而后者在核支撑及 上可积。因此控制收敛定理证明 收敛。把范数平方,就得到积分平方偏差的展开。
把精确方差积分,并利用非负性交换积分次序,得
在概率权重 下使用 Jensen 不等式,得 ,所以最后一项为 ,相对于 可以忽略。偏差–方差分解于是证明 MISE 的展开。对两个主项微分,得 。这证明的是所述平滑一维设定下的收敛率,不是普遍的下界,也不是多维公式。
证明透视
局部 Taylor 定理还不是积分定理
逐点偏差用到的是某个固定位置附近的连续性。MISE 需要控制整条实线,这由平方可积的曲率及平移的连续性提供。抽样方差另外用到独立性。去掉其中任何一项,都需要替代论证;带宽指数不能单凭估计量的归一化来证成。
例题详解
例题 20.1.6
(三个类别与一个较便宜的非最大后验行动)
设后验概率为 ,行动一、二、三的损失行分别为 、 及 。条件风险分别为二、 及 。虽然类别一最可能,行动二才是最优。若拒绝行动对每个标签的代价都是 ,它便胜过全部三个行动。采用拒绝是由成本模型推出的,而不是来自一般的后验信心规则。
例题 20.1.7
(一个明确计算的核密度)
取 于 、其他地方为零,数据为 ,。在零处三个窗口都有贡献,得 。在 处只有观测零和一有贡献,得 。在三处估计值为零。因为每个窗口贡献质量 ,它的积分为一。这些有限样本的阶梯与密度估计量相容;它们并不令背后的真密度变得不连续。
例题 20.1.8
(均匀核下的正态密度)
对这个核, 且 。标准正态密度满足 ,而积分 得 。因此主项最优带宽为 。在零处,主偏差为 ,是负的:平滑降低了峰值。主方差为 。两项贡献都重要;只最小化方差会推向过度平滑。
常见错误
反例模式
支撑边界破坏全线平滑假设
设 为 上的均匀密度,并使用均匀核。在零处且 时,,而所选的密度版本有 。更实质的是,在宽度与 成正比的边界区间上,平滑会损失固定比例的质量,产生 阶的积分平方偏差,而不是所述的 。这个密度在整条实线上并非二次连续可微。边界修正是另一个估计量,需要各自的分析。
当 时,这种失效可以精确量化。在 上,估计量的期望为 ,所以该处的积分平方偏差为 。在 上真密度为零,平滑溢出的质量再贡献 。右边界贡献相同的两项,总积分平方偏差为 。改变密度在单一端点的值,不能消除这种遍及整段区间的效应。
常见错误
(密度准确度与决策准确度有不同要求)
即使参数估计稳定,设定错误的参数族仍可能收敛到错误的密度。核方法可以把平滑密度估计得很好,而很小的后验分母却令比值不稳定。反过来,远离任何决策边界的较大密度误差,可能几乎不改变标签。在把估计误差解读为分类保证之前,应先说明目标、评估分布及损失。
带宽率也不表示某个有限样本的图形已可靠。公式含未知曲率,实际选择还要估计它或使用验证;罕见类别尤其不能借总样本数假装有很多本类观测。若要比较两个分类器,应在相同评估分布下计算已指定成本,而不是只比较密度峰值高低。核估计积分为一,能保证它是密度;偏差与方差推导才回答估得多准;把密度代入决策后的损失,又是需要另查的一层。这三项检查互相连接,却不能用其中一项替代其余两项。
在同一份数据上既调整带宽又报告最佳成本,也会带来选择乐观;应把调参程序一并放入独立评估之内。
总结
Bayes 决策使对所有标签加权的后验成本最小。代入误差会经由条件风险传递,但密度估计与作出决策仍是两项不同的工作。在明确的平滑假设下,独立的一维核样本给出 阶的平方偏差项及 阶的方差项。平衡两者便得到所述的带宽及误差率,而边界与抽样方面的限制仍然重要。
练习
快速检查
(对后验 ,保留例题中的三个损失行。非负常数拒绝成本取哪些值时,拒绝是 Bayes 行动?)
要包括并列情形,并把它与唯一最优区分开来。
解答 · 答案
普通行动的最小风险为 。当 时,拒绝是 Bayes 行动; 时它唯一最佳,等号时则与行动二并列。 时,行动二较好。在所述的不对称损失下,单凭后验最大值 不能决定这个阈值。
快速检查
(计算均匀核的二阶矩及平方积分,并对曲率粗糙度 A 大于零的密度推导主项带宽。)
在负一至一上积分。
解答 · 答案
及 。若 ,主误差为 。其导数在 处为零,所以 。再微分一次,或注意导数在该处变号,便证明这是正的极小点。
快速检查
(若 h 等于 n 的负四分之一次方,求积分平方偏差及积分方差的阶。哪一项主导?并与最优指数比较。)
使用已证明的展开,而不是归一化论证。
解答 · 答案
平方偏差的阶为 ,方差的阶为 。方差主导;在主系数非零时,得到较慢的 阶。平衡的选择是令 与 成正比,使两项都是 阶。两个带宽都趋于零,有效样本数也都发散,但这并不令它们的准确率相同。
快速检查
(设成本以五为界,而后验 L1 误差处处至多为 0.01。求超额条件风险及总风险的界。这能否证明标签总是一致?)
风险界并不是精确的决策稳定性断言。
解答 · 答案
定理把条件超额风险界于 ,取期望后总风险也有相同的界。在条件风险接近并列之处,标签仍可能不同,因为小的后验扰动会改变最小化行动。要保证一致,需要一个正的风险间隙,而且它大于相应的估计误差界,不能单靠超额风险有一个小的全局上界。