分类器的分数给样本排序;阈值则把排序转化为决策。因此,同一组分数可以产生许多混淆矩阵,而不是只有一个。接收者操作特征(ROC)曲线展示阈值变化时,真正率如何随假正率变化。曲线下面积(AUC)概括了排序能力,但它本身不能告诉我们精确率或最佳阈值。
路线与假设
首先画出固定阈值下的混淆矩阵。然后按不同分数排序,让同分样本整组移动。接着用两种方式计算 AUC:ROC 点之间的梯形面积,以及正负样本配对比较。最后利用正类比例解释精确率和决策成本。假设分数越高,越支持正类;分数大于或等于阈值就预测为正类。计算经验 ROC 和 AUC 时,正负两类都必须出现。
定义 7.2.1
(ROC 点与 AUC)
设 和 分别为正负样本数。真正率为 ;假正率为 。ROC 点为 。阈值高于所有分数时,点为 ;阈值小于或等于最低分时,点为 。ROC 曲线用线段连接相继的不同分数水平所得的点,而 AUC 就是这条分段线性曲线下的面积。
为什么并列分数要一起移动
假设某个分数等级中有 个正样本和 个负样本。阈值下调并越过该等级时,TPR 增加 ,FPR 同时增加 。仅依赖分数的确定性规则无法接受同分组中的一个成员而拒绝另一个。连接这两个阈值点的线段内部点,则可以通过按适当概率随机选择较宽松的规则来在期望上实现;随机选择须独立于真实类别。额外特征或固定的平局打破规则也可以拆分同分组,但那是另一种决策规则,可能得到不同的比率。
例题:用两种方式得到同一个 AUC
例题 7.2.2
(两种方式得到同一个 AUC)
正样本分数为 ,负样本分数为 。表格从高于最高分的阈值开始,然后依次纳入每个完整分数组。计数均为累积值。
| 已纳入的分数组 | TP | FP | ROC 点 |
|---|---|---|---|
| 无 | 0 | 0 | |
| 1 | 0 | ||
| 1 | 1 | ||
| 2 | 2 | ||
| 3 | 2 | ||
| 3 | 3 |
对线性插值得到的 ROC 点,水平、斜向和最后水平线段的面积贡献分别为 、 和 。竖直线段的面积为零。因此 。
另一种方法是将每个正样本与每个负样本比较:正样本分数较高记一分,平局记半分,较低记零分。三个正样本分别贡献 、 和 分。共有 对,所以 ,结果相同。
定理 7.2.3
(AUC 即配对比较)
设 ,并把样本按不同分数水平分组。则分段线性 ROC 曲线下的面积为
其中 遍历由一个正样本与一个负样本组成的配对。
证明
(逐个水平累加梯形)
把不同的分数水平由高到低排为 ,并设水平 含 个正样本与 个负样本。纳入水平 之前,真正率为 ;之后为 。纳入水平 使点向右移 、向上移 ,所以该线段下的梯形面积为
当 时线段是竖直的,面积为零,与公式一致。对 求和得 。第一个和式统计正样本所在水平严格高于其负样本的配对,即 ;第二个统计两者在同一水平的配对,即 。这正是所列的表达式。
配对表达式描述的是从经验数据中随机抽取一个正样本和一个负样本,并对平局给半分。它不是任意一次单独预测正确的概率。
证明透视
为什么平局恰好得一半
证明只有一个想法:线段的水平宽度与该水平中负样本的数目成正比,它的平均高度则与严格高于该水平的正样本数,加上该水平内正样本数的一半成正比。这个一半是水平前后两个高度的平均,因为平局使点沿着从 到 的一条直弦移动,而不是分成两个独立的步骤。
分组正是用到假设之处。若把平局样本按任意顺序逐个加入,曲线就成为阶梯,面积取决于所选顺序,而配对计数会给平局的配对满分或零分。因此半分是这条弦的性质,而不是独立的约定。此恒等式还需要 才能相除,对分数的分布则不作任何假设。
弦的作用在最小的情形中最为清楚。
反例模式
平局不是严格获胜
断言:AUC 是正样本分数严格高于负样本的配对所占的比例。取一个正样本和一个负样本,分数同为 。只有一对,没有严格获胜,所以该断言给出 。但只有一个水平,同时含两个样本,ROC 曲线由 直达 ,面积为 。修正后的陈述给出 。若改为把平局的一对任意排序,就会得到面积为 或 的阶梯,那是另一条依赖顺序的规则。
例题 7.2.4
(所有分数相同)
设有 个正样本与 个负样本,分数全部相同。ROC 点只有 与 ,所以 。按配对计算,全部 对都是平局,得 。常数分数不含任何排序信息,而 AUC 恰好反映了这一点。
例题 7.2.5
(已校准后验概率上的成本阈值)
设 、,且分数是已校准的后验概率。当 时预测为正。对 ,预测为正的期望成本为 ,预测为负为 ,所以预测为正更便宜。对 ,成本分别为 与 ,应预测为负。在 时两者成本同为 ,两种决策皆可。阈值远低于 ,因为漏掉一个正类的成本是一次误报的四倍。
ROC 不是精确率
设正类比例为 ,灵敏度为 ,假正率为 。只要 ,贝叶斯(Bayes)公式给出
当 、 时,正类比例为 的精确率是 ,正类比例为 的精确率是 。比较时固定了按类别条件计算的比率;换一个总体时,这些比率也可能改变。如果分母为零,精确率无定义,并不会自动等于零或一。仅有较高的 AUC 不能确定精确率、校准程度或成本最优阈值。
分数与后验概率
分数不一定是经过校准的概率。若分数 是经过校准的后验概率 ,假阳性成本为 ,假阴性成本为 ,且正确决策成本为零,则预测为正和预测为负的条件期望成本分别为 与 。当
时预测为正;等号成立时,两种决策均可。这依赖于上述成本以及目标总体的正确后验概率。仅凭排序分数或 AUC,不能直接使用这个概率阈值。
常见错误
(把 AUC 当作预测正确的概率)
AUC 为 并不表示 的预测正确。它比较的是正负配对之间的分数;准确率、精确率及最佳阈值是另外的问题,取决于流行率与成本。
常见错误
(把平局的配对算作胜或负)
当正样本与负样本分数相同时,给满分或不给分都会改变 AUC。在主要例题中,分数同为 的正样本与负样本应贡献 ;若算作胜,该例会得 而不是 ;若算作负,则得 。
反例模式
AUC 相同不代表曲线相同
断言:AUC 相同的两个评分器可以互换。取 个正样本和 个负样本。评分器 A 给正样本 、负样本 ;评分器 B 给正样本 、负样本 。按配对计,A 有 胜 平局,;B 有 平局 胜,同样是 。但 A 的点是 ,B 的点是 :A 在没有假阳性时就达到 ,B 则要 才能找到任何正样本。修复方法是比较曲线本身,或比较应用所能容忍的 范围。
练习题
快速检查
(正样本分数为 ,负样本分数为 。用配对方式计算 AUC。)
列出全部四对;平局得半分。
解答 · 答案
四对为 胜、 胜、 负、 平局。总分为 ,共 对,所以 。
快速检查
(某分类器的 、。流行率为 时,精确率是多少?)
利用流行率套用贝叶斯公式。
解答 · 答案
精确率为 。
快速检查
(若 、,已校准后验概率 取何值时两种决策成本相等?)
令两个期望成本相等。
解答 · 答案
成本 与 相等时 ,所以 ,与 一致。
检查清单
- 写明分数方向和阈值约定;包括端点,同分组一起移动。
- TP 除以正样本数,FP 除以负样本数;检查两个分母都为正。
- 区分确定性点与随机插值;计算梯形 AUC 时对平局记半分。
- 由正类比例和类别条件比率计算精确率,并检查其分母。
- 仅在具有校准与明确成本假设时使用后验决策阈值。