一个分数对应多种决策
分类器可以输出实数分数,而非只输出正类或负类决策。选定阈值后便可作决策,但不同阈值可能有不同的真正率及假正率。受试者工作特征曲线(ROC)概括各阈值下的比率。本节处理固定且已有标签的评估集;该集算出的面积不会自动成为模型的总体表现,反复用它选模型后亦不能自动视为无偏估计。
定义 11.1.1
(经验 ROC 曲线)
假设有 个实际正例及 个实际负例。分数至少为阈值 时预测为正,定义
ROC 点的横坐标是 FPR,纵坐标是 TPR。如果数据集没有正例或没有负例,两个分母无法同时成立,此处的经验 ROC 及面积便没有定义。由高于最大分数的阈值开始,点为 ;逐步降低阈值,每个不同分数上的观测都整组纳入。阈值等于最低分数时得到 。没有额外规则时,不能把相同分数的观测排序成多个不同的确定性分数阈值。
由阶梯至面积
在某个分数层,假设一同纳入 个正例和 个负例。ROC 向右移 ,向上移 。为定义常用的梯形经验 AUC,把相邻点以直线连接,再对水平位移积分高度;垂直线段贡献零面积。此插值也可表示随机选择两个端点阈值分类器所得的期望比率,或与标签无关地以相同概率纳入并列组内观测所得的期望比率。中间点未必能由原分数上的单个确定性阈值得到。
经验 AUC 有精确的排序解释。
定理 11.1.2
(梯形 AUC 的配对形式)
从 个正例中均匀选一个,并独立地从 个负例中均匀选一个,其分数分别为 与 。则经验 ROC 曲线下的梯形面积等于
此概率是从已观察的正负例各自均匀、独立抽取所得,并非单次预测正确的概率,且依赖上述并列计半分的插值规则。
证明
(逐组计算梯形面积)
将不同分数层由高至低排列。在一层中,令 分别是正负例数目, 是分数严格较高的正例数目。纳入该组前 ROC 高度为 ,之后为 ,故该组的梯形面积为
对各组求和,恰好把每一对正负例计算一次:当前组的负例与分数严格较高的正例配对得一分,与同分正例配对得半分;正例分数较低则得零分。这正是上式概率。证明也涵盖只含一类的组及任意大小的并列组。
证明透视
为什么同分恰好得半分
证明依赖三个决定。ROC 由整个分数组构成,所以并列组使曲线沿一条直线段移动。该线段下方的梯形面积可拆成高为 的矩形与高为 的三角形,严格较高的正例得全分、同分的正例得半分便由此而来。证明以重复计数收尾:每一对正负例恰好属于三种情形之一(正例严格较高、同一组、正例严格较低),并通过负例所在的组各计算一次。若把并列组按任意次序拆成不同阈值,矩形和三角形就会改变,面积也随之改变。 与 为正只是为了使分母存在。
六个例子的追踪
例题 11.1.3
(六个例子的追踪与并列组)
考虑三个正例分数 ,以及三个负例分数 。表中各阈值均包含等于它的分数;首行的阈值高于所有观测。
| 阈值 | 纳入的组 | FPR | TPR |
|---|---|---|---|
| 高于 0.9 | 无 | 0 | 0 |
| 0.9 | 一个正例 | 0 | |
| 0.8 | 一个负例 | ||
| 0.6 | 两个正例、一个负例 | 1 | |
| 0.2 | 一个负例 | 1 | 1 |
三个水平位移非零区间的梯形面积依次为 、、,总和为 。配对计数亦一致:九对正负例中,五对的正例分数严格较高,两对同分,故 。跨越并列组的斜线是插值,不是另一个分数阈值。
例题 11.1.4
(以配对计数核对曲线)
取正例分数 及负例分数 。分数 胜过三个负例;分数 胜过 、与 同分、输给 。因此六对中有 胜 同分,。曲线的结果一致:各点为 、、、、,梯形面积为 、、,总和 。
例题 11.1.5
(所有分数相同)
设有 个正例和 个负例,分数全为 。只有一组,、、,所以 ROC 由 直接到 ,面积为 。六对全部同分,每对得半分。这是分数完全没有排序信息的边界情形,结果与 、 无关。
常见错误
(用错误的分母计算假正率)
在六个例子的追踪中,阈值为 时 、。假正率是 ,其中 为负例数目。若改用预测为正的数目相除,得 ,这是 ,是另一个量。ROC 的坐标始终以类别大小 与 为分母。
反例模式
任意打破并列会改变面积
命题:描绘曲线之前,可以任意排列同分的观测而不改变面积。取一个正例和一个负例,分数同为 。把正例排在前面,路径为 ,面积为 ;把负例排在前面,路径为 ,面积为 。并列组的梯形给出由 到 的直线段,面积为 ,与半分的配对计数相符。因此任意的打破并列规则可以给出介于悲观与乐观之间的任何面积,必须说明所采用的约定;本单元采用半分约定。
下面的互动图可编辑带标签的分数,并以逐一计算所有正负配对的结果核对:跨越并列组的半分梯形面积恒等于(胜 + 同分/2)/(PN)。
并列分数、斜线段与配对机率
可编辑至多十个带标签的分数。ROC 折线把每个不同分数整层一并纳入;同时含两类的一层以虚线斜线连接。梯形面积再与逐一计算所有正负配对所得的结果比较。
| 例子 | 分数 | 标签 | 移除例子 |
|---|---|---|---|
| 1 | |||
| 2 | |||
| 3 | |||
| 4 | |||
| 5 | |||
| 6 |
横轴为假正率,纵轴为真正率。虚线跨越并列组,属插值。下表列出每个顶点。
| 阈值(含等于) | 此层纳入 | 更高的正例 | 假正率 | 真正率 | 该组面积 |
|---|---|---|---|---|---|
| 高于最高分 | 无 | 0 | 0 | 0 | 0 |
| 0.9 | 1+ / 0− | 0 | 0 | 1/3 | 0 |
| 0.8 | 0+ / 1− | 1 | 1/3 | 1/3 | 1/9 |
| 0.6 | 2+ / 1− (并列组) | 1 | 2/3 | 1 | 2/9 |
| 0.2 | 0+ / 1− | 3 | 1 | 1 | 1/3 |
配对计数
- 正例分数严格更高
- 5
- 同分
- 2
- 正例分数严格更低
- 2
- 配对数 PN
- 3·3 = 9
拆开并列后的面积
正例在先:(胜 + 同分)/(PN) = 7/9
负例在先:胜/(PN) = 5/9
两者平均 = 2/3
- 正例数 P
- 3
- 负例数 N
- 3
- 梯形面积
- 2/3
- (胜 + 同分/2)/(PN)
- 2/3
- 梯形面积与配对计数一致
- 是
- 插值(计半分)
- 2/3
梯形面积 =(胜 + 同分/2)/(PN) = (5 + 2/2)/9 = 2/3; 梯形面积 = 2/3; 梯形面积与配对计数一致: 是.
两种算法为何一致
某一层有 p 个正例、n 个负例,且有 p_above 个分数严格更高的正例时,ROC 在水平方向移动 n/N,高度由 p_above/P 升至 (p_above + p)/P。
该层梯形面积为 (n/N)(p_above/P + p/(2P)) = (n·p_above + n·p/2)/(PN)。
该层每个负例与 p_above 个分数严格更高的正例各成一对,得一分;与 p 个同分正例成对,得半分;正例分数更低则得零分。对各层求和,每一对恰好计算一次。
若把同分的配对都判作正例在先,每对得一分;若都判作负例在先,每对得零分。计半分的面积正是这两个阶梯面积的平均。
此处只是固定而有限的已观察分数。机率指从已观察的正例与负例中各均匀、独立抽取一个,并非对模型的置信陈述。
AUC 能决定什么,不能决定什么
严格递增的分数尺度变换保留每个比较及并列,故保留此 AUC;仅非递减的变换可能产生新的并列,改变面积。AUC 衡量正负配对的排序,按假正率对 ROC 曲线作整体概括;它不是对阈值作均匀平均。它不会选出部署阈值、衡量校准,也不包含不同错误的成本。两个模型即使面积相同,在某应用要求的假正率附近仍可能有不同 ROC 点。因此有用的评估还要检查相关操作区域,并适当分开模型与阈值选择所用数据。若把观测视为随机,共用同一观测的配对贡献可能相依,所以配对公式本身不是置信区间。
概念视角组合
由正例的秩和得出 AUC
把全部 个分数由小到大排秩,相同的分数取平均秩。若 为正例的秩之和,则 。在六个例子的追踪中,正例的秩为 ,所以 ,。平均秩恰好就是对相同分数各得一半的约定。
练习
快速检查
(正例分数为 、负例分数为 。计算严格正序及同分的正负配对数目,并求经验 AUC。)
列出全部四对。
解答 · 答案
配对 与 为胜,配对 为负,配对 为同分。所以 。
快速检查
(若所有分数相同且两类都出现,依上述并列计半分规则得到什么 AUC?解释其插值。)
每一对都同分,整个数据集只有一组。
解答 · 答案
全部 对同分,各得半分,所以 。ROC 沿对角线由 到 ,表示以相同比例随机纳入两类观测。这是插值,不是原分数上的确定性阈值。
快速检查
(给一个非递减但非严格递增的分数变换,把一对正确排序的分数变为同分。该对的半分贡献如何改变?)
把分数封顶于某个值。
解答 · 答案
映射 把正确排序的一对 变为同分 ,该对的贡献由 降为 。对第一题的分数,变换后正例为 、负例为 ,得一胜两同分,所以 ,而不是 。