线性分类器产生数值 w⊤x+b;逻辑回归产生介于 0 与 1 之间的数值 σ(w⊤x+b)。它们本身都不是决策。只有选定阈值,并把达到或超过阈值的案例判为正类,才有决策。因此评估分类器既要研究得分诱导的案例排序,也要研究作用于排序的阈值。本节建立这两方面的概念,用小数据集逐步计算,并说明这些数字能与不能保证什么。
得分、阈值与决策
每个案例有真实标签 Y∈{0,1},其中 Y=1 代表“正类”。拟合模型给出实数得分 s=s(x),值越大表示越倾向正类。阈值为 t 时,决策规则是
Dt=1{s≥t}.
这里是不严格不等式。并列约定:得分恰等于阈值时判为正类;下文始终使用该约定。若改为 s>t,则阈值等于某个观测得分时计数会改变,因此报告指标时必须说明约定。
逻辑回归的概率得分与线性得分产生相同的决策族。因为 σ(z)=1/(1+e−z) 严格递增,对 0<t<1 有
σ(z)≥t⟺z≥log1−tt.
概率阈值 0.5 对应线性得分阈值 0。逻辑函数输出看似概率,但这本身不能证明它就是概率;下文讨论非对称代价时再处理这一点。
混淆表
固定阈值和包含 n 个案例的有限评估样本。每个案例恰落入一个格子。行表示真实类别,列表示预测类别。
各指标都是计数的比值。分母决定它回答的问题:
- 准确率 =(TP+TN)/n:所有案例中分类正确的比例是多少?
- 召回率,也称敏感度或真正率(TPR),=TP/P:真实正类中有多少被标记?
- 特异度或真负率(TNR),=TN/N:真实负类中有多少被判负?
- 假正率(FPR)=FP/N=1−TNR:真实负类中有多少被错误标记?
- 精确率或阳性预测值(PPV),=TP/(TP+FP):被标记的案例中有多少确为正类?
召回率和特异度以真实类别为条件,对应表的一行;精确率以预测为条件,对应表的一列。患病率改变时,这个区别很重要。
若 P=0,召回率是 0/0;若没有案例被预测为正类,精确率也是 0/0。这些量无定义。软件可能返回 0、返回 1 或发出警告;任何这类约定都须说明,且不能把它当作测量结果。
假设 TP>0。则精确率 p 与召回率 r 都有定义且为正,它们的调和平均为
F1=p+r2pr=2TP+FP+FN2TP.只要 TP+FP+FN>0,右边就有定义。若 TP=0 而 FP+FN>0,计数形式等于 0,即使精确率本身无定义。若 TP=FP=FN=0,分母为零,F1 无定义。
记 A=TP+FP、B=TP+FN。则 p=TP/A、r=TP/B,所以
2pr=AB2TP2,p+r=ABTP(A+B).两式相除并约去 TP>0 得 2TP/(A+B)。最后 A+B=2TP+FP+FN。
约分使用了 TP>0。因此 TP=0 不在调和平均公式覆盖范围内,须作为计数公式的扩展单独处理。
还要注意 TN 不出现于计数形式。F1 衡量正类的处理情况,它不是准确率的另一种写法。
反例模式
准确率高而召回率为零
假设 10,000 个案例中 1% 为正类,即 P=100、N=9900。把所有案例都判为负类的“分类器”有
TP=0,FP=0,FN=100,TN=9900.准确率为 9900/10000=99%,召回率却是 0/100=0,什么都检测不到。精确率为 0/0,无定义;计数形式的 F1 为 0/(0+0+100)=0。
患病率低时,准确率由负类主导,高准确率可能掩盖正类检测的完全失败。
含并列得分的算例
评估样本有六个案例。三个正类得分为 0.9,0.7,0.4,三个负类得分为 0.8,0.4,0.1。按得分由高到低排列:
0.9(+),0.8(−),0.7(+),0.4(+),0.4(−),0.1(−).阈值 t=0.7。 满足 s≥0.7、被判为正类的得分是 0.9、0.8、0.7。
- 其中两个真实正类,故 TP=2;
- 一个真实负类,故 FP=1;
- 得分 0.4 的正类被漏掉,故 FN=1;
- 得分 0.4 和 0.1 的负类被判负,故 TN=2。
指标为:
- 精确率 =2/3
- 召回率 =2/3
- 特异度 =2/3
- 准确率 =4/6=2/3
- F1=4/(4+1+1)=2/3
五个数相同仅因这里的计数对称;它们衡量不同问题。
阈值 t=0.4。 两个得分为 0.4 的案例现在均满足 s≥t。计数为 TP=3、FP=2、FN=0、TN=1。指标为:
- 精确率 =3/5
- 召回率 =1
- 特异度 =1/3
- 准确率 =4/6=2/3
- F1=6/(6+2+0)=3/4
与 t=0.7 相比,准确率不变,而召回率、精确率与 F1 均发生变化。
需要检查哪些阈值? 每个案例的决策只取决于其得分是否至少为 t。相邻两个不同观测得分之间没有决策变化,因此只需检查每个不同得分,再加一个严格高于最大得分的阈值。
得分 0.4 的两个案例形成一个并列块。t≤0.4 时两者均被标记,t>0.4 时两者均不被标记。任何确定性标量阈值都不能在标记 0.4 正类的同时排除 0.4 负类。
ROC 曲线
受试者工作特征(ROC)把每个阈值对应的 (FPR,TPR) 画成一点,横轴为 FPR,纵轴为 TPR。表中可达到的点为
(0,0), (0,31), (31,31), (31,32), (32,1), (1,1).
并列约定使端点需要特别注意:
- (0,0) 需要阈值严格高于最大得分。t=0.9 仍标记最高分案例,因此给出 (0,1/3),不是 (0,0)。
- (1,1) 需要阈值不高于最低得分,即 t≤0.1。
降低阈值越过一个未并列的正类时,曲线上升 1/P;越过一个未并列负类时,曲线向右移动 1/N。越过并列块时两个坐标同时改变,曲线从 (1/3,2/3) 斜向移动到 (2/3,1)。
斜线段内部的点不能由任何确定性阈值产生,但可通过随机化在期望意义下达到:在 t=0.4 处,以概率 q 独立标记每个并列案例。则期望率为
TPR=32+3q,FPR=31+3q.
q 从 0 到 1 时,期望点描出该线段。因此连接后的折线是排序的方便摘要,并非确定性工作点的列表。
经验 AUC
假设样本至少有一个正类和一个负类,即 P≥1、N≥1。经验 AUC 对所有 PN 个正负案例对取平均:
AUC=PN1i:Yi=1∑ j:Yj=0∑(1{si>sj}+211{si=sj}).
也就是说,它是正类得分高于负类的案例对所占比例,并列的案例对计半分。
例题 5.7.4
(六个案例的经验 AUC:案例对与面积)
对于上述六个案例,逐个正类与三个负类比较:
- 得分 0.9 的正类胜过三个负类:3 分。
- 得分 0.7 的正类输给 0.8,胜过 0.4 和 0.1:2 分。
- 得分 0.4 的正类输给 0.8、与 0.4 并列、胜过 0.1:0+21+1=1.5 分。
故
AUC=93+2+1.5=96.5=1813.同一数值也可由面积得到。把 ROC 折线下方面积分成几条:
- 高度 1/3 的水平段面积为 31⋅31=91;
- 斜线段面积为 31⋅21(32+1)=185;
- 高度为 1 的最后一段面积为 31。
合计 182+185+186=1813。
定理 5.7.5
(成对 AUC 等于插值 ROC 折线下面积)
用直线连接确定性 ROC 点,对每个并列块也连接一条斜线。所得折线下的面积等于上述并列计半分的成对公式 AUC。
每次降低阈值越过一个同分块。假设该块有 a 个正类、b 个负类,且有 A 个正类得分严格高于此块。
跨越前曲线高度为 A/P,之后为 (A+a)/P;该步的水平宽度为 b/N。所以其下梯形面积为
Nb⋅2A/P+(A+a)/P=PN1(bA+2ab).从案例对看,bA 计数的是 A 个更高分正类严格胜过本块 b 个负类的情况;ab/2 是块内 ab 个并列对的半分。
每个正负案例对恰好在负类所属的那一条中计算一次。负类得分高于正类的对在所有条中均贡献 0。对所有块求和即得成对公式。
证明透视
条带分解依赖什么
唯一不明显的一步,是把每个正负案例对归入其负类所在的同分块。逐块降低阈值时,ROC 路径只会向上和向右单调移动,所以各条带互不重叠,面积可以相加。在同一块内,斜线段产生因子 21:直线段下的面积是两端高度的平均,恰好等于块内 ab 个并列案例对的半分。若在并列块处改画阶梯,先上后右或先右后上,得分便分别是 ab 或 0,即两种随机打破并列的结果。假设 P,N≥1 保证可以除以 PN。
若将 0.4 的并列对随机排序:正类在前时 AUC 为 7/9,负类在前时为 6/9;每种顺序概率为 1/2,故期望为 13/18。半分因此是抛硬币所得的期望值。并列表示无法区分,而不是成功;AUC 达到完美的 1,要求每个正类得分都严格高于每个负类。
AUC 衡量排序,不衡量校准。 若 g 严格递增,则 si>sj 当且仅当 g(si)>g(sj),si=sj 当且仅当 g(si)=g(sj)。每一对的贡献不变,故 AUC 不变。特别地,w⊤x+b 与 σ(w⊤x+b) 的 AUC 相同。
概念视角组合
AUC 作为秩和统计量
既然只有得分的次序重要,AUC 就可以由秩来计算。把全部 n 个得分从低到高排为 1 到 n,每个同分组取其所占秩的平均值,并设 R+ 为正类样本的秩和,则
AUC=PNR+−P(P+1)/2.一个正类样本的秩计入它自身、排在它下面的每个样本,以及与它同分的其他样本的一半;减去 P(P+1)/2 就去掉了正类与正类之间的比较。在这六个样本中,正类的秩为 6,4,2.5,所以 AUC=(12.5−6)/9=13/18。分子就是 Mann–Whitney 统计量。
校准关注的则是得分本身。正类得分 0.51、负类得分 0.49 的 AUC,与正类得分 0.99、负类得分 0.01 相同,但两组数值所表达的概率判断截然不同。
AUC 也完全不依赖阈值。选择代价最优阈值不会改变 AUC,且 AUC 不是基于代价的阈值所优化的量。
精确率–召回率点
对于同一组阈值,画出(召回率,精确率)点得到
(31,1), (31,21), (32,32), (1,53), (1,21).
t>0.9 时召回率是 0,精确率无定义,所以这个阈值不产生点。
有两点需要注意。第一,精确率的分母是预测为正类的计数 TP+FP;两类混合比例受患病率影响,故患病率变化可能使精确率–召回率曲线改变,而以各真实类别为条件的 ROC 坐标未必改变。第二,用直线连接精确率–召回率点一般不表示可实现的分类器。若画曲线,应说明插值约定,不能假定它有实际意义。
患病率与阳性预测值
现在从样本转向总体。令
π=P(Y=1),TPR=P(D=1∣Y=1),FPR=P(D=1∣Y=0).
若 0<π<1 且 P(D=1)=πTPR+(1−π)FPR>0,则
PPV=P(Y=1∣D=1)=πTPR+(1−π)FPRπTPR.
由条件概率定义,
P(Y=1∣D=1)=P(D=1)P(D=1,Y=1).分子是 P(D=1∣Y=1)P(Y=1)=TPR⋅π。对两类使用全概率公式得到分母:
P(D=1)=πTPR+(1−π)FPR.条件 P(D=1)>0 正是除法有意义所需的条件。
取 TPR=0.8、FPR=0.1:
- 当 π=0.01:PPV=0.008+0.0990.008=1078≈0.07477。每十三个标记中真实正类不到一个。
- 当 π=0.5:PPV=0.4+0.050.4=98。
同一个检测器在两种情况下的精确率相差很大。
计算假设两个总体中的 TPR 和 FPR 不变。数据集发生偏移时,该假设可能失效:仪器变化、子总体不同、案例定义改变,都可能改变这些条件率。
此外,评估样本中的计数只能估计总体率。由少数正类算出的召回率有很大抽样不确定性,并不是总体保证。
非对称代价与决策阈值
假设已知真实条件后验概率 η(x)=P(Y=1∣X=x)。还假设假正类代价为 cFP>0,假负类代价为 cFN>0,正确决策代价为零。
对于特征为 x 的案例,两种行动的条件期望代价分别是:
- 预测正类:(1−η(x))cFP;
- 预测负类:η(x)cFN。
预测正类至少与预测负类一样好,当且仅当
(1−η)cFP≤ηcFN⟺cFP≤η(cFP+cFN)⟺η(x)≥cFP+cFNcFP.
等号成立时两种行动的期望代价相同,因此都最优。等号时选择正类符合我们的 ≥ 约定。两种代价相等时,得到熟悉的阈值 1/2。
这一推导依赖两个很强的假设:代价固定且已知,得分是真实后验概率。
若得分 s 仅满足校准,即 P(Y=1∣s)=s,则只能得到较弱结论:以同一代价比作为 s 的阈值,仅在只观察 s 的规则中最优,而不一定在所有基于 x 的规则中最优。仅按分箱均值验证的校准更弱:一个箱整体平均正确,箱内各个得分仍可能错误。
如实验证
任何查看数据后的选择都属于拟合,包括标准化常数、插补值、特征选择、正则化强度和阈值本身。一个可辩护的流程有三阶段:
- 训练数据。 只用训练数据拟合预处理及模型参数。
- 验证数据。 用留出的验证数据或训练集内交叉验证比较模型并选择 t。
- 测试数据。 将冻结的流程应用一次于独立且未使用的测试集,报告指标。
若反复查看测试集以调整选择,它就变成了验证集。这可能使其指标产生乐观偏差,简单留出法的解释也不再成立。
即使测试干净,结果仍有限制:
- 案例间依赖可能使有效样本量低于表面数量,例如同一个人的重复记录或时间自相关。
- 类别计数小会使召回率和精确率的不确定性很宽。
- 测试集患病率可能不同于部署时的患病率。
- 测试集可能不能代表部署总体。
- 标签可能存在测量误差。
单靠这些指标中的任何一个,都不能作因果解释,也不能断言分类器对各群体公平。
练习
快速检查
(某子样本有 40 个案例,全部是负类,且全部被判为负类。计算所有有定义的指标。)
解答 · 引导解答
计数为 TP=FP=FN=0、TN=40。准确率和特异度均为 1,FPR 为 0/40=0。召回率、精确率及 F1 都是 0/0,故无定义。
把它们报告为 0 或 1 只是在描述约定,不是在描述分类器。子样本没有正类,因此完全不能提供检测正类的证据。
快速检查
(设 TP=18、FP=12、FN=6、TN=164。计算所有指标,并将准确率与全部预测为负类的规则比较。)
解答 · 引导解答
先求合计:n=200、P=24、N=176,被预测为正类的案例有 18+12=30 个。指标为:
- 准确率 =182/200=91/100
- 召回率 =18/24=3/4
- 特异度 =164/176=41/44
- FPR =12/176=3/44
- 精确率 =18/30=3/5
- F1=36/(36+12+6)=36/54=2/3
用调和平均核验:
53+432⋅53⋅43=27/2018/20=32.全部预测为负类的准确率为 176/200=0.88。因此准确率只提高三个百分点,而召回率由 0 升至 3/4。
快速检查
((a) 有两个正类和三个负类,所有得分均为 0.5。求 AUC。 (b) 正类得分为 3,2,2,负类得分为 2,1。求 AUC,并分别求变换 s↦s3 和 s↦min(s,2) 后的 AUC。)
解答 · 引导解答
(a) 六对全部并列,故 AUC=6⋅21/6=21。唯一的确定性 ROC 点是 (0,0) 与 (1,1);得分完全没有区分力。
(b) 一共有 3×2=6 对。
- 得分 3 的正类胜过两个负类:2 分。
- 每个得分 2 的正类与得分 2 的负类并列,胜过得分 1 的负类:各 1.5 分。
总分 2+1.5+1.5=5,故 AUC=5/6。
映射 s↦s3 严格递增,得到正类 27,8,8、负类 8,1,各对结果不变,AUC 仍为 5/6。
映射 s↦min(s,2) 非递减但非严格递增。它把 3 合并到 2,得到正类 2,2,2、负类 2,1。每个正类得到 21+1 分,故 AUC 变为 4.5/6=3/4。合并得分产生新并列,降低了 AUC。
快速检查
(检测器满足 TPR=0.9、FPR=0.05。 (a) 计算 π=0.2 和 π=0.02 时的 PPV。 (b) 当 cFP=1、cFN=9 时,求最优后验阈值。 (c) 模型在 π=0.2 的总体中给出精确后验概率,对某案例 η(x)=0.25。部署总体变为 π′=0.02。假设 X 为离散变量且在 x 处的两类条件概率均为正,并假设给定类别的 X 分布不变(标签偏移)。求新的后验概率与最优决策。对共同正支撑上合适的类条件密度,同样的优势计算几乎处处适用。)
解答 · 引导解答
(a) 当 π=0.2:
PPV=0.18+0.040.18=119≈0.818.当 π=0.02:
PPV=0.018+0.0490.018=6718≈0.269.(b) 阈值为 cFP/(cFP+cFN)=1/(1+9)=1/10。
(c) 由 Bayes 公式,后验优势等于先验优势乘以似然比 Λ(x)=p(x∣Y=1)/p(x∣Y=0)。
原总体的后验优势为 0.25/0.75=1/3,先验优势为 0.2/0.8=1/4,因此 Λ(x)=4/3。
标签偏移下 Λ(x) 不变。新的先验优势为 0.02/0.98=1/49,故新的后验优势为
34⋅491=1474.因此新的后验概率为
η′(x)=147+44=1514≈0.0265.由于 4/151<1/10,最优行动是预测负类;在原总体中,同一案例会被标记,因为 0.25≥0.1。此结论完全依赖标签偏移假设、后验概率精确以及代价正确。