分母是哪一群人?
定义 7.1.1
(精确率、召回率与假正率)
对二元分类器,记 分别为真正、假负、假正及真负数目。我们以行表示实际类别、列表示预测类别。记精确率为 、召回率为 、假正率为 。当相关分母为正,
精确率以正预测为条件;召回率以实际正类为条件;假正率以实际负类为条件。若没有正预测,精确率分母为零,按以上公式没有定义。同样,召回率及假正率分别要求实际正类及负类存在。报告惯例可以选择替代值,但必须加以说明,不能把它当作上述比率。
本单元讨论有标签群体上的评估。
两个条件比率相同的群体
例题 7.1.2
(召回率与假正率相同、精确率却不同)
以下为同一个固定决策规则的计数。两列数值分别为预测正及预测负。
| 群体 | 实际类别 | 预测正 | 预测负 |
|---|---|---|---|
| A | 正 | 30 | 10 |
| A | 负 | 20 | 140 |
| B | 正 | 30 | 10 |
| B | 负 | 45 | 315 |
群体 A 有 条观测,正类比例为 ;群体 B 有 条,比例为 。两者的召回率都是 ,假正率都是 ,但精确率不同:
即使两个条件比率保持不变,改变实际类别的相对频率,也会改变正预测中的组成。这是构造的计数,并非声称真实分类器部署到别处时一定保持相同的比率。
命题 7.1.3
(由基率得出精确率)
设 、、,且 、。则
证明
(按实际类别划分)
按实际类别划分,得
而实际为正且预测为正的联合事件概率为 。由条件概率的定义,以前者除后者,即得所述公式。对固定的 与 ,代入 或 ,便得上面的两个精确率 与 。
此公式是条件概率恒等式,因此不需要任何因果或独立性假设。
证明透视
基率改变了什么、没有改变什么
证明只有一个步骤:把正预测按其所属的实际类别拆开。两个类别都须有正概率, 与 才有定义; 则使最后的相除合理,而这个条件正是精确率定义中的分母条件。
流行率 只作为分母中各项的权重出现。召回率 与假正率 是以实际类别为条件的,所以看不到 ;精确率以预测为条件,则按两个类别的频率把它们混合。公式对每个群体分别成立;它并没有说群体改变时 与 会保持不变,那是证明没有作出的建模断言。
例题 7.1.4
(由流行率与比率求计数)
某群体有 个观测,流行率 ,某规则的 、。实际正类有 个、实际负类有 个。于是 ,,,。精确率为 。公式一致:,,故 。虽然该规则找出 的正类,假正率只有 ,但其正预测中正确的不足三分之一,原因是实际负类要常见得多。
例题 7.1.5
(对所有人预测为正的规则)
采用群体 B,它有 个实际正类和 个实际负类,并对全部 个观测预测为正。于是 ,,。召回率为 ,假正率为 ,精确率为 ,等于流行率。可见完美的召回率可以与该群体上任何召回率为 的规则所能有的最低精确率并存。相反的边界情形是对所有人预测为负:,召回率为 ,假正率为 ,精确率为 ,没有定义。
阈值与常见误解
假设固定的有标签评估集为每条观测给出实数分数,当分数至少为阈值 时预测正类。提高 只会移除正预测。若集合中有实际正类, 不会增加,所以召回率不会增加;若实际负类存在,假正率也不会增加。但精确率不一定单调:其分子和分母都会改变。
反例模式
提高阈值未必改善精确率
取四条观测,其分数与实际标签依次为 。使用上述包含等号的规则,阈值 、 和 的精确率依次为 、、。提高阈值先降低精确率,然后才提高。这些计算使用固定评估集,并不建立群体层面的表现保证。
常见错误
(以为精确率可由召回率与假正率得出)
群体 A 与 B 的召回率同为 、假正率同为 ,精确率却分别是 与 。仅凭两个条件比率不能读出精确率,还需要流行率。
常见错误
(除以错误的总数)
在群体 A 中, 是召回率,不是精确率。精确率以正预测数作分母,即 。每次都要问清楚分母是哪一行或哪一列的总数。
习题与解答
快速检查
(在群体 A 中,实际正类有多大比例被漏掉?)
使用实际正类那一行。
解答 · 答案
。
快速检查
(某规则对所有人预测为负。按所示定义,它的精确率是多少?)
先计算 。
解答 · 答案
没有定义,因为 ;须另外说明报告惯例。
快速检查
(若 、、,精确率是多少?)
使用由基率得出精确率的公式。
解答 · 答案
。
快速检查
(为什么要规定分数等于阈值的观测是否算作正类?)
想想平局的观测会影响哪些混淆计数。
解答 · 答案
平局的观测会改变混淆计数,所以不规定该规则,评估结果便不确定。