为什么概率本身也需要评估
两个分类器可以作出完全相同的类别决策,却报告很不相同的概率。当阈值为二分之一时,预测概率 和 都会给出类别一。但是,如果相关群体中的事件实际上只有大约一半会发生,这两个概率判断就应得到不同的评价,即使它们的零一决策相同。反过来,改进预测概率以后,对某种损失而言所有决策都可能保持不变,对另一种损失而言却可能发生改变。
因此,概率预测并不是给类别标签附加一个表示信心的数字。它是对事件作出的数值判断,需要在明确指定的总体中接受评估。本节针对二元标签和只取有限多个值的分数展开这个想法。有限情形使我们能够证明每一个恒等式,列出每一个概率,并完整计算一个考虑决策代价的例子。下文的数据表是特意人工构造的;其中的精确分数服务于教学,并不是真实数据集的研究结果。
总体与预测
定义 28.1.1
(有限分数、条件频率与校准)
设 具有一个指定的联合概率分布,其中 ,预测分数 取 中互不相同的值 。对每个具有正概率的分数值,定义
如果对每个 都有 ,就称这一预测在该总体中是校准的。它的二元 Brier 损失为 ,总体 Brier 评分为 ;评分越小越好。
这里的概率既可以描述从有限总体中均匀抽取一条记录的情形,也可以描述更一般的分布。只要研究的是这同一个联合分布,下面的恒等式就不需要独立性假设。当我们用另一个样本估计这些概率时,独立性才会成为重要条件。
校准是相对于分数所保留的信息,以及正在评估的总体而言的。它并不是说,每一个获得 分数的个体,在给定全部可用特征后,都有一个恰好等于 的隐含真实概率。它说的是:给定这一分数,事件的条件发生频率为 。如果分数与标签的联合分布发生变化,在一个总体中校准的分数,在另一个总体中未必仍然校准。
定义 28.1.2
(严格适当的概率损失)
如果对任意 ,当 时,只有报告 才能使期望损失最小,就称这一二元概率损失是严格适当的。这个性质讨论的是某一概率分布下的期望损失,而不是某一个已经出现的标签所产生的损失。
对于二元 Brier 损失,直接展开得到
最后的平方项非负,而且当且仅当 时为零,端点情形也包括在内。这就证明了严格适当性。相比之下,如果只看一个已经出现的正标签,令 会使这次实际损失最小;但这不能成为在每个不确定事件发生之前都预测一的理由。期望损失与事后观察到的损失回答的是不同问题。
有些作者会把概率向量 两个坐标上的平方误差相加。对于二元标签,这种约定得到的是 。本节所有 Brier 量都采用前面只计一个坐标的约定。
可靠性、分辨能力与不确定性
定理 28.1.3
(精确的有限 Brier 分解与已知总体时的理想再校准)
对于上述有限分布,定义
则
定义总体再校准 :当 时,令 。即使若干个 相同, 仍然是校准的,而且
此外,在所有对每个原分数组指定一个固定数值的预测中, 唯一地使 Brier 风险最小。
证明
(先在每个分数组内取条件期望,再把各组相加)
给定 ,由严格适当性可得
以 为权重求平均。由于 ,有
这两个等式证明了所需分解。把 换成 ,恰好消去了平方偏差。更一般地,若把它换成任意 ,得到的仍是同一个不可消除的项,再加上 ,因而逐组可知最优值具有唯一性。
为了证明合并分数组以后仍然校准,固定 所取的一个值 。它的原像恰好由满足 的分数组组成。因此
分母为正,所以这个条件概率有定义。整个论证不需要假设再校准映射是一一对应的。
这里的可靠性项是一个非负偏差量:REL 越小越好,REL 为零等价于预测在分数的支持集上校准。分辨能力衡量的是各组的条件事件频率围绕总体事件发生率变化的程度。在同一个总体中保持 REL 不变时,分辨能力越大,Brier 损失越小。不确定性则是在同一个总体中始终预测 所产生的 Brier 损失。因此,如果不同总体的事件发生率不同,直接比较其原始评分,就可能把预测质量与基准任务本身的差异混在一起。
定理中的映射 是一个已知总体分布的理想映射,也称 oracle:它使用总体的联合分布。拟合出来的再校准映射只是对它的估计,在新观测上未必能够降低风险。精确的改进恒等式并不意味着,我们可以把真实条件频率换成有噪声的估计值,再宣称得到同样的改进。
证明透视
平方误差的两种不同来源
第一个条件恒等式,把预测值与组内事件频率之间的不一致,同一组内标签本身的随机性分开。第二个恒等式,则把组间事件频率的变化与总体标签的不确定性分开。两步都使用相同的分数组和相同的概率权重。如果任意扩大直方图的分箱,就改变了这些组;此时需要额外计算,不能直接沿用原分数的这个精确分解。
一个完整的有限数据表
例题 28.1.4
(由六十条等可能记录构成的人工总体)
构造六十条可以区分的记录,并从中均匀抽取一条。在 A 组中,三十条记录的分数为 ,其中有三个正标签。在 B 组中,二十条记录的分数为 ,其中有十个正标签。在 C 组中,十条记录的分数为 ,其中有八个正标签。因此,完整分布如下:
| 组别 | 分数 s | 记录数 | 正标签数 | 负标签数 | 权重 p | 事件频率 q |
|---|---|---|---|---|---|---|
| A | 1/5 | 30 | 3 | 27 | 1/2 | 1/10 |
| B | 3/5 | 20 | 10 | 10 | 1/3 | 1/2 |
| C | 9/10 | 10 | 8 | 2 | 1/6 | 4/5 |
总体事件发生率为 。每个分数都比其所在组的事件频率高 ,所以 。其余各项为
不用定理也可以核对结果。A、B、C 三组内的平方损失总和分别为 、 和 。把它们相加后除以六十,便得到 。理想再校准把预测概率分别改为 ,使 Brier 评分降到 。下降量恰好是 。
如果这些计数描述的只是从某个未知总体中构造出的一个样本,同样的算术就只给出一个精确的经验恒等式。仅凭这张表,不能证明组内频率就等于总体概率。
常见错误
(完全校准的预测不一定是好预测)
可靠性只是三项之一。在六十条记录的表格中,始终报出事件发生率 是完全校准的:它唯一的分组事件频率为 ,所以 、,Brier 分数就是 。上述三分组预测的 ,Brier 分数 却更好。REL 小只说明报出的数字诚实,并不说明它们能区分个案。
从概率到考虑代价的决策
定义 28.1.5
(两类错误代价与基于分数的行动)
设假阳性的代价为 ,假阴性的代价为 ,正确决策的代价为零。对任意二元行动规则 ,记 为它在同一个总体中的期望代价。令
以上两个规则都在等于阈值时选择行动一。定义理想行动 的是总体条件事件频率,而不是原始分数。
定理 28.1.6
(基于分数的 Bayes 风险,以及由校准误差控制决策代价的界)
在所有只使用 的规则中, 使期望代价最小。将原始分数阈值规则与它比较,超额风险为
这个精确恒等式也包括恰好等于阈值的情形,因为此时条件后悔值为零。这个界比较的是可以使用相同分数信息的两个规则;它并不保证相对于使用全部原始特征的规则也有同样的界。
证明
(比较两种行动的条件代价,再检查阈值何时被跨越)
在第 组中,选择行动一的条件代价为 ,选择行动零的条件代价为 。前者减去后者等于 。因此,当 时,选择一是最优的;当 时,选择零是最优的。随机选择行动所得的条件代价是这两个代价的凸组合,因此不可能低于它们的最小值。
如果两个阈值规则给出不同的行动,选择非最优行动会增加 的代价;如果二者相同,后悔值就是零。对各组求平均便得到恒等式。当两个规则不一致时, 与 位于阈值的两侧,也允许其中一个恰好等于阈值。因此 。最后,由加权 Cauchy–Schwarz 不等式,
这就证明了所需的界,而且不需要假设不同观测之间相互独立。
例题 28.1.7
(同一张表与明确指定的非对称损失)
取 、。决策阈值为 。原始预测在 A、B、C 三组中选择的行动依次为 。理想条件频率给出的行动则为 :B 组的事件频率为 ,低于 。
对于这六十条等可能记录,使用原始阈值的总代价为 ,因而风险为 。理想再校准以后,总代价为 ,风险为 。改进量是 。后悔值公式给出相同的结果:
上界为 ,这是一个成立但较松的界。如果改用相等的错误代价,并沿用前面声明的等号处理规则,那么两个预测都选择 。此时再校准仍会改善 Brier 评分,却不会改变决策风险。概率评估与决策评估通过所选择的损失联系起来,但二者不能互相替代。
常见错误
(两种错误代价不同时仍用二分之一作阈值)
取 、,表中 B 组的事件频率为 。按默认阈值 会在该组选动作一,每条记录的期望代价为 ,而动作零的代价是 。正确的阈值是 。对整个总体平均,默认选择比最优的基于分数的规则多花 。阈值由代价决定,而不是由概率的尺度决定。
反例模式
完美校准也可能掩盖一个完全揭示标签的特征
设 是一个等概率取零或一的二元变量,而预测始终报告 。这一分数是校准的:它只有一个组,该组的事件频率为 。当两类错误的代价都为一时,按阈值产生的行动始终为一,风险为 。基于特征的规则 却有零风险。这与定理并不矛盾:定理比较的是只能使用 的规则,而 已经丢弃了 。
更一般地,设特征 与 联合定义, 是 的取有限多个值的确定性函数,并记 。由条件期望可知 。展开平方,并对交叉项在给定 下取条件期望,得到
第二项衡量只保留 所丢失的概率信息。在本例中,即使 REL 为零,这一项仍为 。校准可以修正分数的概率尺度,却无法恢复分数已经不再记录的特征。
分箱与有限评估会改变什么
例题 28.1.8
(为什么较宽的校准分箱会改变恒等式)
对任意取有限个值、且每个分区单元均具有正概率的分区变量 ,记 、。展开条件平方可得
前两项是粗化预测 的条件 Brier 损失。最后两项描述了把 换成该组均值时发生的变化。如果每个分箱只包含一个精确的分数值,这两项都为零;如果分箱较宽,它们就未必为零。
一个精确的反例如下。令 ,以相同概率取零或一,并把二者都放进同一个分箱。原始 Brier 评分为零。分箱均值和分箱事件频率都等于 ,所以忽略修正项的分箱层面公式会给出 。在这里,条件方差和条件协方差都等于 ,因此修正项为 ,恢复了真实答案。只用一个分箱、看起来完美的可靠性图,并没有测量原始预测的分辨能力。
要评估学习得到的校准映射,首先应把用于拟合的观测与最终评估观测分开。拟合基础预测器以及每一个选定的变换时,都不能使用最终测试标签。用允许使用的校准数据部分估计校准映射;如果还要选择映射族或调节参数,这些选择也必须留在开发数据内部。在查看最终测试标签之前,固定映射和决策阈值。应预先说明错误代价和目标总体,而不是挑选一种能让测试结果显得有利的代价。
如果测试样本由来自该目标总体的独立同分布数据对组成,那么在给定已经拟合好的整个预测流程后,测试 Brier 损失的均值,其期望等于这一流程的总体 Brier 风险。对预先指定的有界代价损失也有同样的论证:给定已经拟合好的规则,再对测试损失求平均。这个论证使用了测试样本与所有拟合或选择出来的结果之间的独立性。它并不是说测试估计值等于其期望,也不是说经验拟合得到的校准曲线是总体曲线的无偏估计。
即使预测完全校准,抽样噪声仍然存在。如果某个固定分数组的总体事件频率为 ,并且有 个独立标签,那么 的均值为 ,方差为 。因此
当 、 时,这个经验可靠性偏差的期望为 ,尽管总体偏差为零。公式假设组大小固定,而且标签是在指定概率下产生的独立 Bernoulli 变量。依赖数据选择的分箱、反复筛选后才展示的图,以及重复使用拟合分数进行评估,都需要额外分析。
概念视角结构
对同一个概率预测提出三个问题
Brier 风险问的是,数值预测在多大程度上能够预测二元标签。校准问的是,每个保留下来的分数组,其事件频率是否等于报告的概率。决策风险问的是,按照某个特定代价阈值把这些数字变成行动以后,会出现什么后果。同一个有限数据表可以回答这三个问题,但答案包含的信息不同。评估报告应先说明自己回答的是哪个问题,再给出数字。
练习
快速检查
(某 Bernoulli 事件发生的概率为 。比较预测值为 和 时的期望二元 Brier 损失。说明为什么一次实际出现的负标签并不能推翻严格适当性。)
先展开两种预测的条件期望损失,再代入任何已经观察到的结果。
解答 · 答案
当 时,损失总是 。当 时,期望损失为 。二者之差 就是 。在该模型中,负标签出现的概率为 ;一旦出现负标签,预测 的实际损失确实会大于预测 的实际损失。严格适当性讨论的是对两种可能标签求期望,而不是要求每个单独结果下都占优。
快速检查
(两个分数组的权重相等,分数分别为 和 ,事件频率分别为 和 。计算总体事件发生率、REL、RES、UNC、原始 Brier 评分与理想再校准后的 Brier 评分。)
把分数与频率之间的平方偏差,同组间事件频率的变化分开计算。
解答 · 引导解答
总体事件发生率为 。每组分数与事件频率的绝对偏差均为 ,因此 。每组事件频率与总体事件发生率相差 ,因此 ,而 。所以原始 Brier 评分为 。理想再校准消除了 ,剩下 。当阈值为 时,原始预测与再校准后的预测选择相同的行动。
快速检查
(在六十条记录的数据表中,令假阳性代价为四,假阴性代价为一。求原始行动与理想行动、二者共同的风险,以及理想规则中出现的等代价情形。)
当条件概率为 时,直接计算两种行动各自的代价。
解答 · 引导解答
阈值为 。原始预测选择 。根据前面声明的相等时选择一的规则,理想条件频率给出的行动也相同。在 C 组,选择一的代价为 ,选择零的代价同样为 ,所以两种行动都是最优的。六十条记录的总代价为 ,因而共同的风险为 。如果在 C 组选择零,就会出现八个假阴性,代价仍然是八。再校准改善了 Brier 评分,却没有改善这一决策代价。
快速检查
(某有限定义域包含 个不同输入,每个输入各有一个独立的等概率零一训练标签,并预先指定 个互不相同的原始分数。一个经验再校准器把每个分数替换为它唯一观察到的标签。计算训练 Brier 评分;再从这些输入中均匀选取一个,并为它生成一个独立的等概率零一标签,计算此时的期望 Brier 评分。与始终报告 比较。)
先给定已经拟合好的查找表,再评估新标签。
解答 · 答案
每个拟合后的分数都等于对应的训练标签,所以训练 Brier 评分为零。给定任意一个拟合好的查找表,新的等概率零一标签有二分之一的概率与存储的零或一预测值相同。因此,在每个输入上,新标签的期望损失都是 ,再对输入求平均仍然是 。始终报告 ,则无论新标签是哪一个,损失都是 。表面上完美的经验校准使用了同一批标签进行拟合,不能作为总体校准或泛化的证据。本构造并没有声称训练输入是独立同分布抽样得到的:它明确规定,在有限定义域的每个不同输入处各取得一个标签。