分类器不能自行回答的问题
分类器可以完全配合训练样本,却在新样本上失败。要评估学习方法,必须交代样本如何生成、每个决定可使用什么信息,以及哪些样本留作评估。如果缺少这套程序,分数可能衡量的只是对答案的记忆,而不是预测能力。
本节构造极小的合成二元分类问题,公开全部数据和程序,让每个结果都可以重算。这只是示范程序;八个测试样本不足以证明真实总体的表现。这里的切分是一个固定示例序列的分割。只有讨论后面的概率定理时,我们才另外假设所有位置上的观测是来自同一分布的独立抽样;一张已观测的表本身不能验证这个假设。
数据、变换与候选规则
每个样本有特征 和二元标签 。训练集各有两份 、、、,最后一项为标签。每个特征的训练均值都是 ,使用分母八计算的总体标准差也是 。我们只用训练特征拟合变换:
然后不改变这个映射,将它用于验证和测试特征;不可用它们重新计算均值。即使变换没有使用标签,也可能把评估集信息传入拟合后的流程。若某特征在训练集中为常数,实际实现须明确规定零尺度的处理方法;这里两个特征均非恒定。
我们只以训练数据构造两个候选。阈值规则为 。小型决策树先在 分支,再在 分支;四个叶节点分别采用训练样本中的多数标签。每个叶恰有两个相同标签,无须平局规则。因此所得函数为 。切分位置及候选家族在查看验证集之前固定。这些训练方法刻意简单;我们不声称一般决策树算法必然作出这些切分。
验证样本是 、、、。选取验证错误较少的候选;若平局则选阈值规则。选定后,在查看测试标签之前冻结整个流程。八个测试样本依次为 、、、、、、、。后四个之中有两个标签不符合 XOR。相同特征向量可以有不同标签:有噪声的联合分布容许此情况,因此只依靠特征的确定性分类器不能在所有列出的样本均正确。
概念视角结构
切分反映信息流向
训练集用来拟合变换和树的叶节点;验证集在两条已拟合流程之间选择;测试集描述已冻结的选定流程。如果看完测试结果后再改模型,该测试集便已参与模型选择;要对修改后的方法作无偏的最终评估,便需要新的独立测试集。
读懂混淆矩阵
定义 29.1.1
(混淆矩阵与评分)
以标签 1 为正类。真正例 TP 是实际为 1 且预测为 1;假正例 FP 是实际为 0 却预测为 1;假负例 FN 是实际为 1 却预测为 0;真负例 TN 是实际及预测均为 0。以下矩阵的行依次为实际 0、1,列依次为预测 0、1,即 。
只要至少有一个样本,准确率就有定义。精确率、召回率及假正例率(FPR)的分母分别是预测正例、实际正例及实际负例;分母为零时,除非另订约定,否则无定义。
验证错误率分别是 和 ,故选决策树。其测试准确率为 ,正类精确率为 ,召回率为 。这里分母碰巧相同,一般未必如此。若没有预测正例,精确率须明确指定约定,否则无定义。列出阈值规则的测试矩阵,只是为了使整个教学计算可检查,并不准许再次根据测试集选择。实际工作中通常应待选择程序冻结才查看测试分数;这里为完整说明固定例子而同时展示两者。
例题 29.1.2
(一个假负例和一个假正例)
测试样本 的决策树预测为 0,而真实标签为 1,故贡献一个 FN; 的预测为 1、标签为 0,贡献一个 FP。它们都是针对指定标签的真实错误。不能在看到预测之后,以标签有噪声为由删去样本。
例题 29.1.3
(从不预测正例的分类器)
设某规则对全部十个样本都预测 ,其中两个样本实际为 。于是 、、、。准确率是 ,召回率是 ,假正例率是 。精确率的分母 ,除非另订约定,否则无定义。高准确率与零假正例率掩盖了这条规则完全找不到正例的事实。
常见错误
(把高准确率当作表现良好)
准确率看不出错误的种类。设 个样本中有 个是正例,而某规则每次都预测 。它的准确率是 ,召回率却是 :它找不到任何重要样本。
以下标准库程序重现矩阵;训练均值、尺度、叶节点、验证选择及之后的测试评分都明确列出。表是预先指定的,并非虚构的模拟结果。
from math import sqrt
train = [(0,0,0), (0,1,1), (1,0,1), (1,1,0)] * 2
valid = [(0,0,0), (0,1,1), (1,0,1), (1,1,0)]
test = [(0,0,0), (0,1,1), (1,0,1), (1,1,0),
(0,0,1), (0,1,1), (1,0,0), (1,1,0)]
mean = [sum(r[j] for r in train) / len(train) for j in (0, 1)]
scale = [sqrt(sum((r[j] - mean[j])**2 for r in train) / len(train))
for j in (0, 1)]
assert all(s > 0 for s in scale)
def branch(row):
return tuple(int((row[j] - mean[j]) / scale[j] >= 0) for j in (0, 1))
leaves = {}
for a in (0, 1):
for b in (0, 1):
labels = [r[2] for r in train if branch(r) == (a, b)]
assert labels and 2 * sum(labels) != len(labels)
leaves[a, b] = int(2 * sum(labels) > len(labels))
def threshold(r): return branch(r)[0]
def tree(r): return leaves[branch(r)]
def matrix(data, rule):
m = [[0, 0], [0, 0]]
for r in data:
m[r[2]][rule(r)] += 1
return m
def errors(m): return m[0][1] + m[1][0]
models = [("threshold", threshold), ("tree", tree)]
vm = [(name, rule, matrix(valid, rule)) for name, rule in models]
chosen = min(vm, key=lambda item: errors(item[2])) # first wins ties
print("validation", [(name, m) for name, _, m in vm])
print("selected", chosen[0])
print("test", [(name, matrix(test, rule)) for name, rule in models])
为什么验证集可以指导选择
定义 29.1.4
(风险与验证误差)
在以下论证中先固定训练数据。假设验证样本 ,,独立同分布于 P,并与训练数据独立。给定训练数据后,设 是有限且非空的一组已拟合分类器;其整个拟合及特征变换在查看验证集前已固定,并独立于验证集。定义
R 中的新样本服从 P,且独立于生成 h 的数据;若 h 由验证集选出,这些数据也包括验证集。以下对数均以自然常数为底。以下概率均以训练数据为条件;若条件假设对几乎每个训练集成立,对训练集取平均后,同一界亦无条件成立。
定理 29.1.5
(有限候选家族的验证误差界)
对 ,以至少 的验证样本概率,K 个候选同时满足
因此,以任何依赖验证集的规则选出的候选也满足此不等式。这是对抽样程序的概率保证,并非保证观测到的验证错误率等于真实风险。
证明
(对每个候选用 Hoeffding,再用并集界)
给定训练集后,每个候选固定,其验证错误指示变量为独立同分布的伯努利(Bernoulli)变量,均值为 。由 Hoeffding 不等式,。由并集界,至少一个候选违反界限的概率至多为 。令此值等于 ,便得所示半径。在其补事件上,所有候选同时满足界限,故验证集选出的任何候选也满足。不同候选的错误之间不必独立;需要的是固定候选与独立同分布验证样本之间的独立性。
证明透视
并集界的作用及限制
这个事件涵盖训练后、验证前已固定的整个候选家族,因此容许在其中选择。但它不自动涵盖查看验证标签后才发明的候选、未计入数量的反复搜索、非独立同分布抽样,或在验证集上拟合的数据依赖预处理。
本例 、、,半径为 。选中的树验证错误率为零,因此在上述高概率事件上真实错误率至多约 。界限很松:四个样本没有观测到错误,不能证明总体错误率为零。固定样本本身不能证实独立同分布;这个数值结论只在所列分布假设下适用。
例题 29.1.6
(要多少个验证样本才使半径为 0.05?)
保持 、,要求半径至多为 。条件 等价于 ,所以最小的整数是 : 时半径约为 , 时约为 。半径减半需要四倍样本,因为 以 的形式出现。把候选数由 加倍至 ,只是把 换成 ,代价远小于把 加倍。
数据泄漏破坏实验
定义 29.1.7
(评估泄漏)
泄漏是指某个数据集影响了本应由它来评估的流程。训练数据可以影响拟合;验证数据只可影响在预先固定的候选家族内作选择;测试数据不可影响已冻结流程的任何部分。泄漏之后算出的分数,不再估计该流程对未见样本的表现。
反例模式
记住评估答案
假设每个评估样本有永不重复的唯一标识符,开发者先读取标签,再编写查表规则,对每个标识符返回存储的标签。同一批样本的测量错误率按构造为零:例如把八个测试标签 按标识符 存储,错误率就是 。面对新标识符 时,表中却没有答案,后备规则可能很差。此时候选依赖评估标签,所以不能对这个家族应用固定候选的证明。完美分数衡量的是取得答案,而非已证明的泛化能力。
泄漏也可能较隐蔽:用全部标签选特征、用保留样本拟合标准化器、预测新病人时把同一病人的记录分到不同集合,或看测试结果后反复改模型。应按实际部署时的新单位切分,例如病人或未来时间段。分组和时间切分可能有必要,但需另行分析;它们不会自动满足独立同分布定理。交叉验证时,每个需要学习的预处理步骤都要在各训练折内拟合。验证集用于选择,在上述固定家族及独立同分布假设下,胜出的错误率对所选模型风险在期望上有向下偏差,但并非每次抽样都低估风险;独立未动用的测试集估计的是冻结模型在测试抽样总体的表现,不一定代表分布改变后的部署总体。
常见错误
(用测试分数选择模型)
若用测试集在候选之间作选择,它就成了模型选择的一部分。设有 条规则,每条都以独立的公平掷硬币方式猜 个测试标签,因此每条的真实错误率都是 。一条规则猜对至少 个的概率是 ,所以 条之中至少有一条做到的概率是 。最佳的测试分数会显示出并不存在的能力。
习题
练习 29.1.8
(另一测试集上,选定规则得到 、、、。计算准确率、精确率、召回率及假正例率,并解释分母。)
基础
解答(3)
- 1
数出样本数与准确率
关键一步
样本共有 个,所以准确率是 。
- 2
除以正确的组别
精确率是 ,分母为预测正例;召回率是 ,分母为实际正例。
- 3
负例之中的错误率
假正例率是 ,分母为实际负例。单看准确率看不出错误的种类。
快速检查
(第三个候选的验证错误率为 。若它在查看验证标签后才加入,定理是否仍可用 ?若三个候选及只用训练集的拟合方法均在验证前固定,又如何?)
解答 · 答案
一般不能。第三候选可能编码验证答案,只把它算作三者之一不能恢复独立性。若三个已拟合候选都独立于独立同分布的验证集,则定理以 适用,包括验证集选出的候选。事先固定的有限家族必须包括所有实际考虑的候选,而不只是最终报告的候选。
快速检查
(假设阈值规则的验证错误率为 ,决策树的验证错误率为 。使用 ,给出所选规则的风险上界,并解释为何未必有用。)
解答 · 答案
选中阈值规则,验证错误率为 。半径仍约为 ,故在 的事件上有 。风险本来最多为一,这个上界几乎不能提供有用保证。这是对重复独立同分布验证样本下程序的叙述,不是在观测样本后赋予固定未知风险 的概率。
快速检查
(医院有 100 名病人,每人五张图像。随机按图像切分,可能令同一病人的图像同时出现在训练和测试集。解释评估偏乐观的一个机制,并提出切分方法。你的建议本身能否保证病人独立同分布?)
解答 · 答案
同一病人的纹理或采集特征可能同时出现在两集合中,模型因此认出病人,而非泛化至新病人。应把每名病人的所有图像分配至同一集合,并保留未动用的测试病人;这更直接测试在抽样环境中预测新病人。然而病人之间可能相关,也可能存在选样偏差或时间漂移;分组切分本身不能证明独立同分布或外部有效性。