为什么选择模型也需要数据?
训练过程可能产生多个预测器,例如不同正则化强度、网络大小或训练时间对应的模型。训练损失有助拟合参数,却也奖励模型适应训练样本;因此,训练损失最小不代表对新观测的表现最好。我们可以先只用训练数据建立候选模型,固定它们,再用独立的验证数据比较。
“拟合”与“选择”虽然是不同步骤,验证数据仍会影响最后选出的模型。从许多候选者中取最小验证损失,因而可能过分乐观。选择完成后,可用没有参与决策的独立测试集估计这次选出模型的风险,这是以先前训练及验证数据为条件的评估。若要估计整个程序在不同训练样本上的平均风险,就须考虑重复训练及选择。反复查看测试结果并据此修改程序,实际上就是把测试集也用作验证集。
设定与选择定理
令 包含全部训练数据及训练时使用的随机性。根据 建立非空有限个可测预测器 ;训练方法可以很复杂。在查看任何验证观测之前,这份名单已经固定。
定义 20.1.1
(验证风险与留出法选择)
令 为独立同分布的验证观测,各自服从 ,并与 独立,其中 。对满足 的损失,预测器 的风险与验证风险为
留出法选择在 中取使 最小的指标 ,遇到平手按预先固定的确定规则处理。
计算 时,候选模型固定,期望是对一个新观测取的。所有模型可以共用同一验证集;不同模型的验证损失不必彼此独立。
定理 20.1.2
(有限候选者的留出法选择保证)
对 ,以至少 的概率(涵盖训练与验证的随机性),有
比较对象是这份已固定候选名单中真正最好的模型,不是所有可能的预测器。
证明
(先固定训练,再用联合界)
固定 后,候选名单不再随验证数据变动。对每个固定候选者,验证损失是落在 中的独立同分布随机变量。Hoeffding 不等式给出
对 个候选者使用联合界,无须假设不同模型的损失独立。取 ,便以至少 的条件概率同时控制所有误差。在此事件上,令 为名单中真实风险最小的指标,由选择规则得
对 的每个取值,条件保证相同;再对 取平均便得到整体概率。由于损失位于 ,若右边大于一,界仍然正确,却没有提供有用的精度。
证明透视
独立性与固定名单在哪里起作用
验证样本与 独立只在开头用了一次:它保证固定 后,验证观测仍是来自 的独立同分布样本,所以每个固定候选者的验证风险是 个独立有界项的平均。训练过程只在这里出现,这就是候选模型可以用任意复杂方法训练的原因。
关键一步是在知道 之前,把全部 个偏差放在同一事件上控制。选中的指标依赖验证数据,所以不能直接对 用 Hoeffding 不等式;但在一致事件上,不论选中哪一个,每个候选者都在 之内。联合界只在对数内付出因子 ,也无须候选者之间独立。之后由三个环节收尾:选中候选者的偏差、选择不等式、最佳候选者的偏差,因此得到 。若看过验证损失后再扩大名单,第一步便不成立,因为固定 后候选者已不再固定。
候选名单可以依赖训练数据,因为证明先固定了 。但若看过验证结果后再按结果加入新模型,不能照旧只把原本的数目当作 。若事先确定更大的有限候选集合,则可用该集合的总数,即使搜索只看了其中一部分。无界的平方损失或对数损失需要额外的尾部或有界性假设;上面的 Hoeffding 证明不会自动适用。
同一条件化论证只用一个候选者,便说明最后的测试估计为何可靠。
推论 20.1.3
(未动用的测试集估计选中模型的风险)
设 为来自 的独立同分布测试观测,与 及验证样本都独立,并以 表示平均测试损失。对 ,以至少 的概率有
证明
(单个已固定的预测器)
固定 及验证样本。此时 是一个固定预测器,它的 个测试损失是 中的独立同分布变量,均值为 。取 的 Hoeffding 不等式给出条件界,再对所固定的变量取平均便得无条件界。若再查看测试集来改变选择,选中的预测器在这些条件下就不再固定,这个论证也不再适用。
计算例子
例题 20.1.4
(数值保证)
设 、、。因为 ,所以 ,以至少 的概率,选中模型相对十个候选者中最佳者的超额风险不超过 。若其中两个模型的验证损失分别为 和 ,只有当其余模型没有更小损失时才可能选前者。定理并没有说前者的真实风险等于 。
例题 20.1.5
(比较阈值)
训练集产生固定的阈值分类器 和 。验证输入为 ,标签为 。两个模型分别预测 和 ,零一验证损失分别为 和 ,因此选 。这只展示计算,不能证明它的总体错误率为零。
例题 20.1.6
(界失效时,以及无需选择时)
在阈值例子中,、。取 ,,所以界为 。零一超额风险不会超过一,因此这个保证正确却没有内容。要求 得 ,所以 个验证观测足以保证超额 。
另一极端是 ,此时左边为零:只有一个候选者,就没有选择需要付出代价。验证集这时起测试集的作用,取 的推论给出其估计的精度。
数据泄漏的反例
反例模式
由验证标签建立的候选者
断言:选择界对任何有限名单都成立,不论名单如何产生。设输入是互异的连续标识符,与标签独立,每个标签独立地以概率 为 。取 :常数预测器 ,风险为 ;以及读过验证标签后建立的查表模型 ,它对验证标识符返回记住的标签,对其他标识符返回 。新标识符以概率一未曾出现,所以 。
在验证集上 的损失为 ,而 的损失等于正标签的比例;除非 个标签全为 (概率 ),它都是正数。因此会选中 ,超额风险为 。取 、,界为 ,它至少以概率 失效。被违反的假设是:名单在固定 后已固定,并与验证样本独立;仅仅把同一批记录称作留出集不能挽救推论。
此外,测试数据也要符合预期的使用场景:即使独立,测试分布与未来用户分布不同仍可能产生偏差。同一个人的多条记录或时间序列,随机逐行切分可能不符合真实预测任务,应尊重依赖关系及预测时可获得信息的时间。
常见错误
(切分前用全部记录拟合预处理)
在切分数据之前用全部记录拟合标准化器、缺失值填补规则、特征选择器或词表,会让验证信息进入每个候选模型,候选者便不再与验证样本独立。应只在训练部分拟合这些变换,再把已拟合的变换应用到验证和测试记录。
常见错误
(把最小验证损失当作风险)
最小验证损失有向下偏差。设标签是与输入独立的公平硬币,比较分类器 与其补 ;两者的风险都是 。在单个验证点上恰好有一个正确,所以较小的验证损失永远是 。定理控制的是选中模型相对最佳候选者的风险;要估计选中模型本身的风险,需要新数据,正如推论所示。
练习与解答
快速检查
(若 且 ,选择界如何改变?)
解答 · 答案
对取值于 、最小点不变的 使用定理,再乘回 ,得到 。
快速检查
(当 时,要以 的置信水平保证超额风险至多为 ,多大的 足够?)
解答 · 答案
要求 ,即 ;取 足够。这是充分值,不一定是必要的最小值。
快速检查
(固定 ,把 加倍,界如何变化?)
解答 · 答案
根号内的 增加 ,等价地,界的平方增加 ,所以界变大。实际风险不一定变大,因为较大的名单也可能包含更好的模型。
快速检查
(团队用测试集选两个模型中较好者,再把较小测试误差当作所选模型风险的无偏估计,是否合理?)
解答 · 答案
不合理。选择依赖所报告的测试误差;即使每个固定模型的测试误差无偏,两个估计值的最小值相对于两个真实风险的最小值一般有向下偏差。应用验证数据固定选择,再用独立测试集评估一次。