为什么在训练误差最小之前停止?
数据含噪声时,持续降低训练损失,最后可能连噪声也拟合进去。在线性回归中,我们可以逐个方向精确计算这种权衡。但结论也有明确边界:最佳停止时间依赖未知信号与噪声,训练输入上的风险不必等于新输入上的风险。
固定 ,设 ,其中 固定,,。下面的期望平方误差公式不需要高斯(Gauss)分布,也不需要噪声坐标独立。全文都以设计矩阵为条件。设 ,取薄奇异值分解
记列向量为 ,令 ,。从 出发,用迭代 最小化 。约定 ,包括 的情况。其中 是非负整数,, 为最大奇异值。若目标函数另有 因子,允许的步长和公式都要相应调整。
定义 19.1.1
(拟合值风险)
固定设计预测风险定义为
期望针对训练噪声。这里比较的是相同设计点上的拟合值与无噪声均值;它既不是针对 的训练损失,也不是新协变量上的预测误差。
谱滤波及其风险
定理 19.1.2
(精确的偏差—方差分解)
在上述条件下,
因此 ,。仅凭两个端点,并不能确定哪个中间时刻的风险最小。
证明
(在奇异坐标中把迭代对角化)
令 。把更新式左乘 得
由等比求和,。所有更新都在 的张成空间内,第一式随之成立。又因为 ,误差在第 个方向的坐标是
交叉项期望为零,且 。利用 的正交性即得风险公式。步长条件保证 ,从而得到极限。
证明透视
权衡出现在哪里
三个假设各有分工。起点 使每个迭代都留在由 张成的行空间内,所以 条标量递推描述了整个迭代。奇异值分解把更新解耦:每个坐标 各自遵循乘数为 的一维递推,等比求和把它精确解出。噪声假设只在最后一步出现: 消去 与 的交叉项, 则使每个方向的方差同为 ,各方向可以直接相加而互不干扰。关键一步是在拟合值坐标 而非参数坐标中度量误差,因此不会出现除以小 的情况;参数误差的表现可以很不同。偏差平方项是尚未学到的信号,方差项是同一滤波因子 接纳的训练噪声。步长条件只用于求极限。
若 ,则所有 :滤波因子 单调地从零增至一,奇异值较大的方向通常学得较快。在更宽的稳定步长范围内,某些 为负,迭代会振荡;公式仍成立,但滤波因子可能超过一;有符号偏差会交替,方差也可能振荡,尽管偏差平方仍不增。迭代稳定并不意味着每一步都是收缩估计。
例题 19.1.3
(单一方向:插值可能增大风险)
取 ,,,,。则 ,且
在 时,风险分别为 、、。第一次更新保留一半信号,也只接纳一半噪声;最终拟合则复制全部噪声。然而实际训练损失 单调趋于零。因此仅凭训练损失不能找到风险最小的时刻。
例题 19.1.4
(两个以不同速度学习的方向)
设 、、、、,于是 、、。按约定 ,第一个方向对 的贡献在 时是 (全是偏差),在每个 也是 (全是方差):它一步便完全学到。第二个方向的贡献是 ,其中
由于 ,而 随 递增,并在 与 之间越过 ,整数最小点在 ,此时 。两个端点都给出 。
例题 19.1.5
(会振荡但稳定的步长)
取 、、、,它在稳定范围 之内。则 ,:
偏差平方 递减,但滤波因子 在大于一与小于一之间交替,所以方差项振荡;在 时,风险同时超过 和极限 。迭代稳定并不使每一步都成为收缩估计。
下面的互动图对选定的设计与停止时间精确计算风险 (分为平方偏差与方差),并显示哪个岭参数能匹配各方向的滤波因子。
与岭回归比较
对 ,岭回归最小化 。在奇异坐标下求解,拟合值的滤波因子为 ;提前停止使用 。当 ,两者都抑制小奇异值方向,但定性的共同效果并不意味着存在一个共同参数使所有方向完全一致。
反例模式
一个停止时间不一定对应一个岭参数
取 ,,。梯度滤波因子是 和 。岭回归要匹配第一个,须满足 ,即 ;要匹配第二个,须满足 ,即 。因此不存在同时匹配两个方向的单一 ;当数据在两个方向上均非零时,拟合向量不同。 的零滤波只能在 时逼近; 的非零模态滤波则在 时逼近。
公式是理想化固定设计下的期望,不能直接给出可观察的停止时间,因为 和 通常未知。实际规则需要验证数据、噪声模型或其他假设。用同一批观测选择停止时间会改变估计器,需要另行分析。在过参数化问题中, 在 的分量对这些输入不可见,但可能影响新输入的预测。
常见错误
(在训练损失不再下降时才停止)
当 时,训练损失 不增并趋于最小值,所以它永远不会提示噪声正被拟合。在单一方向例子中,训练损失降至零,风险却由 升回 。停止规则需要训练损失不包含的信息,例如留出的验证数据。
常见错误
(重新缩放目标后仍沿用原步长范围)
对 ,梯度是 ,乘数变为 ,稳定范围是 。对平均形式的目标仍用 会使步长无谓地小;对求和形式的目标用 则会发散。
练习与解答
快速检查
(在一维例子中,求使 最小的连续滤波值 ,并找出最佳整数 。)
把风险写成滤波值 的函数。
解答 · 答案
配方得 ,故最优值为 。梯度滤波在 恰好达到它,所以整数时间中 最优。
快速检查
(令 、、。更新稳定吗?它的滤波因子属于 吗?)
计算 。
解答 · 答案
稳定,因为 ,且 的绝对值小于一。但 :第一次拟合越过目标。后续迭代在最小二乘拟合两侧交替并收敛。
快速检查
(若 、、,求 的拟合向量,以及 的岭拟合向量。)
是对角矩阵,奇异方向就是坐标轴。
解答 · 答案
使用滤波因子 ,得 。岭滤波因子为 ,得到 。匹配一个方向并不匹配另一个。
快速检查
(设 ,。本节风险衡量什么?它能说明协变量 处的预测吗?)
看得见 的哪些坐标?
解答 · 答案
此时 ,固定设计风险衡量唯一观测输入处对零的估计误差。第二个参数对 不可见;训练设计没有提供其数值的信息。 处预测依赖该分量,所列固定设计风险不能控制它。