小奇异值可能使未正则化的最小二乘系数对噪声产生强烈反应。岭回归改变优化问题,对每个系数施加惩罚。本单元使用未缩放的平方损失;若在损失前加上 ,惩罚参数的数值意义也会改变。
即使列相依也有唯一解
定义 10.2.1
(岭回归目标函数)
令 、,固定 。惩罚全部 个系数,没有独立且不受惩罚的截距:
给定 的岭回归估计量是 在 上的极小点。
展开并微分得到 ,问题在于驻点是否为唯一的极小点。
定理 10.2.2
(岭回归解的唯一性)
对任意 、任意 及任意 ,矩阵 可逆,且 恰有一个全局极小点,
证明
(正定性与精确的二次展开)
对非零 ,。正定矩阵可逆,所以 有定义,并满足 。对任意 展开 : 的线性项为 ,因此
当 时这严格为正。所以 是全局极小点,没有其他点取得最小值。
证明透视
惩罚在哪里起作用
这个展开是精确的,因为 是二次多项式,所以驻点自动是全局极小点,无须引用凸函数定理。惩罚只在 这一项出现,对每个 它都严格为正;数据项 单独只是非负,并在 上为零。没有惩罚()时,秩不足的 会给出整个仿射族的极小点,下面的秩亏例子正是如此。若某个系数方向不受惩罚,论证同样失效,因为沿该方向第二项消失。
即使 的列相依或列数多于行数,此逆矩阵仍存在。结论使用了 及惩罚每个系数的假设;若截距或其他方向不受惩罚,则须另行检查秩。
奇异值的作用
设秩为 ,取薄奇异值分解 ,其中 ,而 和 各自正交归一。下面的结果用这个分解表示岭回归的拟合。
定理 10.2.3
(岭回归拟合的谱形式)
对上述薄奇异值分解及 ,
证明
(逐个奇异方向验证正规方程)
由于 且各 标准正交,。令 ,则 ,所以 满足正规方程,由唯一性即 。最后由 得 的公式。
时公式仍成立,空和解作零。与未正则化的非零奇异方向拟合相比,拟合响应乘上一个介于零与一之间的滤波系数。固定 时,较小的 对应较小的系数。当 ,拟合值趋向零;当 ,它趋向投影到 列空间的正交投影。若 秩不足,此极限不会使 时的 可逆。
概念视角几何
岭回归即限制在球内的拟合
令 。则 同时是 在球 内的极小点:球内若有损失更小的竞争者,便有 。惩罚越大,对应的球越小,岭估计就是损失的等值椭球面最先碰到该球的那一点。
例子与拟合灵活度
例题 10.2.4
(对角设计上的岭回归)
取 、、,并使用上述损失及惩罚约定。则
滤波系数是 与 ,所以奇异值较小的方向被收缩得更多。残差平方和为 。
此时拟合值算子是 ,其 。一般而言 ,其中 ,而
对固定 和固定 ,假设 ,且 、。则 。这促使我们把此迹称为该线性平滑器的有效自由度;它不必是整数。若用 选择 ,算子作为数据的函数便不再固定,不能直接把所选值代入此协方差恒等式。
反例模式
较大的惩罚不一定降低系数误差
命题:正的惩罚只会帮助还原真实系数。取 及无噪声数据 ,其中 ,即 。在 时最小二乘解就是 ,误差为 。在 时岭回归解为 ,系数误差平方为 。收缩只在噪声方差压过它所引入的偏差时才有帮助;数据精确时它只增加偏差。较大的惩罚产生较小的迹,通常使拟合较简单,但这本身不能证明预测误差低。评估由数据选出的惩罚时,应把预处理和调参放在每个训练折内;上述固定惩罚计算本身并非样本外保证。
常见错误
(在不同损失缩放之间比较惩罚)
目标函数 与 有相同的极小点。取 ,缩放约定下的 对应本单元约定下的 。只报告惩罚数值而不说明损失约定,并不能确定收缩的程度。
例题 10.2.5
(含零奇异值的设计矩阵)
设 、、。此时 、、,所以 ,。直接验算:,,得 。响应的第二个分量落在 的列空间之外,无论 为何都不会被拟合;第二个系数为 ,因为它受惩罚却不影响损失。有效自由度为 ,不是整数。
另一个秩亏例子:数据究竟识别了什么?
上面的对角矩阵例子具有线性无关的列。为了看清两个特征不能由训练数据区分时会发生什么,考虑下面另一个设计与响应:
例题 10.2.6
(秩亏设计中拟合相同而系数不同)
仍使用同一目标函数 :损失不除以样本数,没有单独截距,两个系数都受惩罚。令 ,则 ,目标中依赖数据的部分是 。向量 属于 :加上它的任意倍数会改变两个系数,却不会改变任何训练预测。观测所能约束的是与拟合值有关的系数和,而不是各个系数。
先取 。每个满足 的向量都恰好拟合两个训练目标。例如 与 是不同的最小二乘解,范数平方分别为 与 。前者是最小范数解,但选它是额外的约定;两者对已观测数据的拟合完全相同。
当 ,正规方程为
两式相减得到 ,其中 。上面的正定性论证说明 是唯一的岭回归极小解。若要和另一个产生相同训练预测的向量比较,可沿零空间移至 :残差不变,而系数范数平方增加 ,所以带惩罚目标恰好增加 。岭惩罚在线上选出一点,并没有增加观测或改变 。
取 ,基准点为 ,其训练预测为 。再取 ,比较点为 ,训练预测相同。两者的残差平方和均为 ,但目标值分别为 与 ,相差 。对新特征向量 ,两者的预测分别是 和 。这个方向不在已观测设计的张成空间内,也没有给出对应目标值;单凭预测不同,不能判断哪个向量对未来结果预测得更好。
正则化正规方程矩阵的特征值是 与 。因此 时,其 2-范数条件数为 ; 时为 ,而 时矩阵奇异。这是 的条件数,不是 的条件数。下面的交互正是这个独立例子:可以改变惩罚、零空间位移和查询方向,检查哪些量会改变。
这里固定设计、特征尺度及上述惩罚约定。若损失重新缩放或设有不受惩罚的截距,数值问题便会改变。尤其是,带惩罚估计唯一,本身并不能证明数据能识别两个独立特征效果,也不能证明测试误差更小。
习题
快速检查
( 时, 下的系数及拟合响应是什么?)
使用正规方程。
解答 · 答案
正规方程为 ,所以系数及拟合响应均为零。
快速检查
(在对角例子中计算 。)
使用残差向量 。
解答 · 答案
。
快速检查
(若正奇异值满足 ,其拟合值滤波系数是多少?)
代入 。
解答 · 答案
。
快速检查
(若某个系数方向不受惩罚,为什么正 本身不能证明唯一性?)
取第二列为零的设计,并只惩罚 。
解答 · 答案
证明中使 严格为正的是 。若方向 不受惩罚且 ,沿它的差为 。例如 的第二列为零而只惩罚 时, 完全不依赖 ,所以 的每个值都是极小点。