弱方向不一定是零方向
最小二乘问题要求寻找使 最小的 。秩亏矩阵可能有多个最小解;即使矩阵满秩,也可能存在某个方向使 变化很小。此时 的微小变化可能造成拟合系数的大幅变化。奇异值将这两种现象区分开,也使正则化的作用变得明确。
设 的秩为 。
定义 4.3.1
(紧奇异值分解)
的紧奇异值分解是如下形式的表示
其中 、 分别构成标准正交族, 张成 , 张成 ,且 。
这些是精确算术下的结论;数值秩取决于尺度和数据准确度。
最小范数最小二乘解
定义 4.3.2
(伪逆与最小范数解)
的伪逆是算子 。对数据 ,最小范数最小二乘解是 。
定理 4.3.3
(最小范数最小二乘解)
令 。向量最小化 ,当且仅当它形如 ,其中 ,而
特别地, 是欧氏(Euclidean)范数最小的唯一最小化解。若 ,则 ,所以数据扰动 使 的改变至多为 ,且此界可以取到。
证明
(沿奇异向量分解目标函数)
因为 与 张成 ,每个 都可写成 ,其中 。记 、。由于 且 ,正交性给出
因此每个最小二乘解都满足 ,而 任意。由于 与 正交,,在 时最小,且仅此时最小。这就得到 。 把每个 送到这个唯一的向量,所以与所选 SVD 无关。 时求和为空,。 且 时,由 Bessel 不等式,,取 时等号成立。所以 ,而数据扰动 使 改变 ,其范数至多为 。
证明透视
分离性从哪里来
证明把一个最小化问题变成相互独立的标量问题,全靠两个正交性事实。 标准正交,且 ,所以交叉项消失,目标函数分离为 加一个常数。 与 正交,所以 也以同样方式分离。 的正性只用了一次,就是解 ;若有零奇异值, 便不受约束,这正是核方向。残差只看到 ,所以每个核向量 都不改变残差。这解释了为什么最小化解可以不同,也解释了为什么取 得到范数最小的那个。
很小的正奇异值不是零方向,但它可能大幅放大噪声。
岭滤波
定义 4.3.4
(岭正则化)
对 ,岭正则化选择以下目标的唯一最小解:
定理 4.3.5
(岭解及其噪声界)
对 ,上述目标有唯一最小化解 ,为
等价地, 是 的唯一解。对所有 ,,所以 改变 时, 的变化至多为 。对固定的 ,当 时 。
证明
(沿奇异向量的标量二次问题)
上面的分解将它化为互不耦合的标量二次问题,逐项最小化得到
因为 ,核方向分量为零。等价地, 求解 ;即使 秩亏,该矩阵仍然正定。对所有 ,标量滤波因子具有一致上界:
因为 。所以 改变 时, 的变化至多为 。对固定的 ,当 时有 。当 时,实际放大因子 严格小于 ,但较松的一致上界 未必更小。该解相对于 一般有偏差。
例题 4.3.6
(岭方法使虚假分量减半)
设 ,精确右端为 ,观察数据却是 。不正则化的求逆结果为 ,但精确数据对应的精确解为 。取 时,岭解为
在此例中,虚假的第二分量减半,但第一分量也发生了小幅改变。这说明一种权衡,并不提供通用的 选择。
例题 4.3.7
(秩亏矩阵上的岭方法)
设 、,则 、、。每个最小化解的第一个分量为 ,第二个分量 任意,残差 的范数为 ;最小范数解为 。取 ,滤波给出 。验算:、,所以 解出正则化方程组。对任何 ,核方向 的系数都为零,而第一个分量由 压缩到 ,这就是岭方法的偏差。
截断奇异值
定义 4.3.8
(截断 SVD 解)
对阈值 ,定义
这种截断 SVD 丢弃低于阈值的方向。若数据改变 ,正交性给出 。但被丢弃的分量可能包含真实信号,因此限制噪声放大的阈值也可能带来逼近误差。精确地说,。
反例模式
正则化可能去掉真实信号
仍取 ,但令精确的无噪声数据为 。真正的最小范数解为 。取 的岭方法返回 ;取 的截断 SVD 返回零。若不对噪声和期望信号作出假设,就没有普遍更好的选择。
实际选择阈值或岭参数应考虑数据准确度、尺度以及求解目的。较大的残差本身不能证明正则化估计对未知真实信号更差;反过来,较小的残差也不能证明含噪系数准确。在浮点计算中求 SVD 或解正则化方程还会产生额外误差,上面的精确公式并未分析这些误差。
概念视角分析
三种解的同一个滤波公式
上面每个解都具有如下形式
即对 的系数作用一个滤波函数 。伪逆取 。岭方法取平滑滤波 ,它在 处等于 ,在 时趋于 。截断取 ()和 (其余)。由此看来,两种正则化只在关闭弱方向的陡峭程度上不同。在两个方向的计算中,、 处的滤波值为 ,正是那里观察到的减半。
例题 4.3.9
(三个奇异值上的截断与岭方法)
设 、。则 、,。取 的截断保留前两个方向,所以 ,逼近误差 全部来自被丢弃的方向。取 的岭方法,滤波值为 、、,因此 。噪声界方面,截断为 ,岭方法为 ,而此 上岭方法的实际放大倍数为 。若第三个分量是真实信号,两种方法都会丢失它的大部分:截断的误差为 ,岭方法约为 。
常见错误
(零奇异值与很小的奇异值并不相同)
零奇异值使相应系数不受残差约束:任何取值给出相同拟合,最小范数解把它取为零。很小的正奇异值则把系数决定为 ,所以 中的噪声 在解中变成 。把很小的正 换成零是改变问题的建模决定,不是恒等变形。
常见错误
(一致的岭界不是实际放大倍数)
界 对每个 成立,并且只在某个 时取到。取 、,界为 ,而实际因子是 。只要没有奇异值接近 ,把一致界当作放大倍数就会高估对噪声的敏感性。
练习与解答
快速检查
(对 、,求所有最小二乘解及其中的最小范数解。)
比较不同 下 的残差。
解答 · 答案
每个 都使残差最小,其范数为 ;最小范数解为 。
快速检查
(对相同的 ,取 ,计算 。)
对唯一的非零奇异值使用滤波因子 。
解答 · 答案
,因为 。
快速检查
(为什么岭方法的噪声放大界在 时增大?)
界为 。
解答 · 答案
上界 趋于无穷。这是对所有奇异值的一致上界。对固定非零 ,实际因子始终小于 ,并在 时趋于 。
快速检查
(如果 大于所有奇异值, 是什么?)
数一数求和中保留了多少项。
解答 · 答案
保留的求和为空,因此 。