动机
相机通常不是逐个像素独立测量:点扩散函数先混合亮度,之后再加入噪声。周期傅里叶(Fourier)模型能清楚展示这种混合,但真实边界规则或空间变化的模糊可能产生不能用傅里叶坐标对角化的矩阵。即使如此,我们仍可研究复原,而不必假设所有矩阵有相同的特征向量。
前一节的恒等算子惩罚同时抑制整体亮度与振荡;差分惩罚则偏好相邻像素接近,却不惩罚常数图像。这个选择有重要代价:测量必须辨认惩罚忽略的每个方向。以下证明确切条件,并研究噪声趋零时能恢复什么。所有向量及矩阵均为有限维实数对象;这不是连续模型的收敛定理。
定义
设 为指定的成像算子, 为指定的惩罚算子, 为观测。对 定义
例如两像素图像上, 惩罚对比度而不惩罚平均亮度。边界约定包含在 的选择内。 则是一项模型假设;它的核表示单靠这个惩罚不能分辨的特征。这里不施加非负限制。
对精确数据 ,若 ,且在所有精确解中 最小,便称 为 -最小解。它是按模型选出的解,不一定是产生数据的实际图像。
定理/命题
定理 1.4.1
(半范数惩罚下的存在性、唯一性与稳定性)
假设 且 ,则 有唯一最小解
若 是 的最小特征值,则数据 对应的最小解满足
反之,若共同核包含非零向量,最小解仍然存在,但绝不唯一。
定理 1.4.2
(小噪声的选解原理)
在相同共同核假设下,设 。此时存在唯一的 -最小精确解 。若 ,并选择 使得当 时 及 ,则
这是充分的参数规则,并非声称每个成功的规则都必须如此。
两个命题都可以通过同一个叠合最小二乘问题来理解。
概念视角代数
半范数惩罚就是叠合算子的普通最小二乘
令 、。则 ,法方程 正是 ;而共同核条件恰好是 为单射,因为 即 且 。所以唯一性就是熟悉的事实:最小二乘问题有唯一解,当且仅当其矩阵的列线性无关。常数 是 最小奇异值的平方。
证明或证明思路
证明
(法方程矩阵决定唯一性与敏感度)
记 。对任何 ,
这个量对每个非零 严格为正,当且仅当两个核的交集只有零。此时 正定,以 为中心展开得到 ,故驻点是唯一全局最小解。两个法方程相减得 ,再用 即得稳定性估计。当 减小,此界可能变大;固定参数的连续性本身不能证明复原。
若共同核非平凡,令 ,则 。 的值域是有限维闭子空间, 在该值域上的正交投影有原像,任何这样的原像都是最小解。加上任何共同核向量都不改变目标值,因而不唯一。
证明
(选出最小惩罚的精确解)
先注意最小 -范数的精确解存在:在仿射子空间 中取离原点最近的点;它在有限维空间中是闭的。若两个不同精确解有相同最小 -范数,除非它们的 -像相同,否则其中点的平方 -范数会严格较小。若像相同,二者之差又属于两个核,故它们实际上相等。
把最小解与满足 的竞争者 比较,令 ,便有
所以 ,而残差趋于零。 和 均有界。由于叠合映射 是单射,存在 使 :只要在单位球面上求连续正函数 的最小值。故 有界。每个收敛子列的极限都是精确解,其 -范数不大于 ;由唯一性,极限必为 。有界性及唯一聚点共同保证整族收敛。
证明透视
极限证明依靠什么?
极限证明在两个不同地方使用两个参数条件,而全部信息都来自同一条比较不等式。它的第一个推论“残差 ”只需要 ;它保证每个极限点与数据相容,但对 中的方向毫无控制。第二个推论 需要 ,并同时完成两件事:它控制惩罚,而在极限中又说明聚点的 -范数不比 差。
两个界单独都不能控制 。共同核假设首先通过强制常数 出现,把有界的 与 变成有界的 ;有限维再提供收敛子列。证明最后以 的唯一性收尾,这是同一假设的第二次使用,此时用于两个最小惩罚解。
例题
例题 1.4.3
(两像素模糊与差分惩罚)
取 、、 及 。写 ,则 、,因此
一阶方程给出 和 ,复原图像为 。精确反演则为 ;差分惩罚保留数据的平均值,却有意降低对比度。复原残差为 ,范数为 。即使 可逆,它也不必为零。
例题 1.4.4
(数据留下选择时)
取 、、。每个精确解均满足 ;差的最小可能大小为零,所以 。两个核分别是对比方向与常数方向,交集只有零。对有噪声的标量数据 ,任意正 的唯一最小解都是 ,因为两项可同时为零。若 ,它趋于 。此例中两项可同时为零,故任何正参数选择均有此收敛;第一个例子则显示复原一般依赖参数。实际图像 亦给出精确数据四,但此选解原理不会恢复它。
例题 1.4.5
(奇异模糊仍有唯一复原)
取 、、。此处 奇异:它消去对比方向 。但 由 张成,两个核只交于零,定理仍给出唯一最小解。写 ,则 、,故
最小值在 、:对每个 都有 。残差 正是数据的对比,任何图像经此 都不能产生它。
法方程矩阵在 上的特征值为 ,在 上为 ,故 ,且 。稳定性界 成立,但此处并不精确:实际映射 就是 ,对每个 范数均为 。
常见错误
反例模式
平滑惩罚不一定能确定亮度
取 及 。两算子都消去 。对任何 ,最优差为 ,但平均值任意。因此,观测和惩罚共同忽略的方向,不能靠增大惩罚修补。加入独立的平均值测量或明确平均值限制会改变问题,并可消除这个歧义。
定理中的界只讨论固定 时数据 的扰动;模糊校准错误改变的是 ,需要另行分析。
常见错误
(把惩罚小当作平滑的证据)
小并不证明真实图像平滑;它只记录模型偏好。在 的例子中,图像 与 给出相同的精确数据 。不论实际拍摄的是哪一幅,复原都选出 的 。
常见错误
(以为可逆模糊会被精确拟合)
有惩罚时,即使 可逆, 也不满足 。在两像素例子中 可逆,但 留下残差 。残差是惩罚的代价;一般而言,只有在精确数据下令 时它才消失。
总结
广义二次正则化以选定算子 取代恒等算子。共同核条件正是唯一性条件,法方程矩阵则量化固定参数下的敏感度。噪声和参数按相容速率趋零时,复原会收敛至最小惩罚精确解,但它未必是未知的实际图像。
习题
练习 1.4.6
(设 和 。对数据 求 ,并解释残差。)
基础
解答(3)
- 1
写出目标函数
。
- 2
逐个坐标最小化
;两个核 与 只交于零。
- 3
解释残差
第二个测量坐标的预测永远为零,残差为 ,任何图像都不能拟合它。
练习 1.4.7
(对两像素模糊例子,求任意 的最小解。当 ,对比度如何变化?)
基础
解答(2)
- 1
在平均与差分坐标中求解
平均值仍为 ,而 ,故 。
- 2
取极限
对比度 在 时趋于零;这不表示未知图像本身对比度为零。
练习 1.4.8
(对 取 ,哪些实数 满足选解定理的两个参数条件?)
基础
解答(3)
- 1
第一个条件
时 要求 。
- 2
第二个条件
要求 。
- 3
合并
两者同时成立当且仅当 。定理适用于这个范围;它没有刻画范围以外是否收敛。
练习 1.4.9
(设 、 及精确数据 。找出最小惩罚精确解,并解释为何单靠数据不能恢复真实图像 。)
核心
解答(3)
- 1
描述精确解
精确解是所有 ,其 。
- 2
最小化惩罚
的最小值唯一在 取得,故 。
- 3
解读
所有 有相同数据,模型选出 ;观测没有证据指出 。