动机
模糊的观测值可能对应很多幅图像。直接除以很小的模糊系数,虽可紧贴观测数据,却可能大幅放大噪声。要选择复原方法,光看残差并不足够;我们还要说明如何衡量误差,以及对图像和噪声有什么假设。本节把图像与观测视为有限维随机向量。所得滤波器只在明确指定的估计类别中最优,并非对每幅照片都自动最优。
设 ,其中 是未知图像、 是已知实矩阵、 是加性噪声。我们寻找仿射估计 ,使期望平方误差 最小。所有期望均假设二阶矩有限。这个准则对假设的分布取平均,并不保证每一次所得图像的误差都是最小。
定义
记 、,并令 ,。假设 正定。估计误差是 ,其平方范数的期望称为风险。以下定理不要求信号与噪声独立,也不要求它们不相关;定理后的简化公式才明确加入不相关假设。
定理/命题
定理 1.6.1
(最佳仿射估计)
若 有有限二阶矩且 正定,则最小化风险的仿射估计作为随机向量是唯一的,并且为
其误差与 的每个中心化线性函数不相关。先选取最佳截距后,任意矩阵 所产生的超额风险是 ,其中 。
证明
证明
(先定截距,再用正交恒等式)
固定 ,写 。估计误差为 ,其中 的均值为零,因此
最佳截距必有 。令 。直接代入可得 。对另一矩阵 ,中心化误差是 ,展开其平方得
交叉项因上述协方差恒等式而消失,余下定理中的非负迹。正定性保证该迹为零时 。这也是平方可积随机变量空间中的正交投影,但投影的对象只限于观测的仿射函数。
证明透视
假设用在哪里
证明做了两个独立的化简。第一个是偏差与方差的分解:截距只移动误差的均值,所以可以独立于 优化,最佳选择使误差中心化。第二个是勾股定理:恒等式 表示 的误差与 的每个中心化线性函数正交,所以任何其他矩阵只会多加一项,不能减去任何一项。
有限二阶矩使每个期望与交叉项都有限。 的正定性用了两次:一次通过逆矩阵定义 ,一次使超额的迹严格为正。若 奇异,最佳估计仍可能存在,但其矩阵表示不一定唯一,不能照搬上面的逆矩阵公式。证明完全没有用到独立性或高斯(Gauss)性,正因如此,结论只限于仿射估计;误差与观测正交也不代表两者独立。
若 与 不相关,则 、。所以已知二阶矩便能确定最佳仿射估计。在对角形式下,这给出熟悉的标量滤波器。
推论 1.6.2
(不相关噪声下的标量增益)
考虑各坐标互相独立且均值为零的标量模型 ,其中 与 不相关,信号方差为 、噪声方差为 ,并假设 。最佳仿射估计及其风险为
证明
(代入标量的矩)
在每个坐标上 、,故定理给出增益 。其风险为 。
例如,实正交基底同时对角化对称模糊矩阵及两个协方差矩阵时可套用此式。周期卷积也可采用复数傅里叶(Fourier)系数;此时转置改为共轭转置,分子为 。对任意图像不能无故假设平稳性或对角化。
例题
例题 1.6.3
(一个观测很弱的模态)
设 、、,则 ;直接求逆的增益是 。最佳仿射风险为
直接求逆的风险是 ,恒取零的风险则为 。在此模型下,增益八平衡了噪声与衰减,但不能保证每次都精确复原。
例题 1.6.4
(与二次惩罚的关系)
当 时,最小化 得 。因此在参数等于所述方差比时,这个二次模型与线性最小风险估计一致;一般正则化参数却不会自动等于已知的噪声与信号方差比。若 独立且联合高斯,仿射估计亦为条件期望,因此在所有有限风险的可测估计中最优;上面的仿射定理本身不需要高斯假设。
例题 1.6.5
(无噪声的模态使滤波器变成求逆)
保持 、,但设 。条件 成立,且
没有噪声时,精确求逆就是最优的,可由 还原 。因此第一个例子中的正则化是由 引起的,不单是因为 很小。相反的边界情形 见下面的快速检查。
常见错误
反例模式
残差较小,风险未必较小
第一个例子中,直接求逆的残差 为零,风险却是 ,大于增益 的风险 ;后者的残差是 。精确拟合带噪声的观测,也会把噪声拟合进去。残差与期望复原误差回答不同问题。
定理只限于仿射估计,这一点也容易被忽略。
常见错误
(把仿射最优当作所有估计中的最优)
不相关不等于独立;最佳仿射估计也不一定是最佳非线性估计。例如 等概率取 ,独立的 等概率取 。四个可能观测值 各自唯一决定 ,所以非线性查表可达零风险;最佳线性增益却为 ,风险为 。要声称条件期望是线性的,不能省略适用的高斯条件。
快速检查
快速检查
(一个模态有 、、。在不相关模型中,其最佳增益与风险是什么?)
使用标量增益公式。
解答 · 答案
增益为 ,所以该中心化模态的最佳仿射估计为零,风险仍是 。在这个不相关模型中,观测不包含关于该模态的线性预测信息;然而观测仍可能含有非线性信息。
练习
练习 1.6.6
(若 、、,求最佳增益与风险。)
基础
解答(2)
- 1
计算增益
。
- 2
计算风险
。
练习 1.6.7
(若 ,比较增益 、、 的风险。)
基础
解答(2)
- 1
写出某增益的风险
误差为 ,两项不相关,所以风险是 。
- 2
代入
依次为 、、。中间的值正是最佳增益 。
练习 1.6.8
(设中心化标量 的方差为一,。求正确的最佳增益,并解释为什么不相关噪声公式不适用。)
核心
解答(3)
- 1
计算真正的矩
此时 ,故 、。
- 2
应用定理
增益为 ,且 :误差为零。
- 3
与简化公式比较
简化公式忽略了信号与噪声的非零交叉协方差:它会使用 与 。两者之比在此恰好给出相同的增益 ,但该公式给出的风险 是错的,因为真正的风险为零。
练习 1.6.9
(若 正定,证明把 改变一个非零矩阵会严格增加选好截距后的风险。)
核心证明
解答(3)
- 1
使用超额风险公式
的超额风险为 。
- 2
分解协方差
关键一步
该迹等于 。
依据: 正定矩阵有可逆的正定平方根。
- 3
结论
∎若 ,由于 可逆,,所以超额风险严格为正。