动机
小波变换将图像重新表示为平均与细节系数,本身并不消除噪声。对细节设阈值可以抑制波动,却也可能删去或缩小真正的图像特征。当干净图像未知时,如何比较这两种影响?控制最大噪声系数的概率界,与衡量重建图像的平均平方误差,是两个不同问题。本节利用观测系数及已知噪声方差,推导后者的一个估计。
对每个在观察数据之前固定的阈值,这估计都是无偏的。这是关于重复观测取平均的陈述,并非对单张图像的保证。若试验许多阈值,再选显示风险最小的一个,就已两次使用数据;所选估计不一定仍然无偏。理解这个区别,与计算公式同样重要。
定义
定义 4.2.1
(软阈值估计量及其风险)
设 是 实正交变换,例如有限 Haar 变换,且 ,其中未知图像 为确定向量,,已知 。变换后 ,其中 , 各分量为独立标准正态。事先固定一组 个细节坐标。对固定阈值 ,用软阈值估计它们:
不受惩罚的坐标,例如最粗尺度平均,保留其观测值。正交性使图像平方误差等于各系数平方误差之和。所选细节的期望平方误差为 ;每个保留原值的坐标对总期望误差贡献 。这里采用总和而非平均;风险及其估计同除以 ,便得到每个图像坐标的均方误差。
定理/命题
这个估计建立在高斯(Gauss)随机变量的一个恒等式之上。
引理 4.2.2
(高斯分部积分)
设 , 连续,且由有限个导数有界的连续可微段组成。则
其中 在有限个连接点处的值可以任意指定。
在每个细节坐标上应用这个引理,就把未知的风险化为可观测的量。
定理 4.2.3
(固定软阈值的 Stein 风险估计)
对每个确定的 ,
的期望等于 。在所述模型下,系数恰好等于阈值的概率为零。估计图像总风险时,每个未处理坐标再加 。某次观测所得估计可以为负,即使实际平方误差和其期望都非负。
证明或证明思路
证明
(对高斯密度积分)
正态密度 满足 ,在各光滑区间上对 积分即可。无穷远的边界项消失;有限个接合点处的项由 的连续性互相抵消。接合点概率为零,其导数如何指定不影响期望。
把引理应用于收缩量 (它连续,只在 处有折角),即得定理。
证明
(围绕观测值展开误差)
取 ,展开 ,取期望并代入上式:
这里 ;当 时 ,当 时为零。逐坐标相加得到公式。若 ,则 几乎处处,公式几乎必然化为 ,正好是保留观测值的风险。正交性将系数风险转为图像风险。对边际期望求和不需要坐标独立,但此处白色正态模型确实提供所需边际分布及独立性。
证明透视
未知信号怎样从估计中消失
证明只有一个不明显的步骤。误差 含有未知的 ,而围绕观测值展开,把它集中到唯一的交叉项 中。引理把这一项化为只依赖 的 。其余各项都可观测或已知: 的均值为 , 直接由数据算出。若用可观测的残差 代替误差,保留全部噪声的恒等估计 反而会被评为完美。
各个假设在明确的位置起作用。高斯性只通过密度恒等式 使用。 的连续性使折角 处的边界项相互抵消;硬阈值在 处跳跃,会在那里留下额外的项。阈值必须事先固定,因为引理是对一个固定函数 使用的;由 算出的阈值使 以引理未涵盖的方式依赖数据。证明从未用到坐标之间的独立性,因为风险是边缘期望之和。
例题
例题 4.2.4
(两个观测细节系数)
令 、、,阈值 在事前固定。估计的细节是 ,且
实际平方误差为 ,不能单凭 计算。若第三个粗尺度系数保留原值,须为其期望误差加一,总估计为 。被阈值处理的系数对无偏估计作出负贡献是允许的。
例题 4.2.5
(估计值可以是负数)
若一个细节系数的 、固定 且观测 ,估计值是 。当 时估计值均为负,此事件有正概率。这并非负的实际损失。为显示方便把负估计截为零可能有用,但会改变随机量,通常破坏精确无偏性。
例题 4.2.6
(高于所有观测值的阈值)
回到 、、,但事先固定 。两个观测值都满足 ,所以两个细节估计都是 ,而
这个边界情形就是零估计量。其损失为 ;事实上 ,由于 ,它正是该损失的无偏估计。任何 都给出同一个估计。看过数据之后才把 与 时的 比较,正是下面要考察的选择。
常见错误
反例模式
选最小估计可能造成乐观偏差
考虑单一坐标,、。比较恒等估计与零估计:两者的 SURE 分别为 与 ,对各自固定估计都无偏。选 SURE 较小者:当 时选零,否则选恒等。前一区域的所选损失为零,后一区域为 。直接做正态积分得到
其中 是标准正态密度。故固定估计量的无偏性不会自动保留至选择之后。零估计是软阈值 的极限;这里比较两个明确定义的估计量,不需要在数值上计算无穷大阈值。
要核对上式,利用 和对称性即可。选择仍可构成有用的实际方法,但其风险必须作为依赖数据的程序来评估。搜索更多阈值亦带来相等值及实现上的选择;没有额外分析时,固定阈值定理并不能为所选规则提供无偏估计。
常见错误
(在模型之外套用公式)
已知的白色正态噪声及正交变换是模型假设,不是照片自动具备的性质。未知方差需要依据另外的假设来估计,并考虑其不确定性。冗余变换、有色噪声、截断或依赖信号的噪声都会改变计算;直接套用同一公式未必能估计图像风险。单个系数组的风险也不能保证视觉质量或边缘保持。
常见错误
(遗漏保留原值的坐标)
SURE 只估计经阈值处理的细节坐标的风险。每个保留观测值的坐标仍带有全部噪声,对图像期望误差贡献 。在第一个例题中,细节的估计是 ,三个系数的图像估计却是 。把只含细节的估计与整幅图像的误差、或与包含粗系数的估计相比较,混淆了两个不同的量。
总结
软阈值在抑制噪声与缩小信号之间作取舍。对固定阈值及已知方差,正态分部积分给出可计算的期望平方误差估计,正交性则连接系数误差与图像误差。由数据选阈值是另一个估计程序,其最小 SURE 可能过于乐观。
习题
练习 4.2.7
(设 、、,固定 。求估计系数及 SURE。)
基础
解答(2)
- 1
应用软阈值
坐标 和 的绝对值不超过 ,变为 ;坐标 变为 。估计为 。
- 2
计算三项
,且有两个坐标满足 ,所以 。
练习 4.2.8
(对任意确定的 ,求 的估计量及其细节风险。其 SURE 几乎必然取什么值?)
基础
解答(2)
- 1
确定估计量
,所以估计量就是 ,误差为 ,对每个 风险都是 。
- 2
计算 SURE
时每个 为零,而 只在 时成立,这是零概率事件。因此几乎必然有 ,恰好等于风险。
练习 4.2.9
(两个固定阈值的无偏风险估计为 ,对应风险 。证明 。仅凭这个不等式能否确定所选估计量的风险?)
核心证明
解答(3)
- 1
逐点比较
对每个结果, 对 和 都成立。
- 2
取期望
取期望得 对两个 都成立,故 。
- 3
解读这个界
∎这个不等式比较的是所选估计与较小的固定风险,并没有算出依数据选择的估计量的损失或风险;反例表明后者可以超过所选估计的期望。
练习 4.2.10
(对正交 证明 。若 ,两个保留原值的坐标如何改变总风险估计?)
基础
解答(2)
- 1
利用正交性
由 ,有 ,而乘以 保持欧氏(Euclidean)范数。
- 2
计入保留原值的坐标
每个保留原值的坐标期望平方误差为 ,所以总风险估计等于已处理坐标的 SURE 再加 。