为什么需要不同宽度的过渡?
两张已对齐的照片重叠时,直接在接缝处切换,可能暴露亮度差异。宽阔的交叉淡化可以分散这个差异,却也可能在宽区域内叠加两条位置稍有偏差的边缘。这些不一致发生在不同的空间尺度上。多尺度混合让大尺度变化使用较宽的过渡,让精细细节使用较窄的过渡。它不会估计对齐、曝光或物理上正确的场景,而是在这些选择之下组合图像。
以下用一个很小的有限例子,让每个输出都可以核算。像素值表示单一线性光通道;若把方法逐通道应用,应先确定色彩表示及输入的有效范围,并使用同一个空间掩码。运算亦容许负数,实际显示时或需进一步处理。
有限的分析和合成算子
定义 1.25.1
(缩减与扩展算子)
令 和 是两个对齐的四像素信号。定义缩减 与扩展 :
缩减先对每一对像素取平均,再留下每对一个值;扩展则重复每个值。算子已在四个像素上明确定义,没有隐藏的边界规则。这个简单箱形滤波器方便手算,并非高质量摄影的建议:其频率响应不能消除所有在降采样时可能混叠的频率。
定义 1.25.2
(粗尺度图像与残差频带)
令 ,,并类似定义 的量。 是粗尺度图像, 是残差或细尺度频带。残差有正有负,并非可直接显示的照片。重建恰为 。这个等式由定义成立,即使缩减舍弃信息也一样:被舍弃的信息保留在 。
定义 1.25.3
(两个频带的掩码混合)
设细尺度掩码 满足 ,取 。每层用掩码加权 ,用其补数加权 :
表示逐坐标相乘, 表示相应维度的全一向量。由于每对取平均保持常数,。掩码为一时选取该层的 ,为零时选取 ;中间值则作交叉淡化。
定理 1.25.4
(相同图像与常数掩码)
对以上算子,若 ,任何掩码都给出 。若掩码各项均为常数 ,则 。全零及全一掩码是特例。
证明
(相同图像与常数掩码的证明)
若 ,则 、。在每个坐标上,权重 与 之和为一,粗尺度权重 与 之和也为一。于是由残差的定义,。
若 ,则 ,因为对两个相等的项取平均仍得该项。公式化为 ,再由 的线性性,得
和 就是全零与全一掩码。
证明透视
哪里需要保持常数的缩减
掩码固定之后,混合对两张图像是线性的,所以两个结论都是逐频带比较权重。第一个结论只用到:相同的输入给出相同的频带,并且每一层的互补权重之和为一。第二个结论还需要多一个事实 。假设粗尺度掩码与细尺度掩码各自独立选取,例如 而 ,则 。对 、,它等于 ,既不是 也不是 ,尽管细尺度掩码在每处都选取 。这个论证既不需要统计独立性,也不假设各频带在频率上完全分离。
计算接缝
例题 1.25.5
(宽阔的底层与较窄的细节切换)
取 、 和 。两张图像在每对像素上都是常数,因此 、,且 。粗尺度掩码为 ,所以 。这些数值恰好使选取的两半拼接时没有跳变;这不是普遍保证。
例题 1.25.6
(单个亮像素越过掩码边界)
取 、 和 。则 、、。细尺度贡献为 ,扩展后的粗尺度贡献为 ,故 。普通逐像素混合则给出 。粗尺度贡献越过了细掩码的边界,这正是该层使用较宽过渡的效果。
例题 1.25.7
(落在一对像素之内的接缝)
令 、,则 ,。取与像素对对齐的掩码 ,得 ,。这个边界情形保持硬性跳变:接缝落在两个像素对之间,粗尺度层没有加入任何过渡。把接缝移到 ,则 ,,而逐像素混合给出 。含有接缝的那一对像素,两个像素都得到中间值 ,而不是 和 。
反例模式
金字塔混合未必保持输入范围
取 、 和 。则 、、。细尺度项为 ,扩展的粗尺度项为 。因此 ,虽然输入和掩码均介于零与一。每个频带用凸权重混合,但有正负号的频带之和未必是原像素的凸组合。裁剪可去掉负值,却会改变结果及局部对比。
从例子推广至图像金字塔
对二维图像,每一层须指定模糊滤波器、边界延拓、抽取相位和扩展规则。定义 、、,其中 。从 开始,以 重建。反向代入可证每一层均有 ,前提是分析和合成时使用相同算子及数组大小;不需要 是恒等映射。
常见错误
(以为准确重建需要无损的缩减)
很容易以为,只有缩减再扩展不丢失任何信息,金字塔才能重建图像。其实不然。每个残差定义为 ,缩减舍弃的内容全部存放在 中。对 ,缩减 不可逆,但 仍然精确成立。有损缩减的代价在于对各频带的解释,而不在这个恒等式。
以同一套指定缩减算子建立掩码金字塔,在每层用掩码及其补数混合两个残差,最粗层混合两张粗图像,再重建。归一化的非负模糊核可使缩减后的掩码保持在 ;这也取决于指定的边界处理。一般平滑滤波器和重叠支撑可避免此玩具例子的成对块状边界。滤波器宽度、层数、对齐和掩码形状仍是设计选择;不同选择不一定产生相同像素。
完整图像可能有不重叠区域。
常见错误
(把未观测像素当作黑色测量值)
不要把未观测像素当作普通的黑色测量值:滤波会把它带入有效区域,形成暗边。测得的零是数据,未观测像素则是未知量。
可按明确规则延拓各图像,或使用有效样本并指定归一化,最后限制在有效支撑的并集。归一化掩码模糊把图像加权和除以有效性权重的正和;若分母为零,该值便没有数据支持。这是随空间变化的非线性操作,需要另行分析,不能自动继承以上所有恒等式。
概念视角结构
混合能决定什么,不能决定什么
掩码表达偏好哪个已对齐的来源。若两张照片中的人移动了位置,混合无法决定其真实位置:宽阔的细尺度过渡可能产生两个半透明人影。应根据实际数据决定配准、考虑运动的来源选择和接缝位置;多尺度重建处理的是另一个问题。
练习与解答
快速检查
(对 ,计算 和 ,并重建 。)
解答 · 答案
,,所以 。加回扩展项便恰好得到 。
快速检查
(对 ,计算 和 。)
解答 · 答案
两者都是 。一般地,由线性性和常数保持性,。若缩减不保持常数,这个等式未必成立。
快速检查
(设 ,掩码为 。不逐项计算各频带,求输出。)
解答 · 答案
由相同图像定理,。掩码在相同的残差和相同的粗图像之间选取,而互补权重之和为一。
快速检查
(上述取值范围的反例是否说明,只要残差为负,输出就必为负?把未观测的输入当作零,与测得的零含义相同吗?)
解答 · 答案
两者都不是。负残差可以被正的粗尺度重建项抵消,如上面的重建检查所示;反例只说明,在各频带掩码不相同时,不能保证保持取值范围。测得的零是数据,未观测像素则是未知量;擅自填零会改变缺失区域附近的滤波值。