配准变换之后还要做什么?
配准求出的是坐标之间的关系;显示图像则需要在新网格的每个像素指定数值。设 把移动图像坐标映到固定图像坐标,固定网格点 的值应从移动图像的 采样。这称为反向映射:若直接把原像素向前推,输出网格可能有空洞,也可能有多个像素落到同一位置。这里假设所考虑区域的变换可逆;即使如此,裁切和遮挡仍可能使对应关系不存在。逆映射通常落在像素之间,因此还须选择插值与图像外的边界规则。
常见错误
(把像素向前推,而不是把网格拉回)
取一维放大 ,移动像素为 。向前推会把它们的值放到 ,输出像素 什么也收不到,事后还要修补。反向映射则为每个输出像素赋值: 从 读取,即移动像素 与 之间。把 误写成 ,即使没有空洞,读取的位置也是错的。
双线性插值
单位方格四个角的值依次为 ;点 从左下角计算,且 。定义
可以先在上下两边分别做水平线性插值,再在所得两值之间做垂直插值;先垂直后水平也得到同一式子。四个权重非负且和为一,所以结果介于四个角值的最小值和最大值之间。这依赖点在方格内:外插可能出现负权重,不能直接使用这个界。
常见错误
(在方格外使用最小最大值界)
角值取 、、,点取 ,权重为 ,得 ,大于所有角值。方格以外的点必须归入包含它的方格,或交由边界规则处理;一个方格的公式不是有效的外插器。
定理 3.3.1
(双线性函数的精确重建)
若方格上的连续图像是 ,从四个角构造的双线性插值在整个方格都等于 。相邻方格若使用相同的共边样本,其插值在共边连续;一阶导数却未必连续。
证明
(精确性、共边连续与导数跳变)
插值式对角值线性。直接代入可知它精确重现 :例如 的角值为 ,给出 。因此它也精确重现这四者的任意线性组合。在共边上,对边两个角的权重均为零,两侧均退化为同一对端点的线性插值,所以数值一致。但导数可以跳变:一维网格 上的值为 ,两段斜率分别为 ;把这组值复制到两行便得到二维例子。
导数跳变在配准中有实际影响:若以图像梯度优化目标函数,网格线上的导数可能不存在;改用更平滑的插值器也会改变目标函数。
例题 3.3.2
(一个平移后的输出像素)
设 ,固定网格点 ,则 。移动图像该方格依 排列的角值为 时,插值为 。若误用 ,采样位置就不同;必须先写清变换方向。
若逆映射落在图像外,补零、延用最近边界值及周期延拓都会得到不同结果,也可能引入不同的人造边缘。插值不能凭空还原遮挡部分或视野之外的信息。
例题 3.3.3
(同一边界点的三种边界规则)
考虑一行图像,存储值为 ,逆映射点为 ,位于缺失样本 与 的正中。线性插值给出 ,所以结果完全取决于 的规则:
- 补零,:值为 ;
- 延用边界值,:值为 ;
- 周期延拓,:值为 。
在内部点如 ,三种规则都给出 。 处的三个答案是建模选择,并非同一真值的近似。
降采样与有限傅里叶混叠
图像金字塔减少像素数,使搜索大位移较容易,但隔点采样会丢失信息。考虑长度 的复数周期序列 ,使用未归一化的离散傅里叶(Fourier)变换和以下逆变换:
定理 3.3.4
(隔点降采样的二对一混叠)
设 ,对 令 ,并以 表示 长度为 的未归一化变换。则对 ,
证明
(代入逆变换)
在偶数索引,逆变换给出
代入 ,并交换两个有限和,
内层和是公比为 的等比级数。若 ,则 ,和为 ;否则 而 ,和为 。当 ,在 中与 同余的索引恰为 和 。故 ,而 。
证明透视
两个频率为何折叠成一个?
关键在第一行:在偶数索引,指数 等于 ,所以细网格上的频率 在粗网格上表现为频率 。此后只用到长度 指数函数的正交性,它像滤波器一样只保留与 同余的索引。存活索引的数目恰好用到 :每个同余类有两个索引,因此有系数 和 的配对。逆变换对任何长度 的数组都是精确恒等式,所以没有引入对底层连续图像的频带限制假设。证明从未使用实数值,故对复数数据同样成立;过程中也没有近似,折叠是精确的。
因此粗网格只确定每对系数的和,不能分别确定两者。选定保留索引时,每对最多保留一个;若要保持实值,集合还须对共轭对称封闭。若已知所有舍弃系数都为零,保留系数便是对应粗网格变换系数的两倍,再用逆变换即可重建这个受限制的原序列。这是有条件的重建,并非任意数据均可重建。截止频率的索引需要清楚规定;偶数长度的 Nyquist 频率是自身共轭的,处理截止频率时须维持实值所需的对称性。
例题 3.3.5
(重建取决于假设哪个伙伴为零)
设 、,。则 ,故 。偶数样本为 ,,与定理一致:,。
若保留集合为 ,即假设 ,则 、,逆变换返回 ,正是原序列。序列 有相同的偶数样本;若保留 ,同一个 会返回它。数据无法在两者之间作出选择,起决定作用的是假设。
边界情形:实序列 的 ,配对 的两个成员都非零。每对只保留一个的任何集合都返回复数序列 或 ,因此都不能重建它。
反例模式
两个不同信号有相同粗样本
当 , 与 在奇数位置不同,但 。降采样后,高低频率无法区分。即使运算完全精确、没有测量噪声,这个歧义仍然存在。
降采样前可先用低通滤波器压低每对中将被舍弃的频率。理想周期频域掩码若保留一个共轭对称集合,且每对至多选一个,就能消除已舍弃频率的折叠贡献;但那些系数已被移除,不是被还原。高斯(Gauss)平滑能衰减高频,却不是精确的频带限制。二维两轴长度皆为偶数并各降采样一半时,每个粗频率格会折合四个原频率格;沿用相应的变换惯例,系数为 。真实照片有限且通常不具周期性,滤波的边界及截断选择都会影响结果。
概念视角几何
插值和抗混叠回答不同问题
插值按选定模型定义样本之间的值;抗混叠滤波则在采用较疏网格之前限制高频。双线性插值本身不保证消除所有会折叠到同一粗频率的成分。
练习与解答
快速检查
(方格角值依 次序为 。求 的双线性插值;在方格内可能大于 吗?)
先计算四个权重。
解答 · 答案
权重为 、、、,结果为 。方格内不可能大于 :权重非负且和为一。
快速检查
(设 ,。计算降采样后序列及其长度二的 DFT,并与长度四的系数核对混叠公式。)
长度为二时,,。
解答 · 答案
,。原变换为 ,即 ,公式分别给出 和 。
快速检查
(长度八的 ,直接保留偶数样本会怎样?若先取周期两点平均 又会怎样?)
分别在一个偶数索引和一个奇数索引计算 。
解答 · 答案
直接选取会得到四个一,快速振荡看似常数。先平均则各点 ,粗样本也全为零;这个滤波器消除了此特定振荡,但未必消除所有会混叠的频率。