动机
单应估计器以候选对应点为起点,却没有说明候选点从哪里来。好的局部特征应能在两张图像中定位,也应能和其他图块区分。边缘虽然清晰,沿自身方向的位置却可能不明;重复的窗户则可能定位精确,外观却与许多其他窗户一样。这两种失败不同,配对及稳健模型拟合都要在混合成全景之前处理它们。
逐对对齐后,一连串小误差可能累积成明显的闭环裂缝。我们用有限平移模型精确研究全局调整能做什么。它有意比完整全景问题窄:旋转、射影变换、曝光、视差及移动物体都需要更丰富模型,不能单靠这个平移解消除。
局部结构与归一化图块
定义 1.30.1
(窗口的结构张量)
对可微强度图像 ,取窗口内有限采样点 及固定非负权重 。对小位移 ,Taylor 展开给出 。因此加权平方变化近似 ,其中对称半正定的结构张量为
特征值度量相应局部方向上的变化,单位为强度平方除以坐标单位平方。两值都小代表图块平坦;一大一近零代表边缘能限制横越边缘的移动,却几乎不能限制沿边缘的移动,这是光圈问题。两个特征值都够大,表示“线性化的局部位移”在两个方向都有约束;但不能证明图像别处没有相似图块。门槛取决于强度尺度、窗口、平滑及噪声。展开假设局部图像结构不变、位移够小;遮挡、大位移或非刚性变形都可能违反假设。
命题 1.30.2
(二次模型中的可辨识性)
对权重 和任意 ,有 。而且 当且仅当对每个 的 都有 ; 正定当且仅当这些位置的梯度张成 。
证明
(展开二次型)
因为 ,加权求和便得所述公式。非负项之和只在每一项为零时才为零,而 的项只在 时为零。所以 正定,当且仅当没有非零的 与所有正权重梯度垂直。这恰好在这些梯度不全落在过原点的同一条直线上时才成立,也就是它们张成平面。
证明透视
为什么特征值只说明局部情况
证明只用到两样东西:把二次型改写成平方和,以及权重非负。改写是关键的一步:它把代数条件“两个特征值都为正”变成几何条件“梯度不全平行”。在第一个算例中,所有梯度都在 轴上, 与它们全部垂直,这正是孔径问题。
这个结果只涉及一个窗口的线性化位移。它并不断言同一图块在图像其他位置不出现,而且要小位移展开成立才适用。
定义 1.30.3
(两个图块的归一化相关)
另一个描述子比较相同大小的固定图块像素向量 。令 及 。若两个中心化向量均非零,定义归一化相关及归一化平方距离:
两个量只在两个中心化向量都非零时才有定义。常量图块的中心化范数为零,所以描述子在那里没有定义。
命题 1.30.4
(归一化相关与距离)
设 与 非零。则 ,且 。此外, 当且仅当存在 及实数 使 ; 当且仅当同一式在 时成立。
证明
(展开平方与 Cauchy–Schwarz)
对单位向量 ,。Cauchy–Schwarz 给出 ,等号当且仅当对某个实数 有 ,此时 的符号与 相同。若 ,则 。反过来, 给出 及 ,所以 。
在此模型下,归一化抑制了仿射亮度偏移与正增益,但同时丢弃了这些信息,也不会令图块对任意视角变化、遮挡或饱和保持不变。
对每个检测点,可在搜索区比较描述子,只保留与次佳候选有足够区别的最佳候选,也可要求两方向互为最近邻。最近与次近距离的比值必须明确处理零距离及平手;重复纹理正是歧义所在。任何局部规则都不能证实配对。使用先前章节的稳健抽样拟合几何模型,检查内点残差及空间分布,并尽可能用独立数据核实。重复立面也可能形成大规模但系统性错误的共识。
锚定的全局平移模型
定义 1.30.5
(锚定的全局平移目标)
把图像视为有限无向重叠图的顶点。每条边选一个方向 ,测得 ,意思是在同一坐标惯例下 。每条边给正权重 。锚定 ,最小化
这个模型假设测量已用可相容坐标表达,并非任意图像单应矩阵的通用合成公式。若图不连通,每个连通分量均需锚定一个顶点;没有锚定的分量中,对所有 加同一向量不改变 。
定理 1.30.6
(锚定后的存在与唯一性)
若有限重叠图连通,所有边权严格为正,则固定 后存在唯一最小解。所有边可同时精确满足,当且仅当每个闭环的有向测量和为零。
证明
(由正定性得出唯一性)
证明唯一性:令 为有向关联矩阵删去锚点列后所得矩阵, 是权重对角矩阵。每个坐标分量的目标是 ,法方程为 。若 ,则每条边的顶点值差均为零。连通性令各值相同,而锚点值为零,故全部为零。因此 正定,法方程有唯一解;配方即知它是最小解。
证明
(闭环和与精确一致性)
若所有边精确成立,沿任一有向闭环相加时顶点差望远镜式抵消;逆向走过一条边时测量取负。反过来,从锚点选路径至每个顶点并加上有向测量。若所有闭环和为零,结果与路径无关:两条路径的差是一条闭行走,可分解成闭环及互相抵消的往返边对。这样得到的顶点值满足每条边。树没有闭环测试,即使测量不准也总能找到精确赋值;仍须外部数据检查。
反例模式
锚定一个顶点不能固定不连通的图
取三幅图像,只有一条测量边 (一维,),并锚定 。此时 不含 。 与 都给出 ,所以极小点不唯一:孤立的图像可以放在任何位置。修正后的陈述需要连通的重叠图,或在每个连通分量各锚定一个顶点。
详解算例
例题 1.30.7
(清晰但有歧义的边缘窗口)
假设两个单位权重梯度均为 ,则 ,。局部二次模型预测 不产生变化:边缘能定位水平位移,不能定位垂直位移。把第二个梯度改为 ,得到正定的 。在此模型中两个小位移方向均可观测,但别处的重复角点仍可造成错配。
例题 1.30.8
(归一化两个图块)
若 、,中心化向量分别是 和 。两个归一化向量都是 ,因此 ,归一化平方距离为零,与 一致。代价是描述子不能分辨它们的绝对亮度模式。
例题 1.30.9
(分摊闭环不一致)
三张图像的一维测量为 、、,权重均为一,且 。两条边的链给 ,直接边却要求 。改为最小化
法方程是 及 ,解为 、。边 的有向残差依次为 ,最小平方和为 。闭环差为 ,任何调整都不能同时精确满足三个测量。最优解按目标函数及权重分配矛盾,并不知道哪个测量错了。二维平移可对每个坐标分别计算。
反例模式
局部误差低不代表全景正确
想象相同的窗户在相邻楼层重复出现。一维模型可以精确展示这种失败。设一行为 ,用长度为三的窗口。从位置 开始的窗口都是 ,中心化向量为 ,所以彼此的归一化距离都是 。位置 的图块因此有三个距离为零的候选。最近/次近距离比是 ,互为最近邻的规则可以选中其中任何一个。以偏移二为依据的几何共识完全自洽,却错了两个位置。要消除歧义,需要更多有区分力的纹理、空间及多视角约束,以及独立的视觉或场景证据;没有一项能在所有场景保证正确。
概念视角算法
局部配对与全局调整回答不同问题
结构张量检查单个图块附近的小变化;描述子排列候选配对;稳健拟合挑选与模型相容的子集;全局调整协调已接受的边。每一阶段都继承先前误差。混合前应重新计算调整后残差,检查不连通重叠、重复结构及共同投影模型是否失效。
常见错误
常见错误
(反相对比的图块不是配对)
对 与 ,中心化向量为 与 ,所以 ,归一化平方距离 ,是可能的最大值。使用 的配对器会把这一对当作完美配对。只有 才证明存在正增益关系 。
常见错误
(把常量图块拿去归一化)
对 ,中心化向量为零,所以 的分母为零。为免除以零而加上一个小常数,得到的数值并不带有图块的任何信息。应先检出平坦图块,并把它们排除在配对之外。
常见错误
(以为最优解会指出错误的测量)
在闭环例子中,三条边的残差是 ,大小相同。求解按权重把不一致摊开,并不说明三个测量中哪一个有错;而只有树状的边根本显示不出不一致。
练习与解答
快速检查
(两个单位权重梯度为 和 。求 及特征值。)
解答 · 答案
相加两个外积得 ,特征值皆为 2。
快速检查
(用归一化相关比较 与 。这是否正增益配对?)
解答 · 答案
中心化向量为 与 ,故 ;它们相差负增益而非正增益。
快速检查
(图只有 、 两条边,测量为 4、7,且 。求精确平移;图能否用闭环不一致揭示第一个测量错误?)
解答 · 答案
、 令残差为零。此图是树,没有闭环可揭示错误。
快速检查
(在三边算例中,把 改为 5。求最小值并解释。)
解答 · 答案
测量已相容:。唯一锚定解为 ,非负目标的最小值为零。