动机
两张图像不一致,可能因为物体或相机移动,也可能只是亮度与噪声改变。配准估计几何对应,分割把像素分成区域,特征检测寻找适合匹配或描述的位置。三者互相影响,但未知量和失败原因不同。一条清晰边缘可很好地界定区域,却可能完全无法提供沿边移动的信息。
本节为三类任务建立初等模型,再说明多尺度处理的作用。少数公式不能解决一般视觉问题;精确的小例题却可揭示模型到底用了什么信息、留下什么歧义,以及优化结论的真正范围。
必须先交代变形方向。我们以固定图 比较移动图的采样 ,所以正的平移参数表示在 中向右采样。重新采样后,显示物体可能看似向左移动。直接写出比较方程,可避免口头方向约定变成程序符号错误。
定义
设 为采样位置, 在其附近可微。平移配准最小化
这假设平移与近似亮度不变是合理描述。旋转、遮挡、对比改变及非刚性变形需要其他模型或额外变量。离开像素网格的值须用插值定义,而插值方式也决定算法应使用哪个导数。
在当前参数 ,令 ,令 的第 行为 。一阶模型是 ,Gauss–Newton 增量最小化 。局部结构张量为
其特征值量度不同位移方向能否在一阶改变采样亮度。张量依图像尺度、噪声与亮度单位而变,不宜把固定数值阈值当作普遍的“好特征”标准。
对分割,设观测亮度为 ,二元标记 ,固定区域亮度为 。数据能量是
若加入邻接边上的 ,便惩罚标记变化、鼓励较短的离散边界。这也耦合本来可独立决定的像素。二元问题与把标记放宽至 的凸松弛是不同问题,不应略过这项改动。
在 的高斯(Gauss)尺度空间定义
假设图像有界,或满足使卷积及求导合法的条件。尺度改变平均的范围,并非只把画面放大缩小。有限图像要先选择边界延拓,才可把此无限域公式离散化。
定理 / 命题
定理 3.1.1
(线性化平移何时可辨认?)
有唯一极小解当且仅当 正定,亦即没有非零向量同时垂直于所有采样梯度。此时
这只描述在 的线性化问题,不保证原能量 有唯一全局配准。
定理 3.1.2
(固定区域亮度的最优二元标记)
若 且无空间惩罚,最优标记把各像素分给较接近的亮度。当 必取一,小于中点必取零,相等时两者皆可。对固定的非空区域,使平方误差和最小的常数亮度是其算术平均。
非空假设避免计算均值时除以零。交替更新标记与均值可逐步降低能量,却仍依赖初始值;能量下降不等于达到全局最优。空区域如何处理亦是算法定义的一部分,不能藏在一条没有意义的均值公式内。
证明思路
证明
(线性化增量的可辨认性)
任意位移 满足 ,所以其为零当且仅当全部梯度投影为零;因此 正定,恰好表示没有非零 同时垂直于所有采样梯度。展开得
若 正定, 严格凸,其唯一极小解满足法方程 ,即得 。反之,若非零 满足 ,则对任意实数 ,,故极小解不可能唯一。最小二乘极小解仍然存在;使用伪逆能选出某一解,却不能使原来不可见的方向变得可观测。
证明透视
唯一性需要每个方向都有信息
整个证明建立在恒等式 上:结构张量是 Gram 矩阵,其正定性是对采样梯度的张成条件,正如线性方程组的列线性无关才能确定未知量。反方向更有启发性:它不需要任何估计,只要有一个非零 使 ,就得到一整条极小解直线,因为二次模型完全看不见沿 的移动。直边的梯度只沿法向,沿切向移动不可见;称该边“对比高”只会放大 ,不能补足其秩。不同方向的边或角点才可提供缺失方向。最后,论证完全没有涉及 本身:结论只对 处的模型成立,所以定理明确排除全局唯一性。
证明
(中点规则与均值)
分割能量是各像素独立项的总和,所以每个标记可以独立选择。把标记一的代价减去标记零的代价,得
由于 ,此值为负恰好当 ;其零点给出平局。对大小 的区域 ,令 ,配方得
最后一项唯一在均值处最小。
即使使用最好的常数拟合,区域内变化与噪声仍可留下正残差,不能把所有残差都解读成分割失败。
例题详解
例题 3.1.3
(孔径问题是一个精确零空间)
取 ,固定图为 。残差为 ,每个梯度都是 ,故 。水平位移必为 ,但任意 产生相同数据与能量。此线性图像有全局歧义,不只是局部优化困难。多取同一斜坡上的像素可改善水平方向精度,却不能增加垂直信息。
例题 3.1.4
(两个梯度方向决定局部增量)
两个采样梯度是 与 ,残差为 。因此 、、,增量为 ,使线性化残差为零。这并不保证完整变形后的真残差也为零,因为二阶项可能重要。实际算法应重新计算原能量,必要时缩短步长。
例题 3.1.5
(边界代价删除孤立区域)
三像素路径的亮度为 ,固定 。无惩罚时,标记 唯一最优,数据代价为零,但有两次标记变化,总能量为 。全零标记数据代价为一,没有边界。枚举八个标记向量可知: 时中间孤立区域最优;在 与全零平手;大于此值时全零唯一最优。正则化可能删除真实小物体,也可能删除噪声,两者不能由公式自动区分。
高斯平滑满足 。在卷积积分配方即可证明;也可用独立中心高斯位移的协方差相加理解。相同标准差平滑两次,结果标准差为 ,并非 。在可交换导数与积分时,,可先平均再微分,以减低高频误差的影响,但同时带来随尺度而定的细节损失。
若 ,平滑后乘以 。大频率比小频率衰减更快,因此高频噪声受抑制,但真实细条纹也以同一因子衰减。亮度模式本身没有标记说明它究竟是噪声还是物体细节,故平滑仍包含建模取舍。
概念视角几何
特征值如何区分平坦、边与角?
两个特征值都小,表示一阶纹理信息少;一大一小,表示边状结构及一个模糊方向;两者都足够大,才提供局部二维位移信息。这些是亮度模型的定量描述,并非物体的语义标签。阈值须相对噪声、尺度及亮度单位解读。
由粗到细配准先平滑、降采样,在粗层估位移,再逐层细化,可能把大位移带入线性近似有效的范围。若粗网格间距为细网格的两倍,粗像素单位的位移须乘二才可用于细网格。降采样前平滑可减少混叠,但不能保证正确匹配:重复纹理有多个对齐,粗平滑也可能删去原本可辨认的特征。
图上的边界计数与连续周长模型有关,但未指定极限过程便不能当作完全相同。轴向邻接可能对斜边收取不同代价。特征检测的梯度幅值主要强调边,而结构张量检验方向多样性;几何配准即使用了特征对应,仍须按变换参数个数与退化几何检查可辨认性。
常见错误
反例模式
局部满秩不保证全局唯一
对周期图像 ,适当区域内可有满秩梯度集合,但相差 的平移仍产生同一图像。正定张量只排除该点附近的无穷小歧义,不能分辨重复的全局图样;可能需要限定搜索域或加入外部信息。
其余错误都源于把结论带到证明所用假设之外。空区域不能求均值,交替能量下降也不是全局最优的证明。
常见错误
(加入边界惩罚后仍用中点规则)
阈值定理假设没有空间项。在三像素例子中取 ,中间亮度 高于中点 ,唯一最优解却把它标为零。相邻标记一旦耦合,像素的最佳标记便取决于邻居的标记。
常见错误
(平滑两次时把标准差相加)
先以 再以 平滑,等于以 平滑,而不是 :相加的是方差。报告 会夸大平均程度;对角频率为 的正弦,它预测乘数 ,正确值却是 。
常见错误
(把线性化残差小当作配准误差小)
配准中,线性化残差小与非线性残差小是不同事实;完整步长必须回到 中评估。插值、遮挡、边界及亮度变化也可能主导误差,即使法方程解得很准确也是如此。报告位移时应交代变形方向与图像尺度,否则正确数值也会因单位不同而看似矛盾。
总结
配准估计几何参数,分割估计区域标记,特征描述局部结构。结构张量指出线性化平移可见的方向。固定亮度分割只在无空间耦合时有精确中点规则。高斯平滑组合时方差相加,多尺度可改善起点与噪声处理,却不能消除根本歧义或恢复已被平滑删除的特征。
练习
练习 3.1.6
(若全部采样梯度为 ,求 及零空间,说明哪个位移方向一阶不可见。)
基础
解答(3)
- 1
写出张量
。
- 2
求特征向量
沿 的特征值为 ,沿 为零,故零空间由 张成。
- 3
解读
只有位移分量的和改变线性化亮度;沿 的位移使所有梯度投影为零,增加对比或同向样本数也无法使该方向可见。
练习 3.1.7
(固定 ,对亮度 求全部无惩罚最优标记。再求包含亮度一与四的区域的最佳常数。)
基础
解答(2)
- 1
应用中点规则
中点为四,第一个必标零、第三个必标一,中间两种皆可。由于代价按像素分开,全部最优标记恰为 、。
- 2
拟合区域亮度
指定区域的均值为 ,平方残差为 ;配方证明此值最小。
练习 3.1.8
(先后用标准差三及四的高斯平滑,求总标准差与对单一坐标角频率 的衰减因子。)
基础
解答(2)
- 1
方差相加
关键一步
,故结果等于标准差为五的平滑。
- 2
计算乘数
衰减因子为 ,也等于两个原因子 与 的乘积。把标准差直接加成七会给出另一个较强的平滑操作。
练习 3.1.9
(粗网格间距为目标的四倍,粗像素位移为 ,换算成细像素单位。为何换算不保证估计正确?给出重复图样例子。)
核心
解答(3)
- 1
换算单位
细像素位移是 。
- 2
区分单位与证据
换算只改变坐标单位,没有增加对应的证据。
- 3
举出歧义
例如每八个细像素重复的条纹,沿重复方向移动整数个周期会给出相同匹配。粗采样还可能增加歧义,所以须回到原比较模型与几何约束检查。