动机
可用特征应在图像稍有改变后仍可重现。单靠亮度很高并不足够:明亮而均匀的墙没有多少位置信息。强边缘也可能缺少沿边方向的位移约束。因此检测器须度量小区块对不同方向位移的响应,并选择适合描述此响应的空间尺度。
此处有两种不同的平均:导数尺度决定哪些细微变动进入梯度,积分尺度则收集周围梯度的方向信息。太小的积分窗可能只看到角点的一条边,太大则混合无关物体。本节推导一个完整的数学流程,并把连续公式的精确协变性与离散网格的近似分开;连续旋转公式不能自动保证粗像素网格对任意旋转都不变。
定义
定义 5.1.1
(高斯平滑与结构张量)
设 为平面上的有界图像, 为高斯(Gauss)平滑。令 ,定义积分尺度结构张量
离散形式用非负权重采样和代替积分,并须指定导数及边界处理。这是先取导数乘积再平均,并非对已平均的外积重新微分。因 是梯度投影平方的加权和,张量半正定。
定义 5.1.2
(Harris 型响应)
对 ,定义 Harris 型响应 。
它避免直接算特征值,同时惩罚方向信息过度失衡。流程是先平滑并微分,形成张量的三个不同元素并平均,计算响应,排除低于正阈值者,再作空间非极大值抑制。平坦区须有固定的平局规则,例如字典序优先,才可重现输出。
概念视角代数
把响应看成特征值比的条件
把 的特征值记为 ,并令 。则
的符号只取决于 : 当且仅当 小于 的较大根 。条件 正是保证平衡情形 为正的条件。当 时,。反之,它的大小按 缩放,所以对 设阈值同时也在检验强度。
定义 5.1.3
(高斯差分与归一化拉普拉斯)
尺度选择使用
前者为高斯差分,后者为尺度归一化拉普拉斯(Laplace)。
多尺度检测应同时比较邻近位置及尺度,而非各尺度独立找最大值后将所有结果视为不同特征。
定义 5.1.4
(高斯金字塔)
高斯金字塔存储逐渐平滑且网格逐渐粗化的图像。
同一坐标单位下,已有有效模糊 而目标为 时,增量标准差是 。连续高斯卷积精确满足此组合式,采样或截断核则只近似成立。降采样后须把尺度、位置及位移换算为新像素单位,不能把不同网格的同一数字当作同一几何距离。
定理 / 命题
定理 5.1.5
(局部位移信息及旋转协变)
对区块内二次连续可微的图像、有限非负权重 及小位移 ,有
对连续各向同性高斯张量,若以正交矩阵 旋转图像,则相应尺度下 。因此对应位置的特征值、迹、行列式及响应相同。
定理 5.1.6
(高斯差分与归一化尺度导数)
对有界图像及正尺度,,故
这是邻近尺度的近似极限,有限比率下并非精确相等。
张量只说明亮度模型下的局部方向可辨认性,并不证明另一张图的候选点来自同一物理表面。尺度极值选出某响应的特征尺度,也不是普遍的物体直径度量。其意义须相对具体模型解读。
证明思路
证明
(Taylor 展开与正交变量替换)
Taylor 展开给 。平方后的主项为投影平方,交叉项为三阶,有限加权和保持此阶数。因此最小特征值度量单位位移方向中最小的首阶平方响应;所有梯度平行时,沿切向的主项为零。
高斯各向同性满足 ,正交坐标替换保持面积,所以 ,梯度为 。代入张量并以 换积分变量,即得正交相似式。此处积分窗也随图像精确旋转;有限方格的重新采样另有误差,不能混入此定理。
证明透视
究竟证明了哪种不变性?
位移展开依靠两个假设。在紧致区块上二次连续可微,使每个样本的 Taylor 余项一致为 ;有限加权和则使平方后的余项保持 阶。单位方向 的首阶差异是 Rayleigh 商 ,沿较小特征值的特征向量取最小值。所以度量最差方向的是较小特征值,而不是迹。
旋转部分两次用到各向同性:导数高斯 及积分窗 。若改用正方形盒状窗,同一变量替换只对把盒子映到自身的旋转成立,例如四分之一圈。证明的是精确连续旋转下的协变,并非对比度不变。亮度改为 时,梯度乘 ,张量乘 ,响应乘 ;所以即使几何不变,固定数值阈值仍可改变判断。
尺度关系需要另一个较短的计算。
证明
(对尺度求导高斯)
直接微分二维高斯,可见 与 均等于 。正尺度的高斯导数可积,容许对有界图像在卷积下求导。沿尺度积分得精确差分式,再利用被积函数连续性得极限。因此尺度平方因子来自尺度导数,而不是为图形美观随意加入。
对空间缩放 ,高斯积分代换给 。尺度归一化梯度 及归一化拉普拉斯在对应位置和尺度相同;导数尺度及积分尺度都须乘 。缩放图像后若仍用原窗,便不符合此推导;有限尺度层只能近似定位连续尺度的极值。
例题详解
例题 5.1.7
(角点响应同时考虑方向强度与平衡)
取 。边张量 的响应为 ; 则为 。图像对比加倍,后者张量乘四,响应乘十六,成为 。若固定阈值介于两个正响应之间,完全相同的几何也会给不同检测。因此既要方向平衡,也要强度高于噪声;满秩本身不足以保证可靠。
例题 5.1.8
(理想高斯斑点的尺度)
令 、。高斯卷积得 ,故中心响应
令 ,幅值为 ,导数是 。唯一正尺度最大值在 ,即 ,值为二分之一。这是指定斑点轮廓及幅值的结论,不能把任意物体都解读成相同模型。
例题 5.1.9
(降采样改变可见频率)
取 ,每两点取一点后,,在粗网格看似低频。粗序列不能唯一决定原频率。高斯预滤波可抑制高频,但其傅里叶(Fourier)乘子在任何有限频率都为正,并非精确带限。严格无混叠定理需要带限假设;实际高斯平滑降低混叠,并非证明它完全消失。
可在每个候选尺度计算张量,用对应积分窗排除条件差的区块,再跨尺度比较响应。高斯差分的一般局部比较使用当前及相邻两尺度的三乘三区域,中央点共比较二十六个邻居。边界没有完整邻域,须排除或明说延拓方式。
定位细化可对附近响应拟合二次函数,若 Hessian 可逆便解小型线性系统求驻点偏移。近乎奇异代表定位敏感;偏移落在拟合邻域之外,亦不应当作可信的局部插值。细化只能利用已解析的样本,不能恢复平滑删除的细节或已混叠的频率。
每个候选点应同时保留所在金字塔层的像素坐标及原图单位的坐标。例如网格间距四时,第十像素离同一原点四十个原像素间距。补点及滤波中心偏移也须追踪。匹配时须一致变换位置、尺度及方向;只列分数并不能决定对应。描述子比较与离群值排除仍是其他问题,检测器只提供候选及局部条件信息。
常见错误
这里的错误大多来自把检测器的某一项好性质,当作也蕴含另一项性质。
反例模式
方向平衡不等于强特征
令 、 任意小,条件数虽为一,响应却是 ,定位仍可能被噪声主导。反之,单一特征值极大而另一个为零,仍缺少一个方向。强度与平衡必须分开检查。
常见错误
(把模糊的标准差直接相加)
要由有效模糊 变为 ,若再以标准差 的高斯卷积,总模糊是 ,而不是 。高斯卷积下相加的是方差,所以所需增量是 。
常见错误
(把单一协变性质当作稳健性)
有限差分可能强烈放大孤立噪声,大积分窗不能补救不合适的导数尺度。非极大值抑制也不能取代分数与阈值定义。平坦区需要处理平局,也可能反映定位尚未确定。旋转协变、尺度协变、对比归一化及视点稳健性是不同性质,证明其中之一不会自动证明其他性质,更不等于可靠匹配的保证。
总结
区块位移导出结构张量与方向角点响应;高斯导数把尺度差分连到归一化拉普拉斯,斑点模型让尺度选择可明算。实际金字塔须追踪有效模糊、单位、邻域及边界。连续协变是有用理想,离散定位、噪声、阈值与混叠则限制有限检测器的保证。
练习
练习 5.1.10
(对 、 求响应 ,再把张量旋转九十度,验证响应不变。)
基础
解答(2)
- 1
计算响应
行列式为四、迹为五,故 。
- 2
旋转后重新计算
九十度旋转交换两个对角元,行列式及迹不变,故 。一般正交相似通过特征多项式保留两者;这是定理的一个具体例子。
练习 5.1.11
(某层已有有效模糊二像素,目标为同一坐标下的三像素。求增量模糊;再降采样两倍,最后模糊是多少个粗像素?)
基础
解答(2)
- 1
相减方差
方差增量为 ,所以增量标准差为 。
依据: 高斯卷积下相加的是方差,而不是标准差。
- 2
换算单位
所得模糊为三个细像素;网格间距加倍后,即 个粗像素。
练习 5.1.12
(对高斯斑点例子,求 与 时的归一化响应幅值,并在不声称有两个最大值的前提下解释两者为何相等。)
核心
解答(2)
- 1
计算两个尺度
对应的 分别为 及 ,两者都给出 。
- 2
利用对称性与单调性
函数在 下不变,在 以前递增、以后递减,所以两侧相等的值并不构成新的极大值。
练习 5.1.13
(证明加上常数亮度偏移不改变张量。解释乘以非零常数为何仍须调整阈值,以及为何两种变换都不能证明对空间变化照明的稳健性。)
核心
解答(3)
- 1
加上常数
常数的梯度为零,所以每个外积以至张量都不变。
- 2
乘以常数
乘 使响应变为 ,阈值须相应改变才能保持判断。
- 3
让变化随位置改变
若 或 随位置变化,乘法法则会多出额外梯度,可能改变张量或制造表观特征,因此常数照明下的推导不再适用。