动机
连续两幅图像可以显示投影特征如何移动,但图像运动并不自动等于三维物体速度。配准单元考虑了一个全局周期平移;本单元估计局部二维图像速度,并分析何时能唯一辨认该估计。
亮度恒常及其微分形式
定义 7.1.1
(局部运动模型)
设 为可微的标量图像强度,一个可见图像特征沿 移动。假设它的强度在短时间内不变,并定义图像速度 。对 求导可得
在单一位置,这是一条标量方程,却有两个速度分量。它依赖假设中的特征对应及强度不变;遮挡、光照变化、反射和运动模糊都可能使假设失效。
对相隔一段时间的两帧采样图像,导数须由数据估计。只有位移和局部变化适当地小时,一阶 Taylor 近似才有用;残差也包含模型和导数估计误差。速度单位必须与导数约定一致,例如每帧像素或每秒像素。一条方程不能决定一般的二分量运动向量。
反例模式
边缘不能揭示切向运动
若局部 、、,亮度恒常给出 ,却不限制 。每个 都满足这条方程。可见边缘可以约束穿过边缘的运动,却未必揭示沿边缘的运动。这是可辨识性问题,不能把 当作测得的数值。
在一个图像块上估计共同运动
假设图像块含有 个观测,而且整个图像块适用相同速度 。把空间梯度放入 的各行,令 。最小二乘问题是
共同速度的假设在物体边界两侧可能失效。加权及稳健的变体需要另行指定权重或损失函数;以下计算使用相等权重。
定理 7.1.2
(局部最小二乘何时有唯一解)
正规方程为 ,其中 。当且仅当 有两个线性无关的列向量,即 正定时,最小二乘解才唯一,此时 。
证明
(展开平方误差)
对任意 与任意增量 ,
若 满足 ,中间一项为零,所以 ,且恰在 时取等号。反之,最小解必须对每个 都使中间一项为零,即 。因此最小解恰是正规方程的解,而两个最小解相差 中的一个元素。
由于 , 恰在 ,即 的列向量线性无关时正定。此时 可逆, 是唯一解。若列向量线性相关,便存在非零 , 奇异,而且对每个 , 都是最小解,因为它给出相同的预测 。
证明透视
需要两个独立的梯度方向
证明中唯一不显然的一步,是用任意增量 做展开。交叉项 正是被正规方程消去的部分,剩下 。因此损失在每个方向上都增加 ,唯一不增加的方向就是满足 的方向。
的列向量独立这一假设只用在一处,就是从 推出 的那一步。从几何上看, 的各行是梯度向量, 表示 与所有梯度垂直。若图像块内所有梯度都平行于同一方向 ,则每个 都看不见。这就是矩阵形式的孔径问题,也就是前面边缘反例的情形。适当时,数值求解器应直接求解线性方程组,而不是显式构造逆矩阵。
例题 7.1.3
(三个梯度与一个一致的速度)
取梯度行 、 与 ,时间导数为 。于是
此处 ,所以 且 。在图像块模型下,两个分量都可辨认。若反复只有第一个梯度方向,垂直运动便仍无约束。
例题 7.1.4
(梯度全部平行的图像块)
取梯度行 与 ,时间导数为 与 。则
矩阵 奇异,正规方程化为单一条件 。这条直线上的每个 ,例如 、、,都精确满足两个观测。只有速度沿梯度方向 的分量 被确定。最短解 就是法向流,它只是处理未被观测部分的一个约定,并非测得的运动。
常见错误
(把零残差当作运动已被确定的证据)
在上面梯度平行的图像块中,直线 上每一点的残差都恰好为零,但这些速度并不相同: 与 指向不同方向。残差为零只说明方程相容,并不表示速度已被辨认。只有 正定,并且运动模型确实成立,速度才算被辨认。
常见错误
(漏掉时间导数的负号)
右端是 。若改用 ,等于把 换成 ,由线性性得到 。在三梯度例子中,时间导数 给出 ;若不加负号直接代入,会得到 ,运动方向相反。
残差与条件数
例题 7.1.5
(带噪声的图像块及其残差)
将第一个例子中最后一个时间导数改为 ,即 。则 ,正规方程 、 给出 。预测值为 ,所以三个残差 为 ,平方范数为 。非零残差提醒我们方程并非完全一致,但残差为零也不能证明亮度恒常或共同运动模型在物理上正确。
例子中 的特征值为 和 。即使 在数学上可逆,若其最小正特征值很小,也表示某个方向受到的约束很弱。对特定统计模型 ,若 固定且满秩,误差相互独立、均值为零并有共同方差 ,则
这是因为 。此协方差结论依赖上述假设;真实导数误差可能相关、有偏,或存在于 本身。
实际限制
没有纹理的区域,其空间梯度接近零;直边主要只提供一个梯度方向。角点或纹理图像块可以提供多个方向,却不能消除遮挡或光照变化。扩大图像块可增加观测,但也增加像素具有不同运动的风险。由粗到细的形变及稳健损失在部分情况下可能有用,却需要各自的模型与验证;局部方程本身没有证明它们有效。
习题
快速检查
(梯度为 与 ,时间导数为 与 。两条方程精确成立时,速度是多少?)
分别写出两条方程 。
解答 · 答案
方程是 与 ,所以 。
快速检查
(若 的两行都是 ,而 的两个分量都是 ,描述所有精确解。)
这两条方程约束了 的哪一个分量?
解答 · 答案
每个 都是解。垂直分量不能被辨认。
快速检查
(验证带噪声的例子的正规方程及平方残差。)
对 计算 ,并代入 。
解答 · 答案
此处 ,且 。残差为 ,其平方范数为 。
快速检查
(在所述独立噪声模型下,若 的特征值为 和 ,协方差的特征值是多少?)
协方差为 。
解答 · 答案
的特征值为 和 。这些数值只在所述噪声模型下量化不确定性。
延伸学习
离散导数设计、金字塔形变、稳健运动场与遮挡检测需要进一步分析。本单元没有实现光流系统,也不保证任何特定视频中的运动。