动机
边缘的横向移动可以清楚看见,沿边缘方向的移动却可能无法辨认。角点附近的梯度有多个方向,因此小窗口能提供更丰富的信息。关键并不在于像素数目:重复测量同一方向,并不等于测量了另一个方向。我们先用有限加权模型精确说明这一点,再看噪声如何影响一个虽然唯一、却可能不可靠的答案。
以下只分析选定的局部模型,并不保证真实运动满足亮度恒定。模型假设窗口内共用同一速度;遮挡、形变、光照变化或运动边界都可能破坏这一假设。
定义
设图像序列 在每个 附近关于空间和时间联合可微。假设每个 都有一条在时刻 经过它的可微路径,且沿路径亮度不变。链式法则给出 ,其中 是该路径在 时的速度。在共同速度近似 下,这些约束按如下方式合并。
定义 7.2.1
(窗口光流能量与结构张量)
对样本 ,记 、,并选取权重 。窗口光流能量为
令 的各行为 , 的各分量为 ,则 。结构张量及右端项为
而 是拟合方程(正规方程)。
权重可以描述空间窗口或置信度;零权重表示舍弃该样本。 的单位由空间和时间导数决定:若用像素和帧,速度单位是像素每帧。时间差分的正负约定会改变 ,因此报告结果时必须说明。
定理与命题
定理 7.2.2
(存在性、唯一性与不可见方向)
对有限实数数据及非负权重, 一定能取到最小值。最小值点恰为 的解。最小值点唯一,当且仅当正权重对应的梯度张成 。若 是任一最小值点,则所有最小值点为 ,其中 。
同一张量也描述最小值点附近能量的形状,这是对定理的第二种、定量的解读。
概念视角几何
特征值即拟合能量的曲率
对称半正定矩阵 有标准正交特征向量 ,特征值为 。由于在最小值点 处有 ,沿 移动恰好使能量增加 。所以零特征值代表完全不可见的方向;小的正特征值代表谷底平缓、对噪声敏感的方向。特征值大小依赖于亮度尺度、导数单位与滤波器、权重和窗口大小;数值阈值必须按这些选择校准。
噪声模型把曲率图景转化为方差结论。假设线性观测满足 ,梯度和正权重固定;这一概率陈述只包括 的样本,零权重样本先去掉。样本集合和权重固定且与误差独立;由同一批带噪观测计算出的置信权重需要另作分析。
命题 7.2.3
(窗口估计的无偏性与协方差)
令 ,其中每个 ;假设 、,且 可逆。则 是 的无偏估计,并且
特别地, 的方差为 。
这一公式需要上述噪声协方差;空间窗口权重本身并不保证它成立。公式还把梯度视为精确值,而带噪声的导数估计会造成变量含误差的问题。它也没有处理系统性的亮度变化,或速度不一致造成的近似误差。
证明与思路
第一个证明就是最小二乘的几何;唯一需要小心的是奇异情形。
证明
(投影、正规方程与共同的核)
的像是有限维数据空间中的闭子空间。把 正交投影到这个子空间,选取像等于该投影的 。由勾股定理,它使 最小。向量是最小值点,当且仅当 与像空间正交,即 ,也就是 。对任意 ,
若 ,上式给出 ;反过来 推出 。因此 恰由所有与正权重梯度垂直的方向组成。若 是正规方程的解,其全部解就是 。这个集合只含一点,当且仅当核为零,也等价于这些梯度张成平面。
证明透视
为什么奇异张量仍然有解
证明中从未求 的逆。存在性来自把 投影到 ,这对任何矩阵都可行,所以即使 奇异,正规方程仍然相容;不可用的只是逆矩阵。同一个恒等式 完成了其余工作两次:它证明 ,因此正规方程的不确定性恰好就是数据的不确定性;它又用样本刻画这个核,即与每个 的梯度都垂直的方向。权重非负, 才是实数;负权重会破坏分解 ,连带推翻“ 的每个解都使 最小”这一结论。
协方差结论是直接的线性计算。
证明
(误差表示与协方差)
令 的各行为 ,则 ,且 。因此 ,其期望为零。将协方差矩阵相乘,
对单位特征向量,。
例题
例题 7.2.4
(两个梯度方向与不一致的观测)
取单位权重、、、,以及 。则
两条水平方向的观测互相矛盾;最小二乘取其目标值的平均。残差为 ,故最小目标值为 ,而不是零。即使方程不能同时精确成立,正定张量仍给出唯一的拟合速度。
例题 7.2.5
(满秩仍可能脆弱)
取单位权重及 、。则 可逆,但 只要改变 , 就改变 ,垂直速度估计则改变一。在独立、方差为 的观测噪声下,垂直方差为 。代数上的唯一性并不是可靠性的证明。
例题 7.2.6
(零权重删去一个方向)
取 、、,以及 、,权重为 。若 ,则 、,最小值点是所有 。对任意 ,、,唯一最小值点是 。只要权重为正,唯一性就成立;但在相匹配的噪声模型下,垂直方差为 ,当 时无界增大。“唯一”与“不可见”的界线在代数上是突变的,在统计上却是渐变的。
常见错误
反例模式
更多像素未必解决孔径问题
无论有多少样本,只要每个都满足 、,每个速度 都完全拟合数据。再加入相同样本只增加水平方向的权重,垂直特征值仍为零。最小范数答案 只是一种选择规则,并不是垂直运动消失的证据。
加入岭惩罚 ()后, 变为 ,唯一估计为 。在线性模型及 下,即使 奇异,仍有 ,所以期望系数满足 。惩罚可以稳定较弱的方向,但会引入偏差,也不能凭空产生核方向上的观测。
常见错误
(以为奇异张量意味着无解)
当 时, 不存在,但 仍然相容,因为 一定属于 。正确的结论是一整条直线(或整个平面)的最小值点 ,而不是空解集。在边缘处报告“没有光流”,就丢掉了数据确实确定的分量。
常见错误
(对不同亮度尺度使用固定的特征值阈值)
把所有亮度乘以 ,每个 就乘以 , 乘以 。把图像从 范围转换到 ,两个特征值都乘以 ,拟合速度却不变。像 这样的阈值,只有连同选定它时的亮度尺度、导数滤波器、权重和窗口大小一起才有意义。
总结
窗口把各个方向的证据累积到半正定张量中。它的核描述精确的歧义;小特征值指出噪声可能被强烈放大的方向。线性化拟合唯一、指定噪声模型下拟合可靠、正确估计物理运动,是三个不同的结论。
练习
快速检查
(取单位权重、、、、。求 、 和拟合速度。)
解答 · 答案
、,故 。两个方程都成立:、。
快速检查
(设窗口数据给出 、。求 的所有最小值点,以及 时的岭估计,并解释其第二个坐标。)
解答 · 答案
的解为任意 。岭估计为 。第二个坐标由惩罚选为零;观测没有提供该方向的信息。
快速检查
(在命题的协方差假设下,若两个特征值分别为 和 ,比较两个特征方向上的方差。这一结果能否单独证明共同速度假设?)
解答 · 答案
方差分别为 和 ,较弱方向的方差是九倍。不能:这一计算以所假设的线性模型为前提,并没有检验共同速度、亮度恒定或遮挡。