动机
立体场景的两张照片,一般不能用单一单应矩阵互相对齐。但若我们在两张照片辨认出同一点,第二张的像点必须落在一条可预测的直线上。这较弱的关系可以缩小配对范围,并限制相机的相对运动,而无须假设所有点在同一平面。它只限制可能的配对,本身不等于完整重建。
以下假设理想中心针孔相机,以及有限、已去除畸变的像点。先前章节介绍投影及归一化齐次最小二乘,亦提醒我们留意错误配对;现在推导双视图方程,并指出把结果解读为物理运动时另需什么条件。
几何与线性估计
定义 1.35.1
(已校准双视图设定与本质矩阵)
以第一相机的坐标表达场景点 ,其中 是已校准射线,。第二相机坐标为 ,,。令反对称矩阵 满足 ,本质矩阵定义为
命题 1.35.2
(对极约束)
设 是第二条已校准射线, 在第二相机中的深度非零且有限,故 ,。则
证明
(标量三重积为零)
由 及 ,
两项都为零,因为 同时垂直于 和 。等价地,、、 共面,所以它们的标量三重积为零。
证明透视
必要条件不等于唯一诊断
正确配对必满足极线方程,但极线上每一点也满足该式。单一标量方程不能指出哪个才是真配对,也不能保证正深度。秩条件只在自身的非退化假设下识别矩阵;物理恢复还需校准、本质矩阵及可见性条件。
只要 非零,它就代表第二幅归一化图像中的一条直线;线上各点均满足方程。在第一幅图像的极点 处,,方程不提供有用约束。
定义 1.35.3
(基础矩阵)
对像素坐标 、,若已知内参均可逆,则令
令 、,并按行排列 的元素为 ;每对像点提供一行
堆叠得 。若精确数据令秩为八,零空间是一维,非零矩阵因此只差比例。八行本身并不保证秩为八。有噪声时,可用最小右奇异向量解 ;亦应检查奇异值间距,因间距小会令解不稳定。这最小化的是代数误差,不是图像中的几何位移;所得矩阵也未必是秩二。
分别平移及等比例缩放两张图像的测量点,使各自质心为零、均方根半径为 ;半径必须原本非零。以 表示两个变换,在新坐标估计 ,再取 。把变换代入 即得此式。归一化有助数值尺度,不能补回场景欠缺的秩。若 ,其中 ,把 改为零便得到在归一化坐标下 Frobenius 范数最近的秩至多二矩阵。这仍是受约束代数估计,未必是几何误差最小解。之后可用原始测量作稳健几何精修,但必须另行定义残差及离群点模型。
例题 1.35.4
(线性方程组中的一行)
取 ,故 ,并取 、。则 、、、,该行为 ,得 。直接计算,,。两种算法一致,因为 只是把 中的九个乘积列了出来。非零值说明这对点并非此 的精确配对;正确配对应给出 。
例题 1.35.5
(归一化四个点)
取点 。质心为 ,每个点到质心的距离平方为 ,故均方根半径为 。缩放因子 给出
把四个点变为 ,各点到原点的距离均为 。边界情形:若所有测量点重合,均方根半径为零,不存在有限的缩放因子,无法归一化;这时这些配对对 不提供任何信息。
常见错误
(因为代数是精确的而省略归一化)
在数量级为 的像素坐标中,含 、 的列数量级约为 ,而最后一列是 。这种矩阵的奇异值分解由数值大的列主导,测量噪声对最小奇异向量的扰动远比精确代数所示为大。归一化使各列大小相近;它只是数值手段,不改变模型,也不改变精确数据的秩。
已校准限制与规范自由度
定理 1.35.6
(本质矩阵的奇异值)
若 且 ,则 的奇异值为 。反过来,任何奇异值为 、 的非零实 矩阵,在非零比例意义下都是本质矩阵。
证明
(反对称矩阵恒等式与定向奇异基)
正向。由 ,得 。矩阵 在与 垂直的平面上特征值为 ,在 所张成的直线上特征值为 ;用正交矩阵 做相似变换不改变特征值。因此 的奇异值为 。
反向。写 ,其中 为正交矩阵。第三个奇异值为零,所以把 和 的第三列取负不改变 ;如此调整直到 。标准矩阵满足 ,其中 是绕 旋转负九十度。对 有 ,故
取 、,即得 。
因此已校准模型要求两个非零奇异值相等,单有秩二并不足够。对含噪估计 ,可把两个非零奇异值改为 ,第三个改为零,得到此奇异值集合的 Frobenius 投影。这依赖已校准坐标所采用的度量,与把 投影至秩二不同。
定义 1.35.7
(规范自由度)
设 为相机矩阵, 为场景点,观测值是投影 。规范自由度是未知量的一种改变,使每个理想观测完全不变。对任意可逆 矩阵 ,把 换成 、 换成 就是一例,因为 。
本质矩阵分解会产生多个代数运动候选。对非退化的对应射线,可三角化并检查两个视图的正深度,以选择物理上可行的候选;这不保证消除所有歧义,也不能修正错配。两张没有绝对尺度的图像不能恢复 的长度:同时把所有场景坐标及 乘上同一正数,投影完全不变。第一相机坐标系固定原点及方向,却没有固定尺度。若内参和度量场景结构均未知,对世界齐次坐标施加可逆 射影变换,并对相机矩阵施加其逆,也不改变图像。因此度量解读需要额外校准或场景限制。
算例与退化
例题 1.35.8
(侧向平移)
取 、、、。则 、、,而
第二图像的极线是 ,包含 ,也包含无限多其他点,例如 :极线测试同样接受它们。把 和 同乘二,两个归一化像点均不变。
反例模式
平面完美吻合不一定识别双视图运动
假设所有配对均满足可逆平面单应 。任取非零向量 ,令 。因 平行 而 ,每对点均满足 。由于 可逆,不平行的 得到互不成比例的可行矩阵,因此即使有任意多个精确平面配对,也不能单凭它们选出唯一基础矩阵。纯旋转同样退化: 给出单应,而实际运动导出的本质矩阵为零,没有非零基线可供三角化。
真实镜头可令原始像素中的极线不再是直线。例如归一化相机坐标的一个受限径向模型是 、,其中 。中心、参数和有效视场都须校准;若径向映射并非一对一,其反函数可能有歧义。切向畸变、滚动快门、有限光圈和移动物体均不在此模型中。直接用畸变像素估计 ,一般只是近似本来弯曲的限制;小区域残差低不代表全图像模型有效。
概念视角结构
坐标自由度不是测量噪声
规范自由度是令理想观测完全不变的变换;噪声则令测量限制彼此不相容。锚定坐标系可以消除所选的表示自由度,却不能凭空产生基线、非平面深度变化或正确配对。
练习与解答
快速检查
(在侧向平移算例中,检验 是否可能为正确理想配对。)
用该例算得的 计算 。
解答 · 答案
极线值为 ,违反必要条件,不可能是该运动下的理想配对。
快速检查
(若 的秩为七,八对或更多测量是否保证唯一齐次估计?)
计算 的零空间维数。
解答 · 答案
否;秩-零度定理给出九个未知量的二维零空间,行数不能决定秩。
快速检查
(非零矩阵奇异值为 。它是否在比例意义下为本质矩阵?其本质奇异值形式的 Frobenius 投影是什么?)
比较两个正奇异值,再取其平均。
解答 · 答案
否;两个正奇异值不等,缩放不改变其比例。保留奇异向量,把奇异值改为 。
快速检查
(径向映射为 ,。为何求逆必须指定定义域?)
找出 在哪里上升、在哪里下降。
解答 · 答案
先升后降, 和 同样映到零。要有单值逆,须限制在单射区间,例如 。