为什么全景会出现重影
原地转身拍摄两张照片时,远处楼宇也许能很好地对齐,近处栏杆却出现两个图像。增加特征点或扩大混合区域之前,应先问:所有可见点是否真的服从同一个图像变换?单应的八个射影自由度,不能保证它能描述任意三维场景。
本节区分两个精确模型:相机绕光心旋转,以及平移相机拍摄同一平面。我们再构造一个无法由单一单应对齐的场景。假设相机为理想针孔模型、镜头畸变已校正、内参可逆且已知、场景刚性静止、曝光瞬时完成,对应点确实来自同一物理点。遮挡会使某些点没有对应;对齐周围像素并不会恢复看不见的表面。
先固定坐标方向
定义 1.32.1
(相对位姿与标定后的视线)
设场景点在第一相机坐标中的向量为 ,第二相机坐标为
所以 将第一相机坐标转成第二相机坐标。齐次像素为 ,满足 ;符号 表示相差一个非零倍数。向量 给出第一条视线的方向,因此 。内参采用通常规范时,,而 就是第一相机深度。可见点须在两相机前方,且投影坐标有限。
将关系代入投影,而不是直接猜测变换:
平移项被深度除,正是问题所在。不同深度通常产生不同图像位移。
定理 1.32.2
(纯旋转的精确单应)
若两相机中心重合,即上述约定中 ,则每个共同可见场景点都满足 ,其中 可逆。场景不必共面,也不必具有相同深度。不过,对个别点作非齐次化时,分母仍须非零。
证明
(相机中心重合时深度相消)
写 ,其中 是第一相机的深度。平移为零时 ,故 。齐次等价消去标量 ,得 。各因子都可逆,故 可逆。
证明透视
未知深度在哪一步消失
关键在于 乘在整个向量 上,所以射影等价可以把它舍去。若有平移,向量是 ,只有第一项带有 ;除去共同深度后留下 ,它随场景点而变,一般不能放进单一矩阵。因此假设 只用了一次。这个证明对逆命题没有任何结论:下面的平面情形表明,平移的相机也可以有精确的单应,所以拟合成功的单应不一定来自纯旋转。各因子可逆只给出 可逆;某个点的分母是否非零,是另一个条件。
日常所说“站着不动转身”只是近似。手持相机在身体前方转动,光心仍沿圆弧移动;三脚架旋转轴偏离光心时也会产生平移。滚动快门、畸变、物体运动和曝光变化则是另外的模型误差。
旋转产生有理像素映射
例题 1.32.3
(可以逐步核对的 3–4–5 旋转)
令两相机 ,主点为零,并取
第一幅图像的像素 被映到齐次向量 。除以第三项后,得到 ,约为 。第一条视线是 ,旋转后为 ,可独立核对同一答案。把场景点放在深度 或 ,只会同时缩放三个坐标,不改变投影。第三项 也确认第二相机深度为正。
这不表示整幅图像都平移 。分母会随 改变;即使相机没有平移,只用图像平移模型仍会漏掉透视效应。
在本例中,第一图像直线 ,即 ,对应的视线在第二相机中深度为零。这些方向位于第二相机通过光心并平行于像平面的主平面, 将来源直线映到无穷远直线;非齐次公式的分母因此为零。射影矩阵可逆,不表示每条视线都落在有限图像矩形内,或都在相机前方。
常见错误
(反向映射误用 R 而不是它的转置)
由图像二回到图像一的映射是 。在 3–4–5 例子中,视线 经 回到 ,即第一幅图像的像素 ;若改用 ,它变成 ,对应像素约为 ,与出发点相差很远。
共面场景为何是另一种精确情况
命题 1.32.4
(平面诱导的单应)
设所观测的场景点位于第一相机坐标系中的平面 上,其中 。则每个这样的点都满足 ,其中 。
证明
(用平面方程消去深度)
因 ,平面方程给出 ,即 。所以 ,再代入 ,就得到所述矩阵。
这个加号由平面方程和姿态方向共同决定。若平面写成 ,公式的符号便会改变,不能脱离约定背诵。平面不能通过任何一个相机中心,才能得到可逆的平面图像单应。矩阵行列式引理给出 ;此值为零,恰好表示第二相机中心 在平面上。平行于平面的视线也没有有限交点。
概念视角几何
旋转作为远去平面的极限
固定 、 和单位法向量 ,让平面远去,即 。此时 ,故 ,正是纯旋转单应。原因在推导中的 一项:点越远,深度 越大,平移造成的位移就消失。旋转情形是平面族的极限成员。
例题 1.32.5
(深度为二的平面与横向平移)
取 、、,平面为 ,即 、。则
它把 映为 。这与下面反例中 时直接算出的 一致。平移并不为零,但这个平面上仍有一个精确的单应。
例题 1.32.6
(通过第二相机中心的平面)
仍取 、、,但平面取 ,即 、。在第一相机坐标系中,第二相机中心是 ,正好落在这个平面上。矩阵为
它是奇异矩阵,与 相符。平面上每个点 都有 、,整个平面投影到直线 之内,因此不存在可逆的平面到平面的图像单应。
常见错误
(单应拟合得好并不能证明相机只做了纯旋转)
在上面的平面例子中,相机横向移动了一个单位,单一单应却是精确的。仅凭拟合的好坏,无法区分旋转与平移的共面场景;必须由场景假设或更多视图来判断。
反例模式
两种深度要求不同位移
令 、、,即第二相机中心沿第一相机的 轴移一单位;在通常的图像横轴向右约定下,这就是向右移。点 的归一化图像坐标为 、,第二幅图像则为 、。
先在 平面选四个孤立特征点,点之间没有填满空间的实心不透明平面,使第一幅图像坐标分别为 。它们任意三点不共线,构成射影标架,精确对应唯一决定单应 。另加点 ,第一幅图像位置为 ,真实第二幅位置为 。前四点决定的单应却预测 ,水平误差为 。因此没有单一单应能满足这五个对应。第五点的视线与前四点不同,反例不需要两个可见表面占据同一来源像素。
这里的唯一性并非只靠数方程。若两个可逆单应在射影标架上一致,它们的商便固定该标架。取前三个点向量作基底,固定它们的射影方向后,商矩阵在此基底必为对角矩阵,对角元素记为 ;第四向量在此基底的三个分量皆非零,固定其射影方向便强迫三个对角元素相等。商是标量矩阵,两个射影映射因而相同。
把几何判断放进处理流程
稳健估计可能选择主要平面,把第五点当成离群值。如果目标确实是该平面,这可以合理;却不能因此说整个场景已符合模型。应按图像位置和已知场景深度观察残差向量。有规律的深度相关误差,可能表示模型本身有误,而非优化不够好。比较转移误差时,必须使用一致坐标单位,并确认分母有效。
远景可能让平移误差小至可接受。为量化一个精确情况,假设两相机内参相同、水平像素焦距为 、没有相对旋转(),并取 。两个表面为第一相机坐标中正对相机的深度平面 、。若精确对齐 平面,则 上一点的水平残差,定义为实际位置减预测位置,为 ;比较容许误差时取绝对值。一般旋转或沿视轴平移会改变投影分母,不能原封不动套用此式。若 、、、,差异为 像素。因此“足够远”取决于基线、焦距及误差要求,并无通用距离门槛。
圆柱或球面输出可以改善宽角度纯旋转全景的透视拉伸,却不能消去平移造成的深度视差。接缝可藏起部分错位,混合可柔化亮度变化,但都不会建立一致的几何对应。局部变形、深度重建或多平面方法改变了模型,须另行交代假设。
练习及解答
快速检查
(求纯旋转情况由图像二到图像一的单应。)
解答 · 答案
逆矩阵按相反次序相乘,。使用 而非 ,会再次施加第一到第二相机的旋转,而非撤销它。
快速检查
(两个正对相机的表面深度为 、 米, 像素。若相对错位最多 像素,水平基线最大多少?)
解答 · 答案
,所以 米。此界限依赖上述平移和表面方向假设,不适用于任意运动及斜面。
快速检查
(已知内参,如何以代数检查候选 是否相容于纯旋转?)
解答 · 答案
设 。由于 可任意缩放,应要求存在 使 。若成立,将 除以 ,并选射影符号使行列式为 ,便得到旋转矩阵。仍须核对实际视线的正深度。这表示模型相容,不能证明一个平移的共面场景不可能产生同样观测。
快速检查
(为何排除 ?)
解答 · 答案
此时 无法决定深度。平面上的点全部投影到直线 ,二维平面图像已退化成直线。直接除以 会掩盖这项几何信息损失。