动机
单一透视图像无法确定每条视线上的距离。当两台相机位于不同位置,而且能够在两幅图像中辨认同一场景点时,便可约束深度。前面的相机章节解释了投影以及平移如何产生视差;本单元推导标定后的深度计算,并探讨计算不可靠的原因。
校正后的相机模型
定义 3.1.1
(校正立体图像坐标)
左相机中心取 ,右相机中心取 ,其中 以米计。两台相机轴线平行,均朝正 方向,图像具有相同焦距 (以像素计)及水平主点 。对两台相机都看到的场景点 ,假设 。其水平像素坐标为
定义带符号视差 。这是理想针孔投影;实际相机对的坐标须先经过标定和立体校正,才能应用此简化约定。
定理 3.1.2
(由视差求深度)
在上述假设下,,因此
当 为正时,零视差在此模型中不对应有限的正深度;负视差也不符合模型。实际测量仍可能因为对应、标定或测量误差而为零或负。
证明
(两个投影方程相减)
把第二个投影方程从第一个减去。主点 相消,得
由于 ,所以 。两边乘以 (因 而合法),得 。最后,第一个投影方程即 ,所以 。
证明透视
哪些量会相消,哪些假设不会
论证依赖三个假设:两台相机只相差沿 轴的平移 (产生 这一项)、焦距同为 、主点同为 。唯一不显然的一步是“相减”而不是分别对 求解:未知数 消失,只剩下一个只含未知数 的方程。论证得以完结,是因为 恒为正,所以除以 总是合法的。
若右相机的焦距为 ,或主点为 ,则差为
其中仍含 ,于是仅凭 不再能确定 。因此,不能仅因图像看似对齐,就改变相机几何而不更新方程。
若垂直内参相同,垂直主点为 ,两幅图像也都有 。因此在此校正坐标中,同一点位于同一图像行。这个同行条件缩小搜索范围,但本身不能辨认正确像素。在更一般的模型中,立体校正是依据相机标定进行的图像坐标变换,另有重采样与有效范围限制。
完整数值重建
例题 3.1.3
(深度与水平位置)
令 像素、 米、 像素,配对坐标为 、 像素。视差 像素, 像素米。因此 米, 米。代回右相机投影得到 ,与观测一致。计算需要真正的对应点,不能只找任意一对具有该数值差的像素。
敏感度与不确定性
固定已标定的 ,导数为
正视差较小时,相同大小的绝对视差误差会造成更大的深度变化。导数只给局部近似,并非有保证的误差区间。若已知 位于 且 ,单调性给出明确界
例题 3.1.4
(半像素视差区间)
沿用上例,假设真实视差介于 与 像素,则深度位于 米,约为 。这个区间假设 与 精确,而且配对正确。若区间包含零视差,单靠此公式不能给出有限的深度上界。
这个区间的宽度与视差本身的大小关系极大,见下例。
例题 3.1.5
(小视差下的同一半像素误差)
仍取 像素、 米,即 像素米,但令测得视差为 像素,则 米。若真实视差位于 ,则 米,区间宽度为 米;相比之下, 时只约 米。在边界情形,若区间为 ,下界 米仍然成立,但因为 可以任意接近 ,不存在有限上界。区间公式要求 。
概念视角代数
视差就是以像素为单位的逆深度
关系 可写成 :视差与逆深度成正比,比例常数 由标定决定。因此相等的视差步长就是 的相等步长,而点越远,这对应 越来越长的步长。零视差对应 ,即无穷远点,有限深度的模型把它排除在外。
常见错误
(把相同的视差误差当作相同的深度误差)
由于 不是 的线性函数,一个像素的误差在不同视差下意义不同。取 像素米, 由 变为 时, 由 米变为 米,变化约 米; 由 变为 时, 由 米变为 米,变化 米。固定的像素容差只在局部对应固定的深度容差,远处的点敏感得多。
反例模式
同一图像行不等于同一个对应点
命题:若左右两个像素位于同一行且看起来相同,则它们是同一场景点的投影。取第一个例子的设定(、、),并设右图像某一行上有相同的竖直条纹,位于 、、,而左图像的条纹在 。匹配到 ,得 、 米、 米;匹配到 ,得 、 米、 米。两个候选都符合模型,却给出不同深度,所以仅凭外观与同行不能作决定。候选 给出 ,被模型排除; 的候选给出负视差,同样被排除。校正模型中的同行是必要条件,不是充分条件。匹配需要额外证据,系统也应能标记不确定或无法匹配的点。没有纹理的区域也有类似歧义。
可见性与实际限制
一个点可能被一台相机看到,却被前景物体遮挡而无法被另一台相机看到。即使标定完美,这种遮挡点也没有有效的双图像配对。左右一致性检查可排除部分错配,但不能证明剩余配对全部正确。重复图案、反射、光照变化及亚像素估计也会影响配对。增大基线可以增加固定深度的视差,却会改变遮挡及视野重叠,并非在所有场景都能无代价改善。
视差必须使用与 相同的像素坐标约定。以毫米给出的焦距须先用图像尺度转换,才可代入像素视差。所得深度使用与 相同的长度单位;这些规则可避免单位不一致却看似合理的答案。
常见错误
(把毫米焦距与像素视差一起代入)
设镜头焦距为 毫米,传感器像素间距为 毫米,则 像素。若 米、 像素,直接用 得 米,错了 倍;正确值是 米。焦距必须先换成像素,才能与像素视差一起计算。
习题
快速检查
(若 像素、 米、 像素,求 。若 、,再求 。)
先用 ,再用 的公式。
解答 · 答案
米, 米。
快速检查
(若 像素米,视差位于 像素,给出 的精确区间。)
深度是正视差的递减函数。
解答 · 答案
深度随正视差增加而减小,因此 米。
快速检查
(在此约定下,测得零视差可得什么结论?这是否证明真实物体距离无限远?)
把测量结果与理想模型所允许的情形比较。
解答 · 答案
理想模型中没有有限正深度会产生零视差。测得零可能来自分辨率、噪声或错配,不能证明真实物体无限远。
快速检查
(为什么同在正确图像行不能证明配对正确?举出两种不同的失败原因。)
想一想同行约束没有决定什么。
解答 · 答案
重复纹理可能在同一行上产生多个合理候选;遮挡则可能使真正对应点完全不存在。同行约束不能分辨这两种情况。
延伸学习
一般极线几何、标定不确定性、稳健对应、镜头畸变及多视图重建需要进一步推导。本单元没有实现立体匹配器,也不保证深度图的准确度。