为何需要多个视图
校准板只须量度一次,便可在数个未知方向下拍摄。我们知道板上点的平面坐标,却不知道每张照片的旋转和平移。目标是求所有视图共用的一个内参矩阵,而非给每张图像一个互不相干的单应矩阵。板上的直角与相同坐标尺度提供了任意平面纹理本身不一定提供的度量信息。
假设校准板刚性且平面,其 Cartesian 坐标使用共同长度单位;每张图至少观察到四个板点,其中存在任三点不共线的四点组,且配置能识别可逆单应。相机固定内参、符合可逆针孔模型,暂时忽略镜头畸变。板点投影必须有限,可见平面不可穿过相机中心。先前的单应估计章节解释如何从测量点求单应,以及归一化与稳健筛选的作用。这里从这些单应出发推导额外限制。实际估计的可靠程度仍取决于配对、校准板及相机假设。
每个平面方向提供两个方程
定义 1.33.1
(平面到图像的单应与内参矩阵)
选择板坐标,使点为 。令其相机坐标为 ,其中 。使用惯常的上三角内参矩阵
则平面到图像的单应矩阵各列满足
定义 1.33.2
(绝对二次曲线的像与两条约束)
定义对称正定的绝对二次曲线像矩阵 。旋转矩阵头两列是互相正交的单位向量,其共同的未知单应比例会抵消,得到
定义 1.33.3
(参数向量与双线性映射)
它们是关于 六个独立元素的齐次线性方程。写 ,对 定义
于是 。每个视图将两行 和 加入矩阵 ;精确数据满足 。单应的任意非零比例使两行同乘该比例的平方,因此不改变精确方程;但在含噪数据中会改变行权重。故应报告归一化方法,不可把代数拟合误作不依尺度的几何最大似然估计。
概念视角几何
归一化坐标中的正交条件
由于 ,对所有 都有 : 就是把像素向量用 换成归一化相机坐标后,普通点积的 Gram 矩阵。对精确的单应 , 与 是按同一比例缩放的标准正交向量,所以这两条约束恰好表示它们互相正交且长度相等。标定要找的,就是使标定板两个坐标轴看起来标准正交的那个内积。
定理 1.33.4
(线性内参限制何时识别相机)
假设精确数据来自上述形式的一个相机,且堆叠矩阵 的秩为五。其零空间便把 确定至非零比例。选取正定的符号,并把恢复的上三角内参矩阵右下角归一化至一,便得到满足这些限制、具正对角及上述形式的唯一 。在不额外限制五个内参的模型中,秩五至少需要三个视图,但三个视图不自动充分。
证明
(线性约束恰好确定相机)
精确数据满足 ,其中 是真实矩阵 对应的非零向量。 有六列、秩为五,所以零空间是由 张成的直线,每个解都是 ()。 正定当且仅当 ,这就确定了符号。把 写成 ,其中 是对角线为正的上三角矩阵;由于 正是这样的因子,由 Cholesky 因子的唯一性得 。于是 ,除以其右下角元素 就得回 。所以任何符合所述形式、对角线为正、又与这些约束一致的相机,其归一化后的 都相同。
证明透视
为何唯一二次曲线决定唯一内参
齐次方程只决定一条矩阵射线,故先以正定性选符号。Cholesky 唯一性再把上三角逆矩阵决定至正比例;固定右下角正好移除这个比例。论证依赖可逆及正焦距惯例,任意秩二或不定矩阵都不能当作此相机。
每个视图至多提供两条独立行,所以一个或两个视图不能达到秩五。三个或以上亦须实际堆叠矩阵达秩五才充分。若另有合理的内参假设,例如已知零斜交,则另一个受限问题可能用较少视图求解。含噪时可取 的最小右奇异向量作代数候选,并检查奇异值。秩五是精确可识别性条件;最小两个奇异值间距小则提示条件较弱。噪声可能产生不定候选,这时改变整体符号也不能以 Cholesky 恢复有效相机,须另加模型或受约束估计。
恢复内参及姿态
秩条件只给出一个相差比例的非零对称 。若其中一个符号正定,选用该符号并计算唯一正对角上三角 Cholesky 因子 ,使 。由于 也是正对角上三角矩阵,唯一性给出 ,其中正数 是估计 的比例。因此令 ,再把所有元素除以 ,使右下角为一。这消除了任意比例,没有强行设斜交为零或令两个焦距相等。
命题 1.33.5
(由精确单应与已知内参求位姿)
设 精确成立,其中 、 可逆、,并令 、、。则 、,且
其中 是 两个值之一。两个值都给出真正的旋转,并使棋盘上各点在相机坐标系中的深度同时变号。
证明
(由归一化的列读出位姿)
由 ()及 ,得 、、。 是单位正交向量,故 、,所以 ,所列公式成立。把 换成 , 同时变号而 不变,因此 仍属于 。棋盘点 的相机深度为 ,随 变号。
齐次单应本身不提供符号:若其中一个符号使所有观测到的棋盘点在相机中深度为正,就选这个符号。对不相容的含噪数据, 不会完全正交或等长;只归一化其中一列不能构成旋转。应明确确定比例惯例,把近似标架投影到 ,或共同精修。共同精修时要对所用点施加正深度,并指定重投影目标;以上步骤均不保证全局最优。
常见错误
(分别归一化各列得不到旋转矩阵)
对含噪数据,设 、。分别归一化得 、,但 ,所以 不是正交矩阵。应把近似标架投影到 ,或联合精修。
完整三视图计算
例题 1.33.6
(恢复未知相机及一个姿态)
取板坐标范围 ,假设精确单应代表为
第一视图给 和 。视图 2 的正交方程继而给 ,视图 3 的正交方程给 。视图 2 的等长方程代入 和 后,化为 。五条独立限制推出
第三视图余下的等长方程亦满足,所以它是相容性检查,不是第六条独立限制。对 ,有 、;选 得 及 。所有板点的深度 ,另一符号则把所有点放到相机后方。此算例使用精确、无畸变单应,并不声称真实三张图像必定有良好条件数。
例题 1.33.7
(含倾斜系数的 Cholesky 还原)
设零空间向量与 成比例,即 。这个矩阵正定:其顺序主子式为 、、。它的 Cholesky 因子为 ,因为 、、、; 确实还原出原矩阵。于是 ,除以右下角元素 ,得 。把 换成 仍得同一个 ,因为归一化消去了比例。倾斜系数 是被恢复出来的,并非预先假设:这个归一化既不强加零倾斜,也不强加两个焦距相等。
常见错误
(把单应的符号当作位姿的符号)
与 表示同一个单应。在三视图例子中,取 会得到 、,每个棋盘点的深度 ,即整块棋盘位于相机后面。必须要求深度为正来选取符号。
反例模式
再多正对相机的平面视图也不能代替独立方向
对正对相机的板,取 、;各照片的平移、平面内角度及单应比例可以不同。两个限制只涉及 的左上 区块。不论角度,它们都要求 、,只有两条独立限制。特别是方程不能决定 ,仍有无限多正定选择。因此即使有无限多无噪图像,只把板靠近、远离或侧移而不倾斜,也不能识别全部五个不受限内参。倾斜可以增加信息,但只数倾斜次数不能证明秩五。
有界范围的畸变拟合
初步针孔校准后,假设已估姿态给出理想归一化射线 ,测量像素经内参逆变换得畸变归一化坐标 。令 ,使用受限径向模型
固定射线及内参时,此式对 线性;堆叠各行后,只有设计矩阵秩二才可唯一最小二乘求解。数据全在光心时,各行为零;只有单一非零半径时,第二列是第一列乘以该半径的平方,不能分开两个系数。不同半径有助识别,但不保证不确定性低。此分阶段拟合只对系数线性,对未知姿态、内参及畸变并非联合线性。初始单应本身可能受畸变偏差影响,因此通常还需把畸变模型纳入联合非线性重投影拟合。须说明有效视场并检查径向映射在该范围是否单射;切向畸变与滚动快门不在此模型中。
例题 1.33.8
(两个半径确定受限模型的两个系数)
理想归一化点取 和 ,观测畸变坐标分别为 和 。第一条非零行给出 。第二条原始行为 ;除以 得 ,解得 、。这些精确合成测量是在给定射线及内参条件下识别受限系数,并非真实镜头测试。
练习与解答
快速检查
(六列限制矩阵秩为四时,零空间维数是多少?单靠线性方程能否将 确定至比例?)
解答 · 答案
秩零度定理给维数二。不能:二维零空间中有无限多互不成比例的候选;另一个受限模型则可能增加信息。
快速检查
(对上例的精确 及 ,以正深度符号恢复 。)
解答 · 答案
、、。正深度选 ,所以 、、。
快速检查
(为何重复同一非零半径的畸变测量无数次,仍不能决定两个径向系数?)
解答 · 答案
固定半径下第二列是第一列的固定倍数;重复行不能使设计秩超过一。
快速检查
(对称候选矩阵的特征值为 。改变整体符号能使它成为有效 吗?)
解答 · 答案
不能。一个符号的特征值是 ,另一个是 ;两者均非正定,而 必须正定。