为什么校正不止是一条公式
针孔相机把空间中的直线投影成图像中的直线;若直线穿过相机中心,则退化为一个点,前提是所涉及的点深度非零。真实镜头却可能使图像发生弯曲,在传感器边缘尤其明显。若把这样的坐标原封不动地交给单应或对极线估计,残差未必只是随机的失配:几何模型本身可能就是错的。因此校正是测量与这些理想几何计算之间的一个步骤,而不是为了美观的拉直滤镜。
我们使用一个刻意受限的径向模型。它的中心、内参和参数都必须由标定数据估计;单个径向系数并不是通用的镜头描述。除非有标定板及位姿或其他独立约束提供,否则理想坐标是无法观测的针孔视线坐标。我们假设相机静止、对焦与分辨率固定、使用全局快门,并且模型在指定的圆盘上有效;色差、切向畸变以及随时间变化的效应都不在讨论之列。在某个圆盘内拟合良好,并不保证在圆盘之外同样良好。
归一化坐标与正向映射
定义 1.34.1
(单系数径向畸变(圆盘上))
设 是相对于畸变中心的理想归一化相机坐标,并令 。对实系数 ,畸变坐标定义为
当比例因子 在圆盘上为正时,极角方向保持不变,畸变半径为
这里的坐标是无量纲的。设中心为 ,正的焦距尺度 已知,一种可能的零倾斜像素约定是 、。若实际的畸变中心不同于主点,应当采用相应标定得到的变换,而不是悄悄地把两者视为同一点。当 时,两个方向上相同的像素距离并不对应相同的归一化距离。
定理 1.34.2
(径向场可逆的充分条件)
若对每个 都有 且 ,则正向映射在半径为 的闭圆盘上是一一对应的,它把该圆盘映到半径为 的圆盘上,逆映射连续。对非零的畸变点,由 反解出它唯一的半径并保留其方向;中心映到自身。
证明
(单调的半径给出可逆的场)
导数为 。在上述假设下它在整个区间上为正,所以 从零到 严格递增,并在其上有唯一的连续反函数。正的比例因子保持方向;因此两个相等的非零输出必有相同的方向,再由严格单调性,也有相同的半径。半径为零的输出只来自中心。由连续性,零与 之间的每个半径都会出现,这就得到所述的像圆盘。这些只是充分条件,并不是说每个可逆的径向映射都必须在每一点上导数严格为正。
证明透视
把半径与方向分开
只有先确定比例因子为正,半径的标量方程才有用。负的比例因子会使方向反转,若在半径方程中改用它的绝对值,就会掩盖第二个原像。定义域和符号约定都是反问题的一部分。
估计一个系数
命题 1.34.3
(由二维点对得到的最小二乘径向系数)
设独立标定已提供成对的理想点与测得点(归一化坐标) 和 ,中心与内参固定。令 ,模型为 。对实数 最小化二维残差的平方和,得
证明
(展开二次式)
展开二次式 ,令其导数为零,就得到上面的值。它的二阶导数为 ,所以最小点唯一。
只有中心点时分母为零,对 没有任何信息。这个拟合把理想点视为固定,并使用相同的各向同性坐标权重;若它们的不确定性或像素噪声协方差不可忽略,这个目标一般不是最大似然拟合。实际中,位姿、内参与畸变可以用非线性重投影误差联合精化;留出的标定板视图以及对视场的覆盖很重要,因为训练残差小并不足以确立标定的精度。
若只保留半径,令 为理想半径、 为测得的畸变半径。最小化 ,只要某个 ,就得 ;对 、,它给出 。把测量压缩成长度会丢失方向信息,所以有非径向残差或噪声时,这个估计一般与二维估计不同。两者都不能单独证明模型正确。
例题 1.34.4
(一个点、指定的视场,以及校正)
取 、、。则 ,,,畸变半径为 。若这组理想点与测得点是精确已知的,最小二乘公式返回 。在整个单位圆盘上,比例因子至少为 ,而 至少为 ,所以定理适用。要校正这个观测点,在 上解 ; 给出唯一解 ,再配合方向就恢复出 。
例题 1.34.5
(反算边界点,以及其他的根)
取 、,理想点 的比例因子为 ,所以它的畸变点为 ,位于像圆盘的边缘。要反算,解 ,即 。 是 内唯一的根,因为 在其上严格递增。其余的根 和 在标定视场之外:不加限制的多项式求根器可能返回它们,但它们并不对应模型中的理想点。
例题 1.34.6
(渲染一个输出像素,以及一个被屏蔽的像素)
取 、、,中心为 。归一化坐标为 的理想输出像素畸变到 ,所以原始图像的查找位置是 、。理想像素 的半径大于 ,因此要屏蔽。若硬套公式,比例因子为 ,查找位置为 ,它也许落在传感器上,但模型在这个半径处并未标定。
渲染校正后的图像
概念视角算法
反算一个点与采样一幅图像
有两种看似“反向”的操作,不应混淆。要校正一个观测点,就解标量方程求出它的理想半径。要在没有散射空洞的情况下渲染理想输出图像,则逐个访问每个理想输出像素,把它的归一化坐标经畸变模型正向映射,再变换到原始传感器像素,并在原始图像上插值。这是反向图像变形:查找的方向是由输出到输入,尽管它计算的是正向的几何畸变。
理想输出位置若在已标定的圆盘之外,即使预测的来源位置落在传感器上,也要屏蔽;落在传感器之外的查找同样要屏蔽。这两种无效像素都不是新测得的黑色像素。
双线性插值是局部近似,不能恢复未被记录的信息。当一个输出像素在来源图像中覆盖较大或各向异性的范围时,需要适当的预滤波来控制混叠。正向映射在不再一一对应之前,就可能存在条件很差的区域:当 很小时,半径测量的小误差会引起理想半径的大误差。在已知单调的区间上用二分法可得到有界的数值反函数;不加限制的多项式求根器可能返回标定视场之外的另一个分支。
反例模式
代数公式不是全局的逆
对 ,若把公式延伸到所述单位圆盘之外,则 出现在 ,此后 开始递减。事实上 与 都映到中心,所以这个公式在整个平面上并不是一一对应的。第二个半径处的比例因子也是零,方向在那里丢失。这个反例并不推翻单位圆盘上的逆映射;它说明了为什么必须注明视场。
残差与模型的限制
拟合之后,在留出的标定板视图上画出观测位置减预测位置的残差。一致向外或向内的图样可能提示径向模型失配;偏心图样、标定板变形、位姿不准、滚动快门或特征定位不精确,同样会造成有结构的残差。仅凭残差的方向不能判定成因。应纳入遍及视场、标定板方向各异的视图,除了归一化单位之外也以像素检查残差大小,并在留出的测量上把拟合模型与较简单的模型比较。更多参数可以降低训练误差,却会使外推变差。
常见错误
(训练残差为零并不能确定系数)
若只有中心处一个对应点,则对所有 都有 ,残差对每个 都是零,系数却完全没有被确定。即使有非中心的点,也应采集遍及视场及多种标定板方向的数据,并用独立视图检验,而不是只报告拟合误差。
常见错误
(把一条被拉直的线当作完整的标定)
被拉直的标定板直线是有用的诊断,却不是完整的标定证明:错误的中心、焦距尺度或三维位姿可能仍然存在,而且在同一条线上调参的方法可能对它过拟合。
反过来,正确的几何映射并不能恢复焦点、去除传感器噪声或消除运动模糊。恰当的说法是:指定的模型在所测试的视场内,以所述的精度预测了测得的标定板位置。
练习与解答
快速检查
(对 ,求单位圆盘上的最大畸变半径,并说明该处的逆映射唯一的理由。)
解答 · 答案
。在 上 ,且比例因子为正,所以 中每个半径在 内恰有一个原像半径,每个输出点在单位圆盘内恰有一个原像点。
快速检查
(一个理想归一化点为 ,测得点为 。计算无约束的单参数估计及残差。模型能否精确解释两个分量?)
解答 · 答案
,所以 。预测值为 ,观测减预测为 。仅有径向的校正无法解释这个点上垂直方向的残差。
快速检查
(某点的正向径向导数为 。在一阶近似下, 的小径向测量误差会使反算出的半径改变大约多少?说明这个近似的局限。)
解答 · 答案
把 线性化,得 。这只是局部近似: 的曲率、噪声大小以及定义域边界,都可能使有限误差明显不同,尤其是在折返点附近。
快速检查
(为什么把每个原始像素向前散布到校正位置,在实现上不等同于为每个输出像素查找原始坐标?)
解答 · 答案
正向散布可能留下空洞,或把几个样本放到同一个输出位置。由输出到输入的查找,只要来源坐标有效并选定了重建规则,就会为每个输出像素赋值;它仍然需要插值、屏蔽,以及在适当时的抗混叠。
快速检查
(两个理想半径都是 ,测得半径分别为 和 。求仅用半径的最小二乘估计 及残差。)
解答 · 答案
分子为 ,分母为 ,所以 。两个预测半径都是 ,残差分别为 和 :两个测量并没有都被精确拟合。
快速检查
(有人说,校正图像时必须对每个输出像素解一个三次方程。这对吗?)
解答 · 答案
不对。以理想网格为输出时,对每个输出像素计算正向映射就得到畸变的输入位置,再插值即可。只有要由测得的畸变点反求理想点时,才需要解三次方程 。