动机
知道平面产生单应变换,并未告诉我们哪个矩阵对应两张照片。矩阵要从量得的匹配推断,而匹配可能带噪声,甚至完全错误。几何模型、估计器和离群值选择规则是三件事。正确模型可以拟合得很差,不准确模型也可能在小范围吻合得很好。
早前变形笔记已发展射影几何及采样。本节改以未知变换为估计对象,问线性约束如何决定它、坐标归一化为何改善数值尺度却不能补回信息,以及随机稳健采样究竟保证什么。另以已知相机坐标点估计一个小型内部参数模型,清楚分开此问题与未知姿态的一般相机校准。
全景中,重复窗户可能形成很强却错误的一致匹配。同一直边上的点不能约束所有射影自由度;若采样分布永不产生可用配置,增加次数也无法补救。目的是建立可核查的对齐流程,使假设在漂亮叠图之后仍然可见。
定义
定义 1.29.1
(线性约束与代数估计)
有限匹配写作 、。未知 的三行为 。消去齐次尺度,每项匹配给两条线性式:
叠成 ,其中 列出矩阵元素。零向量也满足方程,所以精确估计寻找相差尺度的非零零空间向量。有噪声时,在 下最小化 ,最小奇异值的右奇异向量解此代数问题。所得矩阵仍须检查可逆性及有限分母。
定义 1.29.2
(点的归一化)
两幅图像各自归一化:减去点集质心,再同乘正常数,使到原点的均方根距离为 。原距离须为正,规则才有定义。齐次相似变换记为 ;在归一化点估计 ,再还原
有噪声时,归一化会改代数目标,并非普遍统计最优保证。因坐标变换可逆,它保留精确几何约束。像素重投影残差另为 , 只对最后分量非零的向量去齐次化。
定义 1.29.3
(受限的内参标定)
受限相机校准假设已知比值 、,方形像素、无斜切,未知为共同焦距尺度 与主点 。则 、,是三参数线性最小二乘。未知姿态、畸变或两方向焦距不同,需要另一个模型。
定义 1.29.4
(随机抽样中的良好子集)
稳健采样固定 个匹配,其中 个真正内点。每次均匀抽四个相异匹配的子集;不同次由完整集合独立重抽。只有全为内点,且来源与目标四元组各自有四个相异有限点、各自没有三点共线,才称好子集。这只描述样本内容,不表示带噪声拟合稍后一定赢得评分。
定理 / 命题
定理 1.29.5
(四个射影标架给一维线性零空间)
若四个来源点及对应四个目标点均有限、相异,且各自没有三点共线,则八条线性方程秩八。每个非零零空间向量都重组为同一可逆单应矩阵,相差非零整体尺度。重复或共线配置不满足此定理。
定理 1.29.6
(稳健采样信心取决于实际试验分布)
对上述独立四子集试验,假设 ,令 是全内点子集中非退化的比例。则
若 ,要失败概率不超过 ,需
时没有有限次数足够;等于一时一次足够。这是采样保证,不是所选对齐正确的保证。
常见 对应有放回的独立抽取,不是四个相异匹配子集的精确概率。若程序先剔除退化子集再计次数,被计的一次是条件试验,好概率应为 ,不能直接使用上面未条件化的数值。
证明思路
证明
(由射影标架得到秩为八)
前三个来源点构成齐次基底,第四点在其中三个系数均非零,否则落在两基点的连线。重新缩放基底代表,使第四点等于三者总和;目标亦然。在这些标架坐标中,满足前三项匹配的矩阵必为对角矩阵,暂时容许零对角。第四项匹配再迫使三个对角相等,所以解空间恰为单位矩阵的所有标量倍数。换回原坐标,得到一个零方向、非零可逆代表及秩八。
若第四点的像尺度为零,其三个非零标架系数迫使全部对角零,因此只得到零矩阵。这封住了单靠自由度计数未处理的缺口。八条方程本身不独立证明秩八。
证明透视
标架论证在哪里用到各个假设
每个假设都在特定一处使用。对源点使用“任意三点不共线”,使前三点成为基底,并迫使第四点的三个系数都不为零;对目标点使用,则在另一边得到同样结果。不显然的一步,是把这两个标架当作坐标系。这时九个未知数、八条方程的系统,化为“矩阵是对角且各项相等”,可以直接读出。第四组对应是唯一把三个对角元素连在一起的地方。
若去掉不共线假设,第四点可能有一个系数为零。与缺少的那个基底向量相连的对角元素便不受约束,零空间就变大,正如本节稍后的反例。点的归一化等可逆坐标变换不改变这个秩,所以不能修复退化配置;它们只改善奇异向量计算的数值条件。检查奇异值,可以分辨数学上缺失的方向与只是约束较弱的方向。
证明
(计算良好子集与试验次数)
采样有 个等可能子集,当中 个全内点,再乘有效比例 。每次失败概率 ,独立重复便相乘。取对数得到次数界,须留意分母为负。适应性采样、相依重用或更改匹配集,都要重新建概率模型。
受限相机设计的行是 、。秩三当且仅当所有归一化场景点并非完全相同:齐次扰动须满足 、。若 ,两坐标列均必为常数;只要两点有差,便迫使焦距及两偏移扰动全零。未知姿态的一张平面单应图没有提供这些已知比值,不能直接套此证明恢复一般内部参数。
例题详解
例题 1.29.7
(估计并归一化四项精确匹配)
把 匹配至 。矩阵
满足全部方程,标架定理给尺度外唯一性。来源质心 、均方根距离 ,故尺度二;目标质心 、距离 ,尺度 。归一化矩阵是 ,还原即得上式。此例置中消去平移,并非说所有单应都变成仿射。
例题 1.29.8
(真正解出受限相机参数)
已知归一化点 ,像素是 。首点直接给主点 ,非零坐标给 ,其余方程吻合。相异归一化点保证秩三。若全部点在同一相机光线,增加焦距可由偏移抵销,观察不变。这是在已知姿态受限模型下估实际参数,不是一般相机校准的完整解法。
例题 1.29.9
(子集概率如何改变次数)
,每个全内点四元组均有效,则 。失败至多 需 41 次独立原始试验。误用 会得到 22 次,不适合本相异子集实验。若只有半数全内点子集有效,概率为 ,需 83 次。这假设内点数及有效比例描述固定匹配集;从胜出模型乐观估它们,不会自动产生同一保证。
明确对齐循环可依规则抽子集、拒绝退化、归一化估候选、在预定图像域检查有效性、对全部匹配评几何残差、选一致集再重拟合。最后可用非线性方法最小化几何误差。重拟合或精修改了估计器,因此要报残差定义和门槛,不只报随机次数。
概念视角结构
拼接对齐是一组互相约束的坐标框架
同一几何模型适用时,成对映射沿重叠闭环应一致。三个局部叠图漂亮,仍可产生漂移。固定一幅图像框架,检查闭环与重投影残差,再分清模型失效与个别错误匹配。混合在几何之后处理强度,不能证明框架约束正确。
归一化坐标门槛不自动等于两图相同像素容差。对称转移误差同时用 ,两向分母都须有效。大残差可能来自错误匹配、镜头畸变或真实深度视差;把它们一概当离群值,可能隐藏其实没有单一单应能描述目标场景。
常见错误
反例模式
同一直边再多精确匹配也不能校准整个平面映射
单位矩阵与 在每个 完全一致。一百项线上匹配也分不出它们。归一化或更多试验没有加入第二几何方向。应取得空间分散非退化匹配,或诚实改用目标较窄的低维模型。
常见错误
(相信近乎退化数据给出的奇异向量)
软件例程总会返回一个最小奇异向量,但近乎退化的数据可能令几个奇异值几乎相等,返回的方向并没有确定的意义。应检查整个谱,而不只看这个向量。
常见错误
(把庞大的共识当成真确的证明)
重复图案或单一占优的错误表面,都可以支持一个有许多内点、却具误导性的矩阵。较小的代数残差也不是像素不确定度:坐标尺度与变量含误差的结构都会改变它的意义。
常见错误
(最小二乘有解不等于得到相机)
在所述约定下,拟合出负的焦距尺度是数据或模型出了问题的警号,并不因为最小二乘有定义就成为可接受的相机。若斜切、畸变或姿态未知,应明确地陈述并估计这些量,而不是悄悄沿用一个已知归一化坐标早已不存在的证明。
总结
单应估计由齐次线性约束开始,射影标架论证建立秩条件。归一化改善尺度而保留信息限制;受限相机校准有独立设计秩条件。稳健对齐同时需要几何有效性及符合实现的采样模型,信心次数只测量遇到好样本的机会,不测量最终拼接真实性。
练习
快速检查
(四匹配例把 映至哪里?用归一化及还原验证。为何再加第五项精确匹配也不能移除整体尺度歧义?)
解答 · 答案
得 。归一化点 映至 ,除以 再加目标质心得同结果。不论匹配多少, 同乘非零常数不改去齐次化。
快速检查
(已知归一化点 ,像素 。估 ,并说明横坐标全相同为何仍秩三。)
解答 · 答案
垂直差给 ,故 、、。点在垂直方向不同,齐次扰动论证便迫使 ;共同焦距尺度模型不分别要求水平变化。
快速检查
(,所有全内点四元组有效,求精确好概率及失败至多 的独立原始次数。若五个内点全共线呢?)
解答 · 答案
概率 ,需 63 次。全内点共线时 ,非退化全内点单应样本概率零。只知内点比例,不能建立完整单应的有限信心次数。
快速检查
(原始抽取有 、,求原始与有效接受试验各自好概率,说明两种计次不能互换。)
解答 · 答案
原始一次为 ,接受条件化后为 。接受计次排除部分原始抽取,同一数字代表不同采样量。使用哪种计次,都须符合其独立及条件分布假设,亦不保证稍后一致集选择器选中真模型。