几何对齐不等于外观一致
全景图像即使已经几何对齐,两张照片的交界仍可能出现明显的亮度带。在选择接缝或混合像素之前,我们可以利用各图像的重叠区,估计每张图像所需的乘法修正。本节给出一个有限而可复算的模型;单一增益不能消除暗角、物体移动、局部光照变化或错误的几何变换。
假设我们比较的是已配准图像的一个线性光强通道。对图像 中观察到的场景点 ,写成 ,其中未知的曝光因子 在同一图像内为常数,而共同场景光强 。排除饱和、被黑电平截断、移动、被遮挡或没有有效数据的样本。这个理想模型假定相机响应和黑电平已被校正;经伽马编码的像素值通常不满足此模型。若相机响应未知,用此方法估计增益只是近似,并非物理校准。
定义 1.20.1
(两张图像之间的对数曝光比)
目标是找正增益 ,使不同图像的 在重叠处一致。令 。对有方向的重叠边 ,其有效匹配点集合为 ,权重 均为正,定义
理想情况下,校正后的对数光强相等,因此 。检查符号:若 比 亮两倍,则 ,因此 的校正增益应是 的两倍。反转边的方向会把 变号。对数空间的加权平均相当于亮度比的加权几何平均,一般不等于算术平均亮度之比的对数。
常见错误
(把有向边的符号弄反)
因为 且 ,较暗的图像得到较大的增益。设图像 1 的亮度是图像 2 的两倍,即重叠处 ,并固定 。正确的选择是 ,得 。若把约束写成 ,则 ,:校正后两者相差四倍,而不是原来的两倍。
例题 1.20.2
(重叠样本的加权对数比)
设重叠区 有三个匹配样本。样本 A 为 ,权重 ;样本 B 为 ,权重 ;样本 C 的 ,因为第二台相机在该处被截断到黑电平。样本 C 要排除: 没有定义,而且这个样本提供不了关于比值的可用信息。剩下的对数差为 和 ,所以
这是亮度比的加权几何平均 的对数。加权算术平均之比为 ,其对数约为 。两个估计不同,是因为算术平均由较亮的样本 B 主导。
概念视角结构
为何只能观察相对亮度
把所有增益乘上同一正数,校正后的比值不变。数据本身无法决定绝对输出亮度。固定 只是选图像 1 作参考,并非发现了物理上特殊的曝光。之后可以整体调整曝光或色调,这会同时改变所有增益。
图上的最小二乘问题
定义 1.20.3
(重叠图、关联矩阵与目标函数)
以图像作顶点,有至少一个有效匹配的重叠区作边。每条边 配一个有限正权重 ,表示选定的可靠程度。构造关联矩阵 :第 行在第 列为 、第 列为 ,其余为零。目标函数为
其中 是对角矩阵。
正规方程为 ,再加上锚定条件。实际计算时可删去 的第一列,以 QR 方法求解所得满列秩最小二乘问题;正规方程方便证明,但会令条件数平方。权重必须事先说明:大量互相关联的像素不自动等同于同样数目的独立观测。
定理 1.20.4
(锚定后的存在性与唯一性)
对有限连通重叠图,若每条边的权重有限且为正,锚定目标函数恰有一个最小点。若不锚定,最小点只相差一个共同加法常数。若图不连通,每个连通分量各有一个独立常数。
证明
(锚定正规矩阵的正定性)
令 为删去第一列的 。若 ,把 补成 的向量 。每条边上都有 ,由连通性得所有 ,所以 列满秩。对任意非零 ,
因此 正定且可逆,锚定后的目标函数有唯一驻点 。目标函数是二次函数,其 Hessian 矩阵与 成比例,且在 处梯度为零,故 ,其他任何点的值都严格更大。没有锚定时, 当且仅当 在每个连通分量内为常数;加上这些常数不改变目标值。一个锚点只消除它所在分量的常数。
证明透视
唯一性论证中各项假设用在何处
连通性只用一次:它把 变成 ,因为每条边上差值为零,锚点的取值就传到每个顶点。正权重也只用一次:只要某个 ,就保证 严格为正。去掉连通性,第一步就会具体地失效:若图像 1、2 重叠,图像 3、4 重叠,没有其他边,则 、 的向量满足 ,所以 有非零核, 是奇异矩阵。论证从未用到权重的大小:唯一性不取决于权重怎样选取,不过最小点本身取决于权重。
命题 1.20.5
(精确拟合与环和)
设重叠图有限,边 带有方向,测量值为 。存在向量 使每条边都有 ,当且仅当在每个环上,沿边方向走过的那些边的 之和,减去逆着边方向走过的那些边的 之和,等于零。
证明
(裂项相消与路径无关性)
必要性:沿环 走一圈,差值 裂项相消为零;每个差值依边是顺着还是逆着方向被走过,分别等于 或 。充分性:在每个连通分量内取一个基准顶点,令其值为零,并把其他顶点的值定义为沿一条由基准顶点到该顶点的行走所累加的有符号测量值。终点相同的两条行走,把其中一条反向后接起来就是一条闭合行走。闭合行走可以分解为若干个环,以及同一条边来回各走一次的配对,后者相互抵消,所以它的有符号和为零,从而所定义的值与行走的选择无关。把到达顶点 的行走再经边 延长,就得到到达 的行走,所以每条边都有 。
树没有环可供检查,任何边测量都能精确拟合,即使测量本身有误。
真实测量未必符合上述理想前向模型:噪声、移动和模型误差都可能使环上的测量互不一致。以下例子因此不再假定模型完全符合数据。
三张图像构成的环
例题 1.20.6
(分配不一致的环误差)
假设三条边同权,测量为 、、,单位均为自然对数。前两条边表示总差为 2,第三条却表示 3。取 ,最小化
令偏导数为零,得 和 。故 、。三个“预测减观测”残差分别为 、、,目标值为 。增益为 ;它们是相对增益,而非三个场景辐亮度估计。反转最后一条边时,其矩阵行和测量值同时变号,目标函数及解保持不变。
例题 1.20.7
(树总能精确拟合,即使测量有误)
取三张图像,只有边 和 。令 ,测量值为 、,取 就使两个残差都为零。若第二个重叠区含有配准错误的物体,得到 ,取 目标值又是零。这里残差为零,只说明树中没有环可让不一致显现出来,并不说明测量正确。再加上边 ()就成为一个环,其有符号和为 ,错误就会以非零的目标值显现出来。
反例模式
增益无法修补局部不匹配
设两个对应像素在图像 1 的值为 ,在图像 2 的值为 。令第一对相等要求 ,令第二对相等却要求 。没有常数增益能同时满足两者。最小二乘解只是一个折中,低平均残差也可能掩盖严重局部误差。应查看残差图及有效区域掩码,而不只查看拟合增益。移动物体或配准失误也可产生同样现象,并不必然是曝光改变。
从模型到可用拼接
先选定通道和工作色彩空间;各色彩通道使用互不相关的增益可能改变色彩平衡。以明确的插值方法和有效区域掩码,将每张图像变换至共同区域。排除截断样本并谨慎选定强度门槛:零的对数无定义,接近黑电平时相对不确定性也会放大。只用剩下的同一场景点估计每对图像的对数比。稳健统计量或稳健优化可减少离群值影响,但必须说明其目标函数和参数;上面的二次目标唯一性定理不会自动适用于所有稳健损失。
常见错误
(把饱和样本留在重叠区内)
设 、,即 、,每个未被截断的比值都是 。若传感器在 处饱和,场景光强为 ,则图像 1 读到 、 和 ,最后一个是 被截断后的值。三个比值为 、、,等权对数平均为 ,相当于比值约 而不是 。被截断的样本把估计值拉向零,所以在计算 之前要先排除这类样本。
建立重叠图并检查其连通分量。每个分量锚定一张图像;若无额外信息,各分量之间的相对亮度仍无法确定。求解后取 的指数得到增益,再检查边残差和重叠区内的空间差异图。方向相反的局部误差可令某条边的平均残差为零。大的环残差提示测量互不一致,不能单凭它断定某张图像有错。最后选择接缝并混合;曝光补偿应在合适的线性表示中进行,然后才编码供显示。增益可能使数值超出显示范围;截断或色调映射是另一个可能损失信息的步骤。
练习与解答
快速检查
(两张图像在每个有效匹配处都有 、。令 ,求 。)
解答 · 答案
,故 、;两者校正后的强度都是 。
快速检查
(图像 1 与 2 重叠,图像 3 与 4 重叠,没有其他边。需要多少个锚点才能使解唯一?)
解答 · 答案
两个,每个连通分量一个。只固定 ,仍可以自由改变 的共同偏移。
快速检查
(边 、、 的测量值为 、、。是否存在精确的锚定解?)
解答 · 答案
存在,因为 。令 、、,目标值为零。
快速检查
(两对等权的匹配像素,其对数差分别为 和 。 是多少?这说明像素一致吗?)
解答 · 答案
平均值为零,但两个差值非零且符号相反。增益比取一时两对像素都不匹配,因此应检查各个残差。
快速检查
(某个锚定解为 。若改以 作锚点,解是什么?)
解答 · 答案
每一项都减去 ,得 。所有差值与残差不变,全部增益则乘以 。