动机
把来源物体放进目标图像时,边界可能出现明显的亮度接缝。我们可以不直接复制每个来源强度,而是寻找一幅图像:其局部差值跟随所选引导场,同时边界符合目标图像。现有合成单元解释了 alpha 和对齐;本单元为选定区域推导另一个梯度域模型。该模型并不保证接缝一定消失。
先考虑线性强度的一个标量通道。在此模型下可以分别处理色彩通道,但逐通道计算本身不能保证色彩在视觉上忠实。
有锚定边界的图模型
定义 5.1.1
(差值与边界值)
设有限的无向像素图中,每条边任选一次方向。对有向边 ,期望差值为 ,重建差值为 。将顶点分为未知的内部顶点与固定的边界顶点,后者具有指定目标值 。固定全部边界值,在内部数值上最小化
方向只是记账选择:若将一条边反向,同时把 改为 ,该平方项便不变。引导场可以来自来源图像,但模型也允许任意、可能互不相容的数值。图与边界约定决定了最小化问题;省略边界边或改变所选区域都会改变问题。
定理 5.1.2
(有锚定时的存在性与唯一性)
若图的每一个连通分量都至少包含一个固定边界顶点,则此二次能量对内部顶点有唯一最小解。
证明
(二次部分正定)
设 为内部数值组成的向量, 为在边界顶点处补零后的延拓。令 ,其中 在边界上等于 、在内部为零,则每一项为 。展开平方得
其中 为对称矩阵, 为向量, 为常数。若 ,则 在每个连通分量上都是常数;每个分量都有一个 的边界顶点,故 处处为零,即 。因此 正定。配方得 ,所以 是唯一最小解。
证明透视
锚点在哪里起作用,在哪里不起作用
锚定假设只用了一次,就是由 推出 的那一步:只有在这里,边界顶点才把常数变成零。引导值 与边界值 只通过 和 进入,所以它们决定找到哪个最小解,却不影响解是否唯一。若某个分量没有固定顶点,该分量上的常数向量就属于 的零空间,论证到此中断,结论也不成立。证明断言的是最小值的存在与唯一,并不是说引导值可以零能量被完全满足。
若一个连通分量没有固定顶点,对该分量每个顶点加上同一常数不会改变边差值;没有额外约束就不可能有唯一解。这是绝对强度的歧义,不是某个求解器的数值缺陷。
例题 5.1.3
(没有锚点的分量)
取两个内部顶点 ,由一条边相连,没有固定顶点,引导值 。能量为 ,沿整条直线 都为零: 与 都是最小解。固定其中一个值,例如 ,该分量就有了锚点,得到唯一最小解 。这个歧义恰好就是对两个顶点同时加上常数的自由度。
完整三边例子
例题 5.1.4
(不能同时满足两个端点的引导值)
取一条含顶点 的线,固定 、,未知量为 。把边由左向右定向,要求引导值 。则
求导得到
解为 、。三个边残差都等于 ,所以最小能量是 。期望差值之和为零,但固定端点之差为一,因此不可能全部精确满足。无约束解也超过 ;若显示范围必须有效,需要另设明确的约束优化。
反例模式
未必能满足每个差值
对于同一条线和端点,若坚持三个差值分别为 ,便会推出 ,与 矛盾。最小二乘解必须分配这种不相容,不能声称残差为零。若引导值改为 ,其和为 ,此时 、 可达到零能量。
从局部方程到求解器
对于内部顶点 ,仅为写出此局部公式,将每条相邻边都向外定向,并以 表示符号一致的期望差值。
命题 5.1.5
(内部方程)
在锚定假设下,唯一最小解在每个内部顶点 处都满足
而任何满足这些方程的数值就是该最小解。
证明
(令偏导数为零)
只有与 相连的边所对应的项依赖 ;对向外的边 ,该项为 。对 的偏导数是 。令它为零,得 ;把边界项 移到右边,就得到所列方程。在锚定假设下,能量是严格凸的二次函数,所以所有偏导数都为零的点就是它的唯一最小解。
反转边时引导值也反号,因此这个局部方程与任何整体定向一致。系数矩阵是有锚定的图拉普拉斯(Laplacian)矩阵。逐通道求解是一种可能的构造,不必明确求矩阵的逆。残差检查可以测试线性方程组是否解好,但小残差不能证明区域、边界、引导场或色彩模型合适。
概念视角分析
离散泊松(Poisson)方程
以 表示图拉普拉斯算子,以 表示 处向外的引导值之和。边界顶点通过 进入,所以内部方程说明:在每个内部顶点处都有 ,且边界上 。这是带狄利克雷(Dirichlet)边界值的离散泊松(Poisson)方程。引导值为零时,方程化为 ,每个内部值都是其邻点的平均,解就是边界值的调和插值。
例题 5.1.6
(零引导值对边界做插值)
取五个顶点 的路径,固定 、,引导值全为零。内部方程为 、、。由第一条得 ,第二条给出 ,第三条给出 。所以 ,是一条直线,每个值都是两个邻点的平均。每条边的残差都是 ,故最小能量为 。
常见错误
(反转边时没有把引导值变号)
设边 的 ,、,其残差为 。把同一条边写成 却保留 ,就得到 。引导值是带符号的差值,必须随方向变号。
常见错误
(以为来源图像的亮度会保留)
设来源区域恒为 ,所以其差值全为零,而目标边界恒为 。内部的唯一最小解是常数 ,能量为零。只有来源的差值被使用,它的绝对亮度被舍弃,整体水平由边界值决定。
边界差异太大可能使整个区域的色彩或亮度发生偏移;引导场中的噪声也会经线性方程组传播。此模型不会自动解决未对齐、遮挡或光照不一致的问题。若强度必须落在 ,应求解相应的约束问题或声明其他后处理规则;直接裁剪无约束解一般会改变其最优性。
习题
快速检查
(在三边例子中,验证 满足两个方程,并计算能量。)
代入两个方程,再代入三个残差。
解答 · 答案
,。每个残差都是 ,因此 。
快速检查
(对同一条线,将引导值改为 ,找出一个精确零能量重建。)
从左端点开始逐步加上差值。
解答 · 答案
各差值给出 、;最后一个差值为 ,三个残差都为零。
快速检查
(若图有两个不相连的分量,而只有第一个分量有固定顶点,为什么整个重建不能唯一?)
若对第二个分量加上一个常数,会怎样?
解答 · 答案
对未锚定的分量加任意常数,所有边差值保持不变,也不影响固定分量,因此唯一性失败。
快速检查
(若反转边 ,应如何改变引导值以保持能量不变?)
比较反转后的重建差值与目标差值。
解答 · 答案
改用方向 ,并把 改为 。重建差值与期望差值都反号,平方误差不变。
延伸学习
混合引导场、稳健损失、强度范围约束、多尺度方法和色彩空间选择都需要进一步分析。本章没有实现生产用融合系统,也没有证明某幅图像的感知质量。