动机
把人物放到新背景,看似只需剪出轮廓;但细看头发、玻璃或动态模糊,像素颜色往往已混合多个表面。硬性前景遮罩无法描述这些边缘。反过来,一张柔和遮罩也未提供前景本身的颜色,因为存储像素可能已混入原背景。合成把已知图层结合;抠图则反过来估计产生观察的图层。两者公式方向相反,所需信息也大不相同。
全景拼接有相关问题。两张图像即使几何对齐,仍可能亮度不一致、有行人移动,或看见物体不同侧面。重叠处平均能减轻小幅亮度跳变,也可能产生半透明双重人物。因此需要分开坐标对齐、光度校正、可见来源选择和混合。把一切都称为“消除接缝”,会掩盖方法成功或失败的原因。
以下采用线性光 RGB,并假设图层已在同一色彩空间与坐标系统中。显示编码的逐通道平均,通常不代表同一物理混合。文件都有三个通道、尺寸相同,也不能保证以上假设成立。先建立一致表示,才有理由比较或结合数值。
定义
定义 1.2.1
(抠图方程)
单一像素的基本抠图方程为
其中 分别是观察、前景及背景的线性色彩。简单像素模型可把 理解为部分覆盖率;若把它理解为光学不透明度,还需要关于透射及色彩的额外假设。有色玻璃未必能由一个标量 alpha 准确表示。此式是一种模型,不是所有光学互动的普遍定律。
定义 1.2.2
(预乘图层与 over 运算)
非关联色彩或直通色彩存储 ;预乘色彩则存储 ,其中 。当 且 有界,预乘色彩必为零,而直通前景色对可见合成没有作用。对预乘图层 和 ,定义有次序的 over 运算:
结果仍是预乘图层。最终不透明背景的 alpha 为一。这条规则表达前方图层如何衰减后方贡献。若以子像素覆盖解释 alpha,而各层遮罩彼此相关,未覆盖比例的简单乘积可能需要更细致的可见性模型;代数运算本身则有清楚定义。
定义 1.2.3
(羽化混合与接缝选择)
拼接把来源图像 变形至共同坐标域,各有有效遮罩 。羽化混合选非负权重 ,无效区域权重为零,并定义
于分母为正的位置。归一化保留常数图像。接缝选择则先决定哪个区域采用哪个来源,再混合过渡。当观察因物体移动而不一致,选择与平均实际解决不同问题。
定理 / 命题
定理 1.2.4
(预乘 over 有结合律,但有前后次序)
对 alpha 均在 的预乘图层 ,
共同 alpha 是 。一般没有交换律:调换前后次序可保持 alpha 不变,却改变色彩。
定理 1.2.5
(两个已知背景可以识别遮罩)
假设两次无噪声拍摄已对齐,共用相同前景 与 alpha,并采用已知且不同的线性背景色 :
则
若 ,唯一前景色为 。若 ,alpha 可识别,前景色则不可识别。不符合模型的数据未必给出 ,残差也未必为零。
此结果解释为何有意更换背景有用,却没有保证任意两张照片足够。前景移动、照明改变或相机响应不同,都可破坏“相同前景”假设。两个背景若非常接近,分母很小,估计会对噪声敏感。精确算术下可识别,不等于数值上稳定。
证明思路
证明
(三层的透射率计算)
写 为前层透射率。两层合成的色彩是 ,透射率是 。三层无论如何加括号,均得
结合律来自分配律与标量乘法的结合律。这也说明为何可以把一组图层缓存成单一预乘图层,再放到其他背景上。但不能任意重排:每个色彩系数取决于前方有哪些图层。
证明
(把两次拍摄相减)
抠图定理则先把两项观察相减,前景未知项消失,留下 。与非零背景差取内积,即得 。只有 alpha 非零才能再除以它恢复 。有噪声时,同一公式最小化 。若限制 ,把标量最小值截至此区间便可。垂直背景差方向的残差,反映模型不能解释的不一致。
证明透视
未知数计数提出警告,相消才提供解法
一个 RGB 观察只有三条标量方程,却有七个未知量:前景三通道、背景三通道及 alpha。背景已知仍有四个未知量。平滑性、三分图或学习统计都加入额外假设,并非像素方程自动提供。第二个受控背景之所以有用,是因相减能一次消去三个前景未知量。反问题需要独立信息,并非只需更复杂的优化器。
拼接的曝光匹配也有尺度自由度。假设对应正强度满足 ,其中 是每幅图像增益, 是共同场景值。令 ,便有 。所有 同加常数,差值不变。若重叠图连通,固定一幅图像增益即可消除此歧义:两组解之差沿每条边相同,从固定顶点传至全图便只能为零。互不相连的图像群则需要各自锚点或额外观察。
例题详解
例题 1.2.6
(图层次序与预乘色彩)
半不透明红层为 ,蓝层为 。红在蓝上得 ;蓝在红上得 。再置于不透明黑背景,预乘色彩已是最后可见色彩。除以 会得到整组的直通前景色,那是另一个量。两种次序 alpha 相同,因未覆盖比例相乘,但色彩不同。
例题 1.2.7
(由受控背景恢复前景)
取 、,观察为 与 。观察差 正好是背景差的一半,所以 ,alpha 为 。前景 。改用蓝背景 ,预测合成色为 。只把原像素 复制到新背景,会遗失应透出的背景贡献。
例题 1.2.8
(羽化平均产生鬼影)
同一已对齐位置,在图像一是强度一的移动亮物体,在图像二却是强度零的暗背景。相等权重得 ,既不是任一观察中的物体外观,也不是背景外观。平滑改变权重,只让鬼影渐淡,未决定画面应表现哪个时刻。若接缝能绕过物体而不在别处引入更大跳变,选择一个一致来源便可避免双重曝光。几何对齐本身不能作此时间可见性决策。
滤波是使用预乘色彩的另一理由。在透明边界插值直通色彩,可能把本来不可见的任意颜色混入可见像素。同时插值 与 alpha,才保持指定模型下的加权图层贡献。如之后需要直通色,只能在 alpha 正值处相除;近零位置仍会数值敏感,而其可见贡献通常很小。
概念视角结构
拼接在成为图像前先是一张约束图
每幅照片是顶点,可靠重叠是一条带几何及光度约束的边。逐对变换在局部合理,长链仍可能累积漂移。闭环提供一致性检查:沿环走一圈应近似回到原坐标框架与曝光。联合调整利用多余边分配误差。混合发生在约束估计之后,不能反过来证明约束一致。
实际可先估计变换并查看重叠残差,再补偿合理曝光差,绕过不一致区域选接缝,最后混合余下过渡。多尺度混合可把低频差异分散至较宽区域,高频细节则在较窄接缝切换。这能改善外观,却不是几何正确性的证明。强视差可能需要深度感知变形,或改变拍摄方式。
常见错误
反例模式
背景已知仍不能由单张观察决定 alpha
考虑一个标量通道,背景为零,观察 。 和 都满足方程,且所有值均在 。因此有效色彩界限加上已知背景,仍不保证唯一抠图。修正后的说法需要更多信息,例如已知前景色、额外受控拍摄或有理据的空间约束。
常见错误
(分割置信度不是 alpha)
不要把分割概率当作物理混合系数。分类器认为某像素属于人物的信心,描述的是认知不确定性;alpha 描述指定合成模型中的混合贡献。两者可能相关,却不能无条件替换。三分图把区域标为确定前景、确定背景和未知区,也不会自动补出未知色彩。
常见错误
(羽化不能修补几何或光度问题)
羽化不能修补镜头畸变、缺少覆盖、移动主体,或违反平面模型的视角变化。全图平均亮度相同,也不代表每处光度吻合;阴影与暗角可以空间变动。增加参数前先观察残差形状,否则灵活曝光模型可能在吸收几何错误或场景变化,而不是描述相机增益。
总结
预乘合成有带次序的结合代数,让图层分组和滤波保持一致。抠图反解混合方程,在缺少额外信息时不适定;受控背景变化可提供信息,但仍受对齐、可见性及稳定性限制。拼接需要分开几何、光度、来源选择和混合,并用重叠约束的一致性作证据,而非只依赖平滑外观。
练习
快速检查
(合成预乘标量图层 和 ,求色彩与 alpha,再置于不透明白背景。用三层展开式验证。)
解答 · 答案
组合色彩为 ,alpha 为 。置于白背景得 。直接展开为 。输入已预乘,不能再把存储色彩乘一次 alpha。
快速检查
(两次标量拍摄有 、、、。求 alpha 与前景,并预测零背景下的合成。)
解答 · 答案
背景差 ,观察差 ,所以 ,alpha 为 。前景为 。零背景合成为 ;代入第二幅得 ,核对无误。
快速检查
(已知 alpha 和背景,以 恢复前景。观察误差 如何传入 ?取 ,比较 alpha 为 及 。)
解答 · 答案
固定 alpha 和背景后,。两种误差幅度分别为 及 。接近透明时,直通前景可非常不确定,即使其可见预乘贡献仍稳定。若 alpha 也由数据估计,它的误差还会带来其他项。
快速检查
(三幅图像形成连通重叠链,精确对数增益差为 、。固定 ,求增益。新增边 应是多少?不一致究竟证明了什么?)
解答 · 答案
,,故增益为 。闭合边应报告 。若不符,便证明共享增益的精确模型与全部边测量不能同时成立,但未指出哪条边错;噪声、错误匹配与非均匀照明都是不同可能原因。