透明像素需要清楚的表示约定
像素可以存一个颜色与一个 alpha,但这四个数不会自行解释意思:RGB 是否已乘上 alpha?色彩是否在线性光空间?alpha 是模型假设的标量衰减,还是省略亚像素结构后的几何覆盖率?混用这些解释,即使程序每个乘法都算对,仍会产生可见错误。
本节先指定模型,推导其正向操作,再问输出能让我们还原什么。最后一问是逆问题:用已知前景合成图像,比从照片中分离未知前景容易得多。
直通色与预乘色存储不同的量
定义 13.1.1
(线性光标量 alpha 图层)
设 是直通 RGB 颜色, 是其 alpha。本节图层模型中,alpha 为前景权重, 则透射下方图层。若下方是已知不透明背景色 ,观察到的线性光颜色为
预乘色定义为 ,预乘图层以 存储,每个色彩通道都满足 。直通色图层则存储 。
以下全部色彩运算都在线性光 RGB 中进行。经显示编码的 RGB,在本节光混合计算前通常须先解码,算完再编码。Alpha 本身是标量权重,并不是应套用显示转换曲线的色彩通道。这些式子指定本节数学模型,没有声称所有图形系统都选用同一混合空间。
若 ,可由 还原直通色。若 ,有效预乘图层必有 ,却无法还原直通色,因为任何 都给出同一个零预乘值。全透明像素所存的直通 RGB 是隐藏数据,不是可见色彩贡献;不可除以零来还原它。
例题 13.1.2
(极小 alpha 下的直通色)
设 alpha 存储为 ,各预乘通道以 为步长,故有效的红分量 。恢复出的红色 :量化只差一级,直通色就由毫无红色变成纯红。该像素对任何合成结果至多贡献 ,所以这个不可靠的颜色同时也几乎看不见。若 ,图层为 ,完全无法还原直通色。
推导两个可能透明图层的 source-over
定义 13.1.3
(Source-over 运算)
设前层为 ,后层为 。前层贡献 ;穿过前层的比例 ,再缩放 B 的贡献。合并透射率是两层透射率的乘积,因此定义
此二元组在尚未选更下方背景前,就表示合并图层。B 不透明时,结果 alpha 为 1,颜色化为 。B 透明时,不能把 或合成结果的预乘色误当直通色。
命题 13.1.4
(Source-over 保持图层有效)
设 且 (对每个颜色通道 均成立),则 也满足同样的不等式。
证明
(逐分量不等式)
令 、,两者都在 内。分量 是非负项之和,故非负。把 乘以 ,再加上 ,得 。新 alpha 为 ,而 是该区间内两数之积,属于 ,所以新 alpha 属于 。
改分组保留结果,改顺序通常不会
定理 13.1.5
(预乘图层的 source-over 具有结合律)
在本标量 alpha 模型中,任意有效图层 A、B、C 都满足
透明图层 是左右单位元,但操作一般不具交换律。
证明
(展开贡献,并把透射率相乘)
写 ,B、C 同理。A 覆盖 B 的合并透射率是 ,所以两种分组都有预乘色
以及 alpha ,因此存储的两部分都相等。把 分别代入两个输入位置,就证明单位元性质。
若有交换律,调换前后层也应给相同颜色,但下例并非如此,所以不存在这条一般规则。结合律只允许在固定前后顺序下改分组,不允许随意排序图层。
概念视角结构
图层是仿射映射
每个图层 在存储的二元组 上定义映射 ,则 。记 ,有
因为 的透射率是 。因此 over 合成就是映射的复合,结合律就是函数复合的结合律。图层可由其映射恢复,因为 ;单位图层 对应恒等映射。整叠图层就是一个仿射映射:斜率 是整叠图层的透射率,在零二元组处的值则是整叠图层的预乘二元组。
这些是精确实数运算恒等式。有限精度计算在不同分组下,可能因为舍入产生些微不同。
例题 13.1.6
(半透明红覆盖半透明蓝,再覆盖白底)
A 为直通红色 、alpha ;B 为直通蓝色 、alpha 。两预乘表示分别是 与 。
A 覆盖 B 得 、。除以 后,其直通色为 。再覆盖不透明白底,得 。
交换有色两层后,B 覆盖 A 的预乘色为 ,alpha 仍为 ,颜色却不同。白底上的结果为 。Alpha 一个数无法记录哪个有色层在前。
先插值贡献,再还原直通色
图像边界会被重采样,所以尚未合成,表示方式就已重要。对 ,两预乘样本的凸插值为
它保留 。只有插值 alpha 为正时才还原直通色。这些结论针对非负且总和为一的权重;含负权重的滤波器需要另作值域与重建分析。
反例模式
不可见端点也会污染直通色平均
一端为不透明红色:、。另一端全透明,却存直通蓝色:、。分开在中点插值直通 RGB 与 alpha,得到 、;覆盖黑底后是 ,不可见蓝色竟产生了可见蓝分量。
若先转预乘数据,两端为 、;中点是 、alpha 。覆盖黑底便得 ,还原直通色则为红色。
预乘在插值前,先把任意隐藏 RGB 从贡献中排除。它不是叫我们把已预乘色再乘一次 alpha。
常见错误
(把预乘色再预乘一次)
设图层以预乘形式存储为 、,其直通色是红色。覆盖黑底时颜色为 。若把已存储的 再乘一次 alpha,得 ,那是 alpha 为 的红色的预乘色,即另一个图层。由直通色转为预乘色只应做一次,并要确认每个函数期望哪种表示。
单一 alpha 不会保留所有亚像素关系
上面的 source-over 式子针对已指定的标量衰减模型。若 alpha 是二元覆盖掩码的像素内平均值,两个标量平均未必说明其重叠。设均匀所选亚像素位置的掩码为 ;并集覆盖率是
常用标量 alpha 式子把最后项改为 。对掩码来说,这需要相应重叠假设,例如两掩码独立,并非任意相关情况都成立。渲染器若已丢弃亚像素重叠数据,不能只从两个 alpha 还原它。此表示限制,并不推翻已定义标量模型中的结合律。
常见错误
(把标量 source-over 当作并集覆盖率)
标量 source-over 在 时给出 alpha 。但两个各覆盖半个像素的掩码,重合时恰覆盖 ,不相交时覆盖 。 是标量模型的答案,并不是并集覆盖率的度量。
抠图反向求解,但答案未必唯一
合成已知图层,计算 I;抠图(matting)则尝试由 I 推断未知 alpha,往往连前景也未知。同一条正向公式不会自动给出反函数。
定义 13.1.7
(抠图问题)
给定观察到的线性光颜色 与背景 ,抠图要求 与 满足 。若恰有一对这样的解,问题便可识别。
例题 13.1.8
(单一灰度观察允许很多 alpha)
已观察灰度 ,已知黑背景 ,所以 。 与 都能解释观察。其实每个 配上 都有效。
下端点来自 ,这要求 。知道背景确实限制了可能性,却未识别唯一前景或 alpha;还需要额外观察或假设才能选出其中一个。
较简单且可识别的情况是 F 与 B 都已知。设 、,模型变成 。
命题 13.1.9
(由已知前景与背景色求 alpha)
设 已知,、,并令
(a) 若某个 满足 ,则 。(b) 在 上, 的唯一最小点是 。
证明
(内积与配方)
(a) 把 与 作内积,得 ,而 。
(b) 配方得
最后两项与 alpha 无关,第一项是在 处取最小值的严格凸二次式。因此在 上的最小点是区间内最接近 的点,即 ,且唯一。
证明透视
论证各部分的作用
(a) 只依靠一条标量方程,由向量方程与 作内积得到。它是必要条件而非充分条件:算出 后,仍须逐通道检查 。(b) 才是非例行的一步。配方把损失分成两部分:只通过 依赖 alpha 的一项,以及一个常数,即 在 正交方向上分量的长度平方。这个常数恰在 时为零,所以精确解就是最小值为零的情形;与 正交的通道方向会改变损失,却不会改变 ,最后一道练习便是一例。论证需要 ,使 。它解的是前景 F 已知时所选的损失,对未知 F 没有说明。
要确认精确解,还须检查 ,以及每个通道都满足 。标量投影本身不保证观察色在线段 BF 上。若 ,所有 alpha 都预测同一个 B; 时 alpha 无法识别, 时则没有无噪声 alpha 能解释观察。
附解答练习
快速检查
(前景存直通色 、alpha 。求其预乘表示,以及覆盖不透明背景 的颜色。结果 alpha 是多少?)
只预乘一次,再套用 source-over。
解答 · 答案
预乘色为 ;source-over 得 。结果 alpha 为 ,所以此色也是最终不透明结果的直通 RGB。若把 p 再乘 ,会重复计入 alpha,错误压暗前景。
快速检查
(用例题半透明红 A、半透明蓝 B、不透明白 C,先算 B 覆盖 C,再让 A 覆盖结果,并与 (A 覆盖 B) 覆盖 C 比较。若交换 A、B 又如何?)
先把 B 和 C 分在一组。
解答 · 答案
B 覆盖 C 得不透明色 ;A 再覆盖,得到 ,与 (A 覆盖 B) 覆盖 C 相同。交换 A、B 后白底结果为 。分组保留结果,前后顺序通常会改变它。
快速检查
(两个二元掩码各覆盖半个像素。若恰覆盖同一半,或分别覆盖不重叠的两半,真实并集覆盖率各是多少?与两个 alpha 都是 的标量 source-over 比较。)
并集覆盖率等于两个覆盖率之和减去交集。
解答 · 答案
同一半时,交集覆盖率为 ,并集为 ;两半不相交时,交集为 0,并集为 1。标量 source-over 则给 。两个边缘 alpha 不能决定交集;标量结果采用自身重叠/衰减模型,不是上述两种几何配置都适用的精确并集计算。
快速检查
(已知 、,先求 的 alpha,再把 改为 。投影改变吗?第二观察是精确解吗?若改成 又如何?)
计算 ,再投影到 上。
解答 · 答案
的范数平方是 2。第一观察有 ,所以 ,且 ,是精确解。
改变的绿通道与 D 正交,所以投影仍是 ,也已在可行区间;但残差为非零 。因此这是最小二乘估计,却没有精确 alpha 可以从已知前后景产生非零绿通道。若 ,全部 alpha 预测同一颜色;观察等于它时 alpha 无法识别,不等于它时则与无噪声模型不相容。