动机
不少彩色相机在不同感光位置测量不同的光谱范围。重建后的彩色图像因此同时包含测量值和估计值。前面的 HDR 单元研究强度与曝光;本单元探讨生成彩色图像之前,空间交错的色彩测量。我们用简单的理想化模型,说明为什么看似合理的重建未必由传感器数据唯一确定。
每个感光位置的一次测量
定义 4.1.1
(周期性彩色滤光阵列)
在整数像素坐标 ,使用重复的 排列:偶数–偶数位置为红色,奇数–奇数位置为蓝色,其余两个位置为绿色。假设理想线性传感器记录一个标量 ,其中 是该位置滤光片所选的通道, 是测量误差。去马赛克要估计每个位置缺失的两个通道。
这里的 是传感器通道值,并不自动等于可供显示的 RGB。真实滤光片的光谱灵敏度会重叠;较详细的线性模型将入射光谱能量与所选滤光片的响应相乘后积分。曝光、暗偏移、饱和、光学模糊和传感器噪声也会影响结果。以下计算假设偏移已校正、数值未饱和,而且通道值是线性的。改变排列、坐标原点或边界约定,都会改变所用的邻点。
概念视角结构
马赛克是三个被掩膜的通道图像
等价地,设 为三类位置的 指示图像,它们互不相交并覆盖每个像素,密度分别为 、 和 。于是逐像素有 。去马赛克就是反转一个只在各通道自己的位置上保留该通道的映射;若某通道的改变只出现在这些位置以外,数据便不会改变。
局部插值
定义 4.1.2
(内部绿色位置的双线性估计)
在上述排列中,绿色位置 左右相邻的红色位置是 和 ;上下相邻的蓝色位置是 和 。一个简单的内部双线性估计取
这些是建模选择,并非对任意场景成立的恒等式。在图像边界,若所列邻点不存在,就需要明确的替代规则。
命题 4.1.3
(中点平均的偏差)
设某通道沿一个坐标是二次函数 ,在 与 处有无噪声的样本。则
特别地,对每个仿射通道(),平均值都等于真实的中点值;对 的通道则永不相等。
证明
(展开两个样本)
计算 。把两个值相加,含 的项相互抵消,
两边除以 即得所述恒等式。
证明透视
平均假设了什么
样本位置唯一用到的性质,是相对目标点 对称:它使 的奇次项相互抵消,所以平均值能准确反映通道的常数部分与线性部分。剩下的 是曲率的代价,这就是为什么此规则在局部仿射的通道上准确,对任何弯曲的通道却有误差。对光滑通道,同样的抵消留下与二阶导数乘以 成比例的偏差。
无噪声是另一个独立的假设:有噪声时,平均值也含有噪声,下文会处理。尖锐边缘或振荡纹理在两个样本之间不一定是仿射的:平均值仍可计算,但不一定是真正缺失的值。垂直方向的蓝色也有类似的结论。
例题 4.1.4
(重建一个内部位置)
在 ,设观测到的绿色值为 ,左右红色邻点为 和 ,上下蓝色邻点为 和 。重建的传感器通道三元组为 。例如在线性空间应用增益 ,在任何截断或显示编码之前得到 。增益是明确声明的处理选择;此计算本身并未把色彩校准到显示器。
例题 4.1.5
(红色位置需要对角及四邻点平均)
在红色位置 ,四个边邻点 与 是绿色,四个对角邻点 是蓝色。同一个双线性思路把它们平均。设观测到的红色为 ,绿色邻点为 ,对角蓝色邻点为 。则 ,,三元组为 。
例题 4.1.6
(图像边界上的位置)
设图像占 且 。位置 是绿色,上下的红色邻点为 与 ,左右的蓝色邻点为 与 。像素 并不存在,所以不能套用蓝色的内部公式。采用把缺失邻点关于边缘镜像的规则,即以 代替 。取 、、,得 ,。若改用其他规则,例如补零,则 :边界规则是算法的一部分。
样本无法确定什么
反例模式
两幅不同的红色图像给出相同样本
在无限整数网格上,比较 与 ,并令两者的绿色与蓝色通道相同。每个红色位置的 都是偶数,所以正弦为零,记录到的红色样本相同;绿色和蓝色样本按构造也相同。然而在绿色位置 ,真实红色值分别为 和 ,两者都在 之内。完整的理想马赛克完全相同,所以任何只接收该马赛克的确定性算法,都不可能同时精确恢复两幅原图。
这是可辨识性的限制,并不是说自然照片总是有这种图案。平滑性、边缘模型或学习得来的统计可以提供偏好,但它们都是额外假设。跨越边缘插值可能混合不同表面的数值,产生色彩伪影。只把重建值与用来生成它们的样本比较,本身不能衡量未被观测的通道的准确度。
常见错误
(把重建的 RGB 三元组当作测量值)
在每个像素,三个重建通道中有两个是估计值。在第一个工作例子中,传感器只测量了 ; 与 来自邻点,而反例表明它们可以出错,同时与数据没有任何矛盾。所以,一个能准确重现马赛克的重建,并不能证明完整的彩色图像是正确的。
噪声与处理次序
命题 4.1.7
(两个测量值平均的方差)
设 为测量误差,方差分别为 ,协方差为 。则
特别地,若 独立、均值为零且有共同方差 ,则方差为 。
证明
(方差的双线性)
方差是二次的:,而把随机变量乘以 ,其方差乘以 。对独立误差有 ,且 时得 。
若上面使用的两个红色测量值有独立、均值为零且共同方差为 的误差,它们平均值的噪声方差便是 。这是在所述模型下测量噪声的方差,并不包含非仿射场景造成的插值偏差。相邻的重建像素可能重用同一个测量样本,因而误差相关。例如,若所有不同样本的误差都独立且方差同为 ,两个各以权重 平均、且恰好共用一个样本的平均值,协方差为 。
白平衡增益同时乘上线性通道及其噪声;增益 把噪声方差乘以 。显示编码通常是非线性的,所以在编码之后做同样的平均计算,一般并不等价于先对线性值求平均。在把任何数值结果当作已校准的色彩测量之前,必须明确指定相机处理流程、截断及噪声模型。
常见错误
(在非线性编码之后才做平均)
以平方根作为显示编码的简单替身。两个线性邻点 与 ,线性平均为 ,其编码值为 。先编码则得 与 ,其平均为 。两种次序的结果不同,所以插值应在线性值上进行,编码留待之后。
习题
快速检查
(在所述类型的绿色位置,红色邻点为 与 ,蓝色邻点为 与 ,测量到的绿色为 。求重建的三元组。)
把每对邻点取平均;绿色是测量所得。
解答 · 答案
红色估计为 ,绿色为 ,蓝色为 ,即 。
快速检查
(若两个红色误差独立,方差各为 ,求它们平均值的方差。若协方差为 ,结果有何改变?)
使用 。
解答 · 答案
独立误差给出 。协方差为 时,方差为 。
快速检查
(为什么反例中的两幅红色图像能产生相同的马赛克,却有不同的缺失红色值?)
滤光阵列在哪些位置测量红色?
解答 · 答案
它们的差在每个红色滤光位置都为零,而滤光阵列从不在绿色位置 测量红色。因此在该位置做估计需要额外假设。
快速检查
(在缺少插值邻点的边界,所示的内部公式是否定义了一个值?必须补充什么?)
看看公式列出了哪些邻点。
解答 · 答案
没有。需要边界延拓、单侧估计或另一个指定的规则;每种都会改变有效模型,必须分别评估。
延伸学习
边缘感知去马赛克、色彩校准、噪声协方差、随位置变化的光学模糊及联合 HDR 重建需要进一步分析。本章没有实现生产用的相机处理流程,也不保证特定传感器的色彩准确度。