动机
窗外可能比室内亮许多倍。短曝光能记录户外,室内却接近噪声底;长曝光能看清房间,窗口却饱和。问题不是世界缺少颜色,而是有限测量范围不能在同一曝光下可靠记录所有辐照度。高动态范围成像把有效范围互补的测量结合。
合成测量图与最后显示照片各有目的。辐射度量图旨在保留相对光量,色调映射图像则要配合显示器及传达外观。让暗部细节更容易看见,可以有用,但不会创造额外测量信息。若把色调映射后数值当成辐亮度,再做照明或物理合成,就可能失去一致性。
图像照明让差别更具体。环境图中的一个亮像素可能是很小但强烈的光源,大量中等像素则可能是广阔天空。它们的贡献取决于辐亮度、角范围与表面方向。外观漂亮但高光被截断的全景,不一定是可靠照明测量。本节把取得图像、统计估计、显示映射和简单渲染积分连起来,同时保留各自假设。
定义
定义 1.3.1
(线性曝光测量与相机响应)
固定感光像素观察静态场景,令 是已校准单位的感光面辐照度。曝光时间 ,扣除黑电平后的理想线性测量为
实际传感器有饱和上限与低信号噪声底。存储编码也可能是 ,之后再量化或截断。只有在未饱和、响应可逆的范围,反解相机响应才有意义。任意图像编辑流程更未必能用一条共用标量响应描述。
定义 1.3.2
(场景与传感器的动态范围)
场景动态范围是相关最大与最小正辐射度量值之比。传感器的可用动态范围还取决于饱和界限及指定的最低可接受信噪比。零不能作有限比值的分母。增加位深度能提供较细编码,却不会自动减少感光噪声或避免高光饱和。
定义 1.3.3
(加权曝光估计量)
对一个固定像素及有效线性测量,令 ,选确定性权重 且 ,定义
“确定性”在此很重要:若权重或剔除规则由观察中的噪声数值决定,估计期望可以改变。实际 HDR 流程除了理想估计式,还须处理选样、对齐及场景移动。
定义 1.3.4
(全局色调曲线)
全局色调曲线把非负场景值映至显示值。一个简单模型先设 ,其中 是曝光尺度,再用 ,输出在 。显示编码是其后另一项变换,并非物理辐照度估计的一部分。
定义 1.3.5
(环境贴图的漫反射照明)
环境照明中, 表示表面从单位方向 接收的入射辐亮度。漫反射率 的 Lambert 表面,其出射辐亮度为
这里假设环境图代表局部入射照明,可见性已纳入 或假设没有遮挡; 是单位法向量。积分使用立体角,而不是对图像像素作无权计数。
定理 / 命题
定理 1.3.6
(独立零均值噪声下的加权曝光估计)
假设 ,误差独立、方差 ,曝光时间已知且为正,没有截断,权重固定如上。则 无偏,而且
在所有 的无偏线性组合中,归一化权重取正比于 时方差最小,等于 。
定理 1.3.7
(常数环境给出正确漫反射尺度)
若所有方向 、表面无遮挡,并适用上述 Lambert 模型,则每个单位法向量均有 。特别地,
这是数值环境照明的归一化检查,不代表所有真实表面都是 Lambert 表面。
估计定理说明在指定模型下如何结合测量,并没有说曝光愈长必定愈好。饱和使线性方程失效,移动破坏共同场景值,而实际方差可依赖曝光与信号。照明定理也只分离出一种材质模型。镜面反射需要带方向的反射函数,不能只套用漫反射公式。
证明思路
证明
(无偏性、方差与最优权重)
每项曝光归一化测量满足 ,故期望是 ,归一化加权和仍无偏。独立性令协方差交叉项为零,得到方差式。对任意 的归一化系数,设 。Cauchy–Schwarz 不等式给出
等号要求 正比于 ,所以 ,且这些最佳系数非负。若误差相关,会多出协方差项,最佳组合亦会改变;重复拍摄并不自动提供独立信息。
证明透视
哪些操作保留无偏估计保证?
证明需要共同未知值 、未饱和线性测量,以及不依赖测量噪声的固定权重。除以曝光能校正已知乘法变化;截断是多对一操作,不能靠相除还原。若因含噪声数值超过门槛而剔除样本,保留样本的噪声分布已被条件化。因此本定理是设计估计器的基准,不是所有曝光融合方法的普遍保证。
证明
(余弦积分的归一化)
对漫反射归一化,把坐标旋转至 是北极。可见半球上 ,而 ,所以
乘以 即得结论。 是立体角的一部分;在经纬环境图省略它,会过度计算两极,即使存储像素的长方形面积都相等。
未知响应可以对数形式写为 ,其中 、。若 和全部 同加常数 ,方程不变。固定一个响应值可移除代数尺度自由度,但不会提供绝对物理校准。从有限观察共同恢复响应与辐照度,仍需要足够曝光重叠和适当约束;只定尺度并不足以证明任意响应函数可唯一识别。
例题详解
例题 1.3.8
(曝光归一化与失效高光)
取时间 、,扣黑电平测量 、,个别辐照度估计是 和 。若测量方差同为 ,最佳权重比是 ,故 ,预测标准差 。若传感器在 截断,第二项只记录 ,便不再是同形式的线性测量。把 当成准确辐照度,只是隐藏已失去的高光信息。
例题 1.3.9
(色调映射改变平均的意义)
场景值 、,辐射度量平均是五,。分别映射后才平均,得到 。两者明显不同。因 ,曲线是凹的,会系统性改变平均关系。两个显示结果都不是额外物理测量。若目的是线性光混合或动态模糊,应先结合辐射度量,再把结果作色调映射。
例题 1.3.10
(微小光源仍能主导照明)
用两个角单元近似环境。小单元辐亮度 ,占 球面度,余弦因子一;广阔单元辐亮度一,占一球面度,余弦因子 。其辐照度贡献约为一及 。细小亮源的贡献反而两倍。若 ,只计这两单元得 。把高光截至一后,其贡献变成 ,照明便严重低估。这是两单元求积示范,不是余弦在有限单元内变动时的精确积分。
经纬环境图可用中心近似立体角 ,或纬带精确面积 。辐亮度乘立体角再乘截断余弦,给出漫反射求积。只有角信号和网格足以解析重要光源时,细化才可改善近似;未解析的太阳仍可能漏掉。旋转环境时要旋转方向,不是任意重新解释像素索引。
概念视角分析
色调曲线以相对对比换取显示范围
由 ,曲线严格递增,保留大小次序。但对 ,对数斜率 ,亮部相对对比压缩得更强。单调不等于保留对比。局部色调方法还会使用邻域统计,可能提升细节,也可能出现光晕或改变不同区域的排序。
常见错误
反例模式
增加存储级数不能还原饱和测量
假设传感器报告 。在 , 和 都得到一。把此数改存为 16 位或浮点,两场景仍不可区分。额外短曝光若未饱和,可能区分它们;单纯增加文件精度,不能反解多对一的取得步骤。
常见错误
(平均非线性编码,却当作平均辐亮度)
不要把非线性的相机编码取平均,再称之为平均辐亮度;响应编码值也不能在线性化之前就除以曝光时间。色调映射后的值同样适用这个警告:在上面的例子中,把映射后的值取平均得 ,而辐射量平均值映射后是 。
常见错误
(亮度曲线之后才逐通道截断)
把三个通道乘以同一个正因子会保持它们的比例,但之后逐通道截断就不会。颜色 在一处截断后变成 ,红绿比由 变为 。因此,单靠标量亮度的论证,并不保证真实显示器上色调不变。
常见错误
(运动场景的多次曝光不是重复观测)
场景移动也是估计问题。一片移动树叶可能让同一像素在连续曝光中观察不同表面。完全知道曝光时间,也不能把它们变成同一 的重复测量。对齐、去鬼影或选定参照拍摄都加入额外模型,应与方差公式分开评估。
总结
HDR 取得在校正曝光及相机响应后结合互补测量。最简线性估计在明确噪声及有效性条件下有无偏与方差保证。色调映射为配合显示而改变辐射度量关系,概念上应与重建分开。图像照明以立体角和方向加权辐亮度,所以未截断高光与正确角采样,在数学上直接影响结果。
练习
快速检查
(两项独立未饱和测量的曝光时间为一及二,测量噪声方差均为 。求个别辐照度估计的最佳归一化权重及结果方差,并与等权重比较。)
解答 · 答案
归一化测量方差是 及 ,逆方差权重为 ,结果方差 。等权重方差 ,较大。比较只依据题设相同测量方差,没有假定所有真实传感器的噪声与曝光无关。
快速检查
(在 验证共同加常数的歧义。若 加 ,恢复辐照度怎样改变?归一化本身会提供物理单位吗?)
解答 · 答案
把 换成 ,每条方程不变。 时,指数化后 。响应归一化只选定一个尺度代表;物理单位需要外部校准,把此尺度连到量得的辐照度或辐亮度。
快速检查
(求 、,比较显示比与场景比,并直接证明 保留非负输入的次序。)
解答 · 答案
结果为 及 ,比值 而非三。对 ,。因此严格次序保留,但比例与对比一般不保留。
快速检查
(常数环境辐亮度二,漫反射率 ,求出射辐亮度。某数值规则却作无权求和,每个环境像素细分为四个同辐亮度像素后,结果变成四倍。为何它不能一致近似上述积分?)
解答 · 答案
定理给 。细分没有改变物理环境,正确求积须使用每个单元更小的立体角。无权和只在重复计算样本;仅因重新参数化便倍增,显示缺少积分权重。余弦因子同样必要,不能只用总样本数代替。