動機
窗外可能比室內亮許多倍。短曝光能記錄戶外,室內卻接近雜訊底;長曝光能看清房間,窗口卻飽和。問題不是世界缺少顏色,而是有限量度範圍不能在同一曝光下可靠記錄所有輻照度。高動態範圍成像把有效範圍互補的量度結合。
合成量度圖與最後顯示照片各有目的。輻射度量圖旨在保留相對光量,色調映射影像則要配合顯示器及傳達外觀。讓暗部細節更容易看見,可以有用,但不會創造額外量度資訊。若把色調映射後數值當成輻亮度,再做照明或物理合成,就可能失去一致性。
影像照明讓差別更具體。環境圖中的一個亮像素可能是很小但強烈的光源,大量中等像素則可能是廣闊天空。它們的貢獻取決於輻亮度、角範圍與表面方向。外觀漂亮但高光被截斷的全景,不一定是可靠照明量度。本節把取得影像、統計估計、顯示映射和簡單渲染積分連起來,同時保留各自假設。
定義
定義 1.3.1
(線性曝光量度與相機響應)
固定感光像素觀察靜態場景,令 是已校準單位的感光面輻照度。曝光時間 ,扣除黑電平後的理想線性量度為
實際感光元件有飽和上限與低信號雜訊底。儲存編碼也可能是 ,之後再量化或截斷。只有在未飽和、響應可逆的範圍,反解相機響應才有意義。任意影像編輯流程更未必能用一條共用純量響應描述。
定義 1.3.2
(場景與感光元件的動態範圍)
場景動態範圍是相關最大與最小正輻射度量值之比。感光元件的可用動態範圍還取決於飽和界限及指定的最低可接受訊噪比。零不能作有限比值的分母。增加位元深度能提供較細編碼,卻不會自動減少感光雜訊或避免高光飽和。
定義 1.3.3
(加權曝光估計量)
對一個固定像素及有效線性量度,令 ,選確定性權重 且 ,定義
「確定性」在此很重要:若權重或剔除規則由觀察中的雜訊數值決定,估計期望可以改變。實際 HDR 流程除了理想估計式,還須處理選樣、對齊及場景移動。
定義 1.3.4
(全域色調曲線)
全域色調曲線把非負場景值映至顯示值。一個簡單模型先設 ,其中 是曝光尺度,再用 ,輸出在 。顯示編碼是其後另一項變換,並非物理輻照度估計的一部分。
定義 1.3.5
(環境貼圖的漫反射照明)
環境照明中, 表示表面從單位方向 接收的入射輻亮度。漫反射率 的 Lambert 表面,其出射輻亮度為
這裏假設環境圖代表局部入射照明,可見性已納入 或假設沒有遮擋; 是單位法向量。積分使用立體角,而不是對影像像素作無權計數。
定理 / 命題
定理 1.3.6
(獨立零均值雜訊下的加權曝光估計)
假設 ,誤差獨立、方差 ,曝光時間已知且為正,沒有截斷,權重固定如上。則 無偏,而且
在所有 的無偏線性組合中,正規化權重取正比於 時方差最小,等於 。
定理 1.3.7
(常數環境給出正確漫反射尺度)
若所有方向 、表面無遮擋,並適用上述 Lambert 模型,則每個單位法向量均有 。特別地,
這是數值環境照明的正規化檢查,不代表所有真實表面都是 Lambert 表面。
估計定理說明在指定模型下如何結合量度,並沒有說曝光愈長必定愈好。飽和使線性方程失效,移動破壞共同場景值,而實際方差可依賴曝光與信號。照明定理也只分離出一種材質模型。鏡面反射需要帶方向的反射函數,不能只套用漫反射公式。
證明思路
證明
(無偏性、方差與最優權重)
每項曝光正規化量度滿足 ,故期望是 ,正規化加權和仍無偏。獨立性令協方差交叉項為零,得到方差式。對任意 的正規化係數,設 。Cauchy–Schwarz 不等式給出
等號要求 正比於 ,所以 ,且這些最佳係數非負。若誤差相關,會多出協方差項,最佳組合亦會改變;重複拍攝並不自動提供獨立資訊。
證明透視
哪些操作保留無偏估計保證?
證明需要共同未知值 、未飽和線性量度,以及不依賴量度雜訊的固定權重。除以曝光能校正已知乘法變化;截斷是多對一操作,不能靠相除還原。若因含雜訊數值超過門檻而剔除樣本,保留樣本的雜訊分布已被條件化。因此本定理是設計估計器的基準,不是所有曝光融合方法的普遍保證。
證明
(餘弦積分的正規化)
對漫反射正規化,把座標旋轉至 是北極。可見半球上 ,而 ,所以
乘以 即得結論。 是立體角的一部分;在經緯環境圖省略它,會過度計算兩極,即使儲存像素的長方形面積都相等。
未知響應可以對數形式寫為 ,其中 、。若 和全部 同加常數 ,方程不變。固定一個響應值可移除代數尺度自由度,但不會提供絕對物理校準。從有限觀察共同恢復響應與輻照度,仍需要足夠曝光重疊和適當約束;只定尺度並不足以證明任意響應函數可唯一識別。
例題詳解
例題 1.3.8
(曝光正規化與失效高光)
取時間 、,扣黑電平量度 、,個別輻照度估計是 和 。若量度方差同為 ,最佳權重比是 ,故 ,預測標準差 。若感光元件在 截斷,第二項只記錄 ,便不再是同形式的線性量度。把 當成準確輻照度,只是隱藏已失去的高光資訊。
例題 1.3.9
(色調映射改變平均的意義)
場景值 、,輻射度量平均是五,。分別映射後才平均,得到 。兩者明顯不同。因 ,曲線是凹的,會系統性改變平均關係。兩個顯示結果都不是額外物理量度。若目的是線性光混合或動態模糊,應先結合輻射度量,再把結果作色調映射。
例題 1.3.10
(微小光源仍能主導照明)
用兩個角單元近似環境。小單元輻亮度 ,佔 球面度,餘弦因子一;廣闊單元輻亮度一,佔一球面度,餘弦因子 。其輻照度貢獻約為一及 。細小亮源的貢獻反而兩倍。若 ,只計這兩單元得 。把高光截至一後,其貢獻變成 ,照明便嚴重低估。這是兩單元求積示範,不是餘弦在有限單元內變動時的精確積分。
經緯環境圖可用中心近似立體角 ,或緯帶精確面積 。輻亮度乘立體角再乘截斷餘弦,給出漫反射求積。只有角信號和網格足以解析重要光源時,細化才可改善近似;未解析的太陽仍可能漏掉。旋轉環境時要旋轉方向,不是任意重新解釋像素索引。
概念視角分析
色調曲線以相對對比換取顯示範圍
由 ,曲線嚴格遞增,保留大小次序。但對 ,對數斜率 ,亮部相對對比壓縮得更強。單調不等於保留對比。局部色調方法還會使用鄰域統計,可能提升細節,也可能出現光暈或改變不同區域的排序。
常見錯誤
反例模式
增加儲存級數不能還原飽和量度
假設感光元件報告 。在 , 和 都得到一。把此數改存為 16 位元或浮點,兩場景仍不可區分。額外短曝光若未飽和,可能區分它們;單純增加檔案精度,不能反解多對一的取得步驟。
常見錯誤
(平均非線性編碼,卻當作平均輻亮度)
不要把非線性的相機編碼取平均,再稱之為平均輻亮度;響應編碼值也不能在線性化之前就除以曝光時間。色調映射後的值同樣適用這個警告:在上面的例子中,把映射後的值取平均得 ,而輻射量平均值映射後是 。
常見錯誤
(亮度曲線之後才逐通道截斷)
把三個通道乘以同一個正因子會保持它們的比例,但之後逐通道截斷就不會。顏色 在一處截斷後變成 ,紅綠比由 變為 。因此,單靠純量亮度的論證,並不保證真實顯示器上色調不變。
常見錯誤
(運動場景的多次曝光不是重複觀測)
場景移動也是估計問題。一片移動樹葉可能讓同一像素在連續曝光中觀察不同表面。完全知道曝光時間,也不能把它們變成同一 的重複量度。對齊、去鬼影或選定參照拍攝都加入額外模型,應與方差公式分開評估。
總結
HDR 取得在校正曝光及相機響應後結合互補量度。最簡線性估計在明確雜訊及有效性條件下有無偏與方差保證。色調映射為配合顯示而改變輻射度量關係,概念上應與重建分開。影像照明以立體角和方向加權輻亮度,所以未截斷高光與正確角取樣,在數學上直接影響結果。
練習
快速檢查
(兩項獨立未飽和量度的曝光時間為一及二,量度雜訊方差均為 。求個別輻照度估計的最佳正規化權重及結果方差,並與等權重比較。)
解答 · 答案
正規化量度方差是 及 ,逆方差權重為 ,結果方差 。等權重方差 ,較大。比較只依據題設相同量度方差,沒有假定所有真實感光元件的雜訊與曝光無關。
快速檢查
(在 驗證共同加常數的歧義。若 加 ,恢復輻照度怎樣改變?正規化本身會提供物理單位嗎?)
解答 · 答案
把 換成 ,每條方程不變。 時,指數化後 。響應正規化只選定一個尺度代表;物理單位需要外部校準,把此尺度連到量得的輻照度或輻亮度。
快速檢查
(求 、,比較顯示比與場景比,並直接證明 保留非負輸入的次序。)
解答 · 答案
結果為 及 ,比值 而非三。對 ,。因此嚴格次序保留,但比例與對比一般不保留。
快速檢查
(常數環境輻亮度二,漫反射率 ,求出射輻亮度。某數值規則卻作無權求和,每個環境像素細分為四個同輻亮度像素後,結果變成四倍。為何它不能一致近似上述積分?)
解答 · 答案
定理給 。細分沒有改變物理環境,正確求積須使用每個單元更小的立體角。無權和只在重複計算樣本;僅因重新參數化便倍增,顯示缺少積分權重。餘弦因子同樣必要,不能只用總樣本數代替。