動機
不少彩色相機在不同感光位置量度不同光譜範圍。重建後的彩色影像因此同時包含量度值和估計值。前面的 HDR 單元研究強度與曝光;本單元探討產生彩色影像之前,空間交錯的色彩量度。我們用簡單的理想化模型,說明為何看似合理的重建未必由感光元件數據唯一決定。
每個感光位置的一次量度
定義 4.1.1
(週期性色彩濾鏡陣列)
在整數像素座標 ,使用重複的 排列:偶數–偶數位置為紅色,奇數–奇數位置為藍色,其餘兩個位置為綠色。假設理想線性感光元件記錄一個純量 ,其中 是該位置濾鏡所選的通道, 是量度誤差。去馬賽克要估計每個位置缺失的兩個通道。
這裏的 是感光元件通道值,並不自動等於可供顯示的 RGB。真實濾鏡的光譜敏感度會重疊;較詳細的線性模型將入射光譜能量與所選濾鏡響應相乘後積分。曝光、暗偏移、飽和、光學模糊和感光元件雜訊也會影響結果。以下計算假設偏移已校正、數值未飽和,而且通道值是線性的。改變排列、座標原點或邊界慣例,都會改變所用鄰點。
概念視角結構
馬賽克是三個被遮罩的通道影像
等價地,設 為三類位置的 指示影像,它們互不相交並覆蓋每個像素,密度分別為 、 和 。於是逐像素有 。去馬賽克就是反轉一個只在各通道自己的位置上保留該通道的映射;若某通道的改變只出現在這些位置以外,數據便不會改變。
局部插值
定義 4.1.2
(內部綠色位置的雙線性估計)
在上述排列中,綠色位置 左右相鄰的紅色位置是 和 ;上下相鄰的藍色位置是 和 。一個簡單的內部雙線性估計取
這些是建模選擇,並非對任意場景成立的恆等式。在影像邊界,若所列鄰點不存在,就需要明確的替代規則。
命題 4.1.3
(中點平均的偏差)
設某通道沿一個座標是二次函數 ,在 與 處有無雜訊的樣本。則
特別地,對每個仿射通道(),平均值都等於真實的中點值;對 的通道則永不相等。
證明
(展開兩個樣本)
計算 。把兩個值相加,含 的項互相抵銷,
兩邊除以 即得所述恆等式。
證明透視
平均假設了甚麼
樣本位置唯一用到的性質,是相對目標點 對稱:它令 的奇次項互相抵銷,所以平均值能準確看到通道的常數部分與線性部分。剩下的 是曲率的代價,這就是為甚麼此規則在局部仿射的通道上準確,對任何彎曲的通道卻有誤差。對光滑通道,同樣的抵銷留下與二階導數乘以 成比例的偏差。
無雜訊是另一個獨立的假設:有雜訊時,平均值也含有雜訊,下文會處理。尖銳邊緣或振盪紋理在兩個樣本之間不一定是仿射的:平均值仍可計算,但不一定是真正缺失的值。垂直方向的藍色也有類似的結論。
例題 4.1.4
(重建一個內部位置)
在 ,設觀察到的綠色值為 ,左右紅色鄰點為 和 ,上下藍色鄰點為 和 。重建的感光元件通道三元組為 。例如在線性空間套用增益 ,在任何削波或顯示編碼之前得到 。增益是明確宣告的處理選擇;此計算本身並未把色彩校準到顯示器。
例題 4.1.5
(紅色位置需要對角及四鄰點平均)
在紅色位置 ,四個邊鄰點 與 是綠色,四個對角鄰點 是藍色。同一個雙線性想法把它們平均。設觀察到的紅色為 ,綠色鄰點為 ,對角藍色鄰點為 。則 ,,三元組為 。
例題 4.1.6
(影像邊界上的位置)
設影像佔 且 。位置 是綠色,上下的紅色鄰點為 與 ,左右的藍色鄰點為 與 。像素 並不存在,所以不能套用藍色的內部公式。採用把缺失鄰點對邊緣鏡射的規則,即以 代替 。取 、、,得 ,。若改用其他規則,例如補零,則 :邊界規則是算法的一部分。
樣本無法確定甚麼
反例模式
兩幅不同的紅色影像給出相同樣本
在無限整數網格上,比較 與 ,並令兩者的綠色與藍色通道相同。每個紅色位置的 都是偶數,所以正弦為零,記錄到的紅色樣本相同;綠色和藍色樣本依構造亦相同。然而在綠色位置 ,真實紅色值分別為 和 ,兩者都在 之內。完整的理想馬賽克完全相同,所以任何只接收該馬賽克的確定性算法,都不可能同時精確恢復兩幅原圖。
這是可辨識性的限制,並不是說自然相片總是有這種圖案。平滑性、邊緣模型或學習得來的統計可以提供偏好,但它們都是額外假設。跨越邊緣插值可能混合不同表面的數值,產生色彩偽影。只把重建值與用來產生它們的樣本比較,本身不能量度未被觀察的通道的準確度。
常見錯誤
(把重建的 RGB 三元組當作量度值)
在每個像素,三個重建通道中有兩個是估計值。在第一個工作例子中,感光元件只量度了 ; 與 來自鄰點,而反例顯示它們可以出錯,同時與數據沒有任何矛盾。所以,一個能準確重現馬賽克的重建,並不能證明完整的彩色影像是正確的。
雜訊與處理次序
命題 4.1.7
(兩個量度平均值的方差)
設 為量度誤差,方差分別為 ,協方差為 。則
特別地,若 獨立、均值為零且有共同方差 ,則方差為 。
證明
(方差的雙線性)
方差是二次的:,而把隨機變量乘以 ,其方差乘以 。對獨立誤差有 ,且 時得 。
若上面使用的兩個紅色量度有獨立、均值為零且共同方差為 的誤差,它們平均值的雜訊方差便是 。這是在所述模型下量度雜訊的方差,並不包含非仿射場景造成的插值偏差。相鄰的重建像素可能重用同一個量度樣本,因而誤差相關。例如,若所有不同樣本的誤差都獨立且方差同為 ,兩個各以權重 平均、且恰好共用一個樣本的平均值,協方差為 。
白平衡增益同時乘上線性通道及其雜訊;增益 把雜訊方差乘以 。顯示編碼通常是非線性的,所以在編碼之後作同樣的平均計算,一般並不等價於先對線性值求平均。在把任何數值結果當作已校準的色彩量度之前,必須明確指定相機處理流程、削波及雜訊模型。
常見錯誤
(在非線性編碼之後才作平均)
以平方根作為顯示編碼的簡單替身。兩個線性鄰點 與 ,線性平均為 ,其編碼值為 。先編碼則得 與 ,其平均為 。兩種次序的結果不同,所以插值應在線性值上進行,編碼留待之後。
習題
快速檢查
(在所述類型的綠色位置,紅色鄰點為 與 ,藍色鄰點為 與 ,量度到的綠色為 。求重建的三元組。)
把每對鄰點取平均;綠色是量度所得。
解答 · 答案
紅色估計為 ,綠色為 ,藍色為 ,即 。
快速檢查
(若兩個紅色誤差獨立,方差各為 ,求它們平均值的方差。若協方差為 ,結果有何改變?)
使用 。
解答 · 答案
獨立誤差給出 。協方差為 時,方差為 。
快速檢查
(為何反例中的兩幅紅色影像能產生相同的馬賽克,卻有不同的缺失紅色值?)
濾鏡陣列在哪些位置量度紅色?
解答 · 答案
它們的差在每個紅色濾鏡位置都為零,而濾鏡陣列從不在綠色位置 量度紅色。因此在該位置作估計需要額外假設。
快速檢查
(在缺少插值鄰點的邊界,所示的內部公式是否定義了一個值?必須補充甚麼?)
看看公式列出了哪些鄰點。
解答 · 答案
沒有。需要邊界延拓、單側估計或另一個指定的規則;每種都會改變有效模型,必須分別評估。
延伸學習
邊緣感知去馬賽克、色彩校準、雜訊協方差、隨位置變化的光學模糊及聯合 HDR 重建需要進一步分析。本章沒有實作生產用的相機處理流程,也不保證特定感光元件的色彩準確度。