為何較明亮的量度可以更精確?
對靜止而光照不變的場景連續拍攝,原始像素值仍不會完全一樣:偵測到的光電子數目有隨機波動,電子電路亦會引入誤差。決定延長曝光、平均多張影像,還是平滑相鄰像素之前,我們需要清楚的模型。平均後的雜訊變小,也不代表銳利邊緣一定獲得保留。
考慮一個感光點,以電子數量為電荷單位。假設光產生電子的速率恆為 r≥0,曝光時間為已知的 t>0,暗電流產生電子的速率為 d≥0。在簡化的獨立到達模型中,光電子數 P∼Poisson(rt) 和暗電子數 D∼Poisson(dt) 相互獨立。讀出雜訊 N 與兩者獨立,均值為零、方差為 σR2,單位為電子數的平方。經黑位校正而未飽和的原始量度為
Y=P+D+N,E[Y]=(r+d)t,Var(Y)=(r+d)t+σR2.
泊松(Poisson)變量的方差等於其均值,而獨立變量的方差可相加,故得上式。即使減去暗電流的平均值,暗電子數的隨機波動仍然存在。這是理想模型,並非保證所有相機都有獨立、方差固定的讀出雜訊;固定圖樣偏移、電路相關性、量化、飽和和光照變化都須另行處理。若原始數據以數碼值記錄,須先用已校準增益換算成電子數,才能套用這些單位。
估計光電子速率
若 d 已知,把觀測速率減去暗速率,便可估計 r。這個估計量無偏,而方差的兩項對 t 的依賴不同。
在上述觀測模型中,設 r=Y/t−d。則
E[r]=r,Var(r)=tr+d+t2σR2.
由期望的線性性,E[r]=E[Y]/t−d=(r+d)t/t−d=r。減去常數 d 不改變方差,而 Var(Y/t)=Var(Y)/t2,因此
Var(r)=t2(r+d)t+σR2=tr+d+t2σR2.
證明透視
曝光時間的兩個次方從何而來?
計數方差與 t 成正比;把計數換成速率時除以 t,方差便除以 t2,所以散粒項留下 1/t。一次讀出的方差是 σR2,換算速率後則帶有 1/t2。推導假設整段曝光的速率不變,而且沒有截斷飽和。
第一項來自隨機到達數目,第二項來自一次讀出。在上述條件下,延長曝光會降低兩項。訊噪比定義如下。
當 Var(r)>0 時,估計光電子速率的訊噪比為
SNR=Var(r)r.若 r=0 但仍有雜訊,比值為零;對無雜訊的零信號,分母為零,這比值不能作為精確度指標。
設 r=100、d=4 電子每秒,t=2 秒,σR=4 電子。原始電荷的期望為 208 電子,方差為 224 電子平方。減去已知暗速率後,速率估計的均值為 100,方差為 224/4=56,單位是每秒電子數的平方;標準差約為 56≈7.48 電子每秒。減去暗速率只消除每秒四個電子的平均偏差,不能消除暗計數的隨機波動。
從觀測值減去 dt,只消除暗電流的平均貢獻,並不消除暗電子數 D 的泊松波動,它仍為方差貢獻 dt。在上例中,相減後方差仍是 224,被校正的只有均值。
取 r=1、d=0、σR=4,則 Var(r)=1/t+16/t2。兩項相等當 1/t=16/t2,即 t=16。在 t=1 時方差為 17,其中 16 來自讀出,SNR=1/17≈0.24。在 t=16 時方差為 1/16+16/256=0.125,SNR=1/0.125=8≈2.83。曝光短時讀出項佔主導,曝光長時散粒項佔主導。邊緣情形:若 r=d=0,則 Var(r)=16/t2 仍隨 t 下降,但對任何 t 都有 SNR=0,因為根本沒有可分辨的信號。
一次長曝光,還是多次短曝光?
假設把固定總曝光時間 T 分成 n 次等長曝光,每次 T/n,各次的計數和讀出雜訊均相互獨立,曝光之間沒有間隔,速率亦不變。把各次量度相加、減去 dT,再除以 T,得到
rn=T∑k=1nYk−dT,Var(rn)=Tr+d+T2nσR2.
拆分不改變總計數的期望,因此總散粒方差不變;但每次獨立讀出都額外引入一份讀出方差。所以在此模型內,同樣總曝光時間下,一次未飽和長曝光的方差不大於拆分曝光。短曝光仍可用來避免飽和或動態模糊,但此時簡單比較的條件已改變。場景移動時,若不先對齊及處理遮擋,直接逐像素平均對目標參考幀亦可能有偏差。
沿用上例的速率及 T=2,一次曝光的速率方差為 56;四次半秒曝光的方差為 104/2+4(16)/4=68。先計算四次各自的速率估計再取平均,結果相同。四次曝光的標準差為 68≈8.25,並非一次曝光標準差的一半:因為總曝光時間固定。
反例模式
平均無法還原截斷的數據
假設無雜訊偵測器把超過 150 電子的電荷一律截斷至 150。兩秒內,速率 100 的場景產生 200 電子,速率 200 的場景產生 400 電子,記錄值卻都是 150。重複並平均這些截斷值仍得 150,無法區分兩個速率。上述無偏公式明確排除飽和;不能把飽和值當線性量度套用。
空間平均和共用樣本
對固定權重的線性估計 Z=i∑wiYi,
Var(Z)=i∑wi2Var(Yi)+2i<j∑wiwjCov(Yi,Yj).
此恆等式不要求高斯(Gaussian)雜訊。若四個獨立樣本量度相同的底層信號,且方差均為 v,其平均的方差為 v/4。若信號不同,平均估計的是它們的均值;把它當作某個中心值的估計便可能產生偏差。邊緣處混合不同位置的信號正有此代價。光子散粒雜訊依賴信號,因此各樣本方差亦不一定相等。
即使原始樣本獨立,去馬賽克仍可產生相關性。設 A=(Y1+Y2)/2、B=(Y2+Y3)/2,三個原始誤差獨立且方差均為 v,則 Var(A)=Var(B)=v/2,但由於共用 Y2,有 Cov(A,B)=v/4。若把重建後的像素當作獨立,便會遺漏這項協方差;後續色彩矩陣和空間濾波應傳遞完整協方差,而不只是每個方差。
沿用上面的 A 和 B,若獨立,會得 Var(A+B)=v/2+v/2=v。共用樣本時卻是 Var(A+B)=v/2+v/2+2⋅v/4=3v/2,因為 A+B=(Y1+2Y2+Y3)/2 的方差為 (v+4v+v)/4。忽略協方差會把 3v/2 報成 v,低估任何同時結合兩個像素的濾波的方差。
練習與解答
快速檢查
(若 r=40、d=0、t=1、σR=3,求 Y 的均值及方差,以及 r 的方差。)
先用 Y 的方差公式,再除以 t2。
解答 · 答案
E[Y]=40,Var(Y)=40+9=49;由於 t=1,速率方差亦是 49。
快速檢查
(同樣速率及總時間 T=1,比較一張與兩張等長影像的速率方差,並說明假設。)
分別以 n=1 和 n=2 套用拆分曝光公式。
解答 · 答案
一次讀出得 40+9=49;兩次讀出得 40+18=58。假設各次讀出和到達獨立、速率相同且恆定、沒有間隔及飽和。
快速檢查
(兩個量度相同常數信號 s 的誤差方差均為 9,協方差為 3。求它們平均值的方差。)
用加權和的方差恆等式,兩個權重均為 1/2。
解答 · 答案
方差為 (9+9+2⋅3)/4=6;若獨立則是 4.5。
快速檢查
(兩像素邊緣的真值分別為 0 和 10。以無雜訊的兩者平均估計第一個值,誤差是多少?為何沒有雜訊時平均仍可能誤導?)
解答 · 答案
平均為 5,相對第一像素的誤差是 +5。即使隨機方差為零,平均不同信號仍會造成確定性偏差。