幾何對齊不等於外觀一致
全景影像即使已經幾何對齊,兩張照片的交界仍可能出現明顯的亮度帶。在選擇接縫或混合像素之前,我們可以利用各影像的重疊區,估計每張影像所需的乘法修正。本節給出一個有限而可重算的模型;單一增益不能消除暗角、物體移動、局部光照變化或錯誤的幾何變換。
假設我們比較的是已配準影像的一個線性光強通道。對影像 中觀察到的場景點 ,寫成 ,其中未知的曝光因子 在同一影像內為常數,而共同場景光強 。排除飽和、被黑位截斷、移動、被遮擋或沒有有效數據的樣本。這個理想模型假定相機響應和黑位已被校正;經伽馬編碼的像素值通常不滿足此模型。若相機響應未知,用此方法估計增益只是近似,並非物理校準。
定義 1.20.1
(兩張影像之間的對數曝光比)
目標是找正增益 ,使不同影像的 在重疊處一致。令 。對有方向的重疊邊 ,其有效匹配點集合為 ,權重 均為正,定義
理想情況下,校正後的對數光強相等,因此 。檢查符號:若 比 亮兩倍,則 ,因此 的校正增益應是 的兩倍。反轉邊的方向會把 變號。對數空間的加權平均相當於亮度比的加權幾何平均,一般不等於算術平均亮度之比的對數。
常見錯誤
(把有向邊的符號弄反)
因為 而 ,較暗的影像獲得較大的增益。設影像 1 的亮度是影像 2 的兩倍,即重疊處 ,並固定 。正確的選擇是 ,得 。若把約束寫成 ,則 ,:校正後兩者相差四倍,而不是原來的兩倍。
例題 1.20.2
(重疊樣本的加權對數比)
設重疊區 有三個匹配樣本。樣本 A 為 ,權重 ;樣本 B 為 ,權重 ;樣本 C 的 ,因為第二部相機在該處被截斷至黑位。樣本 C 要排除: 沒有定義,而且這個樣本無法提供關於比值的可用資訊。餘下的對數差為 和 ,所以
這是亮度比的加權幾何平均 的對數。加權算術平均之比為 ,其對數約為 。兩個估計不同,是因為算術平均由較亮的樣本 B 主導。
概念視角結構
為何只能觀察相對亮度
把所有增益乘上同一正數,校正後的比值不變。數據本身無法決定絕對輸出亮度。固定 只是選影像 1 作參考,並非發現了物理上特殊的曝光。之後可以整體調整曝光或色調,這會同時改變所有增益。
圖上的最小二乘問題
定義 1.20.3
(重疊圖、關聯矩陣與目標函數)
以影像作頂點,有至少一個有效匹配的重疊區作邊。每條邊 配一個有限正權重 ,表示選定的可靠程度。構造關聯矩陣 :第 行在第 列為 、第 列為 ,其餘為零。目標函數為
其中 是對角矩陣。
正規方程為 ,再加上錨定條件。實際計算時可刪去 的第一列,以 QR 方法求解所得滿列秩最小二乘問題;正規方程方便證明,但會令條件數平方。權重必須事先說明:大量互相關聯的像素不自動等同於同樣數目的獨立觀測。
定理 1.20.4
(錨定後的存在性與唯一性)
對有限連通重疊圖,若每條邊的權重有限且為正,錨定目標函數恰有一個最小點。若不錨定,最小點只相差一個共同加法常數。若圖不連通,每個連通分量各有一個獨立常數。
證明
(錨定正規矩陣的正定性)
令 為刪去第一列的 。若 ,把 擴充成 的向量 。每條邊均有 ,連通性迫使所有 ,故 滿列秩。對任何非零 ,
因此 正定且可逆,錨定目標函數有唯一駐點 。目標函數是二次函數,其 Hessian 與 成比例,且在 的梯度為零,故 ,其他任何點的值都嚴格較大。沒有錨定時, 當且僅當 在每個連通分量內為常數;加上這些常數不改變目標值。一個錨點只消除它所在分量的常數。
證明透視
唯一性論證中各項假設用在何處
連通性只用一次:它把 變成 ,因為每條邊上差值為零,錨點的值就傳到每個頂點。正權重也只用一次:只要某個 ,便保證 嚴格為正。去掉連通性,第一步會具體地失效:若影像 1、2 重疊,影像 3、4 重疊,沒有其他邊,則 、 的向量滿足 ,所以 有非零核, 是奇異矩陣。論證從未用到權重的大小:唯一性不取決於權重如何選取,不過最小點本身取決於權重。
命題 1.20.5
(精確擬合與環和)
設重疊圖有限,邊 有方向,測量為 。存在向量 使每條邊都有 ,當且僅當在每個環上,順著邊方向行走的邊的 之和,減去逆著邊方向行走的邊的 之和,等於零。
證明
(望遠鏡式相消與路徑無關性)
必要性:沿環 行走,差值 相消為零;每個差值依邊是順著還是逆著方向被走過,分別等於 或 。充分性:在每個連通分量內取一個基準頂點,令其值為零,並把其他頂點的值定義為沿一條由基準頂點到該頂點的行走所累加的有號測量值。兩條終點相同的行走,把其中一條反向後接起來便是閉合行走。閉合行走可分解成環,以及同一條邊來回各走一次的配對,後者互相抵消,所以它的有號和為零,因此所定義的值與行走的選擇無關。把到達頂點 的行走再經邊 延長,就得到到達 的行走,所以每條邊都有 。
樹沒有環可供檢查,任何邊測量都能精確擬合,即使測量本身有誤。
真實測量未必符合上述理想前向模型:雜訊、移動和模型誤差都可能使環上的測量互不一致。以下例子因此不再假定模型完全符合數據。
三張影像構成的環
例題 1.20.6
(分配不一致的環誤差)
假設三條邊同權,測量為 、、,單位均為自然對數。前兩條邊表示總差為 2,第三條卻表示 3。取 ,最小化
令偏導數為零,得 和 。故 、。三個「預測減觀測」殘差分別為 、、,目標值為 。增益為 ;它們是相對增益,而非三個場景輻亮度估計。反轉最後一條邊時,其矩陣行和測量值同時變號,目標函數及解保持不變。
例題 1.20.7
(樹必能精確擬合,即使測量有誤)
取三張影像,只有邊 和 。令 ,測量為 、,取 便使兩個殘差均為零。若第二個重疊區含有配準錯誤的物體,得到 ,取 目標值又是零。這裏殘差為零,只表示樹中沒有環可讓不一致顯現,並不表示測量正確。加上邊 ()便成為一個環,其有號和為 ,錯誤會以非零目標值顯現出來。
反例模式
增益無法修補局部不匹配
設兩個對應像素在影像 1 的值為 ,在影像 2 的值為 。令第一對相等要求 ,令第二對相等卻要求 。沒有常數增益能同時滿足兩者。最小二乘解只是一個折衷,低平均殘差也可能掩蓋嚴重局部誤差。應查看殘差圖及有效區域遮罩,而不只查看擬合增益。移動物體或配準失誤也可產生同樣現象,並不必然是曝光改變。
從模型到可用拼接
先選定通道和工作色彩空間;各色彩通道使用互不相關的增益可能改變色彩平衡。以明確的插值方法和有效區域遮罩,將每張影像變換至共同區域。排除截斷樣本並謹慎選定強度門檻:零的對數無定義,接近黑位時相對不確定性也會放大。只用剩下的同一場景點估計每對影像的對數比。穩健統計量或穩健最優化可減少離群值影響,但必須說明其目標函數和參數;上面的二次目標唯一性定理不會自動適用於所有穩健損失。
常見錯誤
(把飽和樣本留在重疊區內)
設 、,即 、,每個未被截斷的比值都是 。若感光元件在 飽和,場景光強為 ,則影像 1 讀到 、 和 ,最後一個是 被截斷後的值。三個比值為 、、,等權對數平均為 ,相當於比值約 而非 。被截斷的樣本把估計值拉向零,所以在計算 之前要先排除這類樣本。
建立重疊圖並檢查其連通分量。每個分量錨定一張影像;若無額外資訊,各分量之間的相對亮度仍無法確定。求解後取 的指數得到增益,再檢查邊殘差和重疊區內的空間差異圖。方向相反的局部誤差可令某條邊的平均殘差為零。大的環殘差提示測量互不一致,不能單憑它斷定某張影像有錯。最後選擇接縫並混合;曝光補償應在合適的線性表示中進行,然後才編碼供顯示。增益可能使數值超出顯示範圍;截斷或色調映射是另一個可能損失資訊的步驟。
練習與解答
快速檢查
(兩張影像在每個有效匹配處都有 、。令 ,求 。)
解答 · 答案
,故 、;兩者校正後的強度均為 。
快速檢查
(影像 1 與 2 重疊,影像 3 與 4 重疊,沒有其他邊。需要多少個錨點才能使解唯一?)
解答 · 答案
兩個,每個分量各一個。只固定 ,仍可自由改變 的共同偏移。
快速檢查
(邊 、、 的測量為 、、。是否存在精確的錨定解?)
解答 · 答案
存在,因為 。令 、、,目標值為零。
快速檢查
(兩對同權匹配像素的對數差分別為 和 。 是多少?這代表像素一致嗎?)
解答 · 答案
平均為零,但兩個差值非零且方向相反。增益比為一時兩對都不匹配,因此應檢查個別殘差。
快速檢查
(某錨定解為 。若改以 作錨點,解是甚麼?)
解答 · 答案
各項減 ,得 。所有差值與殘差不變,全部增益則乘上 。