動機
單一透視影像無法決定每條視線上的距離。當兩部相機位於不同位置,而且能在兩幅影像中辨認同一場景點時,便可約束深度。前面的相機章節解釋了投影以及平移如何產生視差;本單元推導校準後的深度計算,並探討計算不可靠的原因。
校正後的相機模型
定義 3.1.1
(校正立體影像座標)
左相機中心取 ,右相機中心取 ,其中 以米計。兩部相機軸線平行,均朝正 方向,影像具有相同焦距 (以像素計)及水平主點 。對兩部相機都看到的場景點 ,假設 。其水平像素座標為
定義帶符號視差 。這是理想針孔投影;實際相機對的座標須先經校準及立體校正,才能套用此簡化慣例。
定理 3.1.2
(由視差求深度)
在上述假設下,,因此
當 為正時,零視差在此模型中不對應有限的正深度;負視差也不符合模型。實際量度仍可能因對應、校準或量度誤差而為零或負。
證明
(兩個投影方程相減)
把第二個投影方程從第一個減去。主點 相消,得
由於 ,所以 。兩邊乘以 (因 而合法),得 。最後,第一個投影方程即 ,所以 。
證明透視
哪些量會相消,哪些假設不會
論證依賴三個假設:兩部相機只相差沿 軸的平移 (產生 這一項)、焦距同為 、主點同為 。唯一不明顯的一步是「相減」而不是分別對 求解:未知數 消失,只剩下一個含單一未知數 的方程。論證得以完結,是因為 恆為正,所以除以 永遠合法。
若右相機的焦距為 ,或主點為 ,則差為
其中仍含 ,於是單憑 不再能決定 。因此,不能只因影像看似對齊,就改變相機幾何卻不更新方程。
若垂直內參相同,垂直主點為 ,兩幅影像也都有 。因此在此校正座標中,同一點位於同一影像行。這個同行條件縮小搜尋範圍,但本身不能辨認正確像素。在較一般的模型中,立體校正是依據相機校準進行的影像座標變換,另有重取樣與有效範圍限制。
完整數值重建
例題 3.1.3
(深度與水平位置)
令 像素、 米、 像素,配對座標為 、 像素。視差 像素, 像素米。因此 米, 米。代回右相機投影得到 ,與觀察一致。計算需要真正的對應點,不能只找任意一對具有該數值差的像素。
敏感度與不確定性
固定已校準的 ,導數為
正視差較小時,同樣大小的絕對視差誤差會造成較大的深度變化。導數只給局部近似,並非保證的誤差區間。若已知 位於 且 ,單調性給出明確界
例題 3.1.4
(半像素視差區間)
沿用上例,假設真實視差介乎 與 像素,則深度位於 米,約為 。這個區間假設 與 精確,而且配對正確。若區間包含零視差,單靠此公式不能給出有限的深度上界。
這個區間的闊度與視差本身的大小關係極大,見下例。
例題 3.1.5
(小視差下的同一半像素誤差)
仍取 像素、 米,即 像素米,但令量得視差為 像素,則 米。若真實視差位於 ,則 米,區間闊度為 米;相比之下, 時只約 米。在邊緣情形,若區間為 ,下界 米仍然成立,但因為 可以任意接近 ,不存在有限上界。區間公式要求 。
概念視角代數
視差就是以像素為單位的逆深度
關係 可寫成 :視差與逆深度成正比,比例常數 由校準決定。因此相等的視差步長就是 的相等步長,而點越遠,這對應 越來越長的步長。零視差對應 ,即無窮遠點,有限深度的模型把它排除在外。
常見錯誤
(把相同的視差誤差當作相同的深度誤差)
由於 不是 的線性函數,一個像素的誤差在不同視差下意義不同。取 像素米, 由 變為 時, 由 米變為 米,變化約 米; 由 變為 時, 由 米變為 米,變化 米。固定的像素容差只在局部對應固定的深度容差,遠處的點敏感得多。
反例模式
同一影像行不等於同一對應點
命題:若左右兩個像素位於同一行且看起來相同,則它們是同一場景點的投影。取第一個例子的設定(、、),並設右影像某一行上有相同的垂直條紋,位於 、、,而左影像的條紋在 。配對到 ,得 、 米、 米;配對到 ,得 、 米、 米。兩個候選都符合模型,卻給出不同深度,所以單憑外觀與同行不能作決定。候選 給出 ,為模型所排除; 的候選給出負視差,同樣被排除。校正模型中的同行是必要條件,不是充分條件。配對需要額外證據,系統亦應能標記不確定或無法配對的點。沒有紋理的區域也有類似歧義。
可見性與實際限制
一個點可能被一部相機看到,卻被前景物件遮擋而無法被另一部相機看到。即使校準完美,此遮擋點也沒有有效的雙影像配對。左右一致性檢查可排除部分錯配,但不能證明餘下配對全部正確。重複圖案、反射、光照變化及子像素估計也會影響配對。增大基線可增加固定深度的視差,卻會改變遮擋及視野重疊,並非在所有場景都能無代價改善。
視差必須使用與 相同的像素座標慣例。以毫米給出的焦距須先用影像尺度轉換,才可代入像素視差。所得深度使用與 相同的長度單位;這些規則可避免單位不一致卻看似合理的答案。
常見錯誤
(把毫米焦距與像素視差一同代入)
設鏡頭焦距為 毫米,感光元件像素間距為 毫米,則 像素。若 米、 像素,直接用 得 米,錯了 倍;正確值是 米。焦距必須先換成像素,才能與像素視差一起計算。
習題
快速檢查
(若 像素、 米、 像素,求 。若 、,再求 。)
先用 ,再用 的公式。
解答 · 答案
米, 米。
快速檢查
(若 像素米,視差位於 像素,給出 的精確區間。)
深度是正視差的遞減函數。
解答 · 答案
深度隨正視差增加而減少,因此 米。
快速檢查
(在此慣例下,量得零視差可得甚麼結論?這是否證明真實物件距離無限遠?)
把量度結果與理想模型所容許的情形比較。
解答 · 答案
理想模型中沒有有限正深度會產生零視差。量得零可能來自解像度、雜訊或錯配,不能證明真實物件無限遠。
快速檢查
(為何同在正確影像行不能證明配對正確?舉出兩種不同的失敗原因。)
想一想同行約束沒有決定甚麼。
解答 · 答案
重複紋理可能在同一行上產生多個合理候選;遮擋則可能令真正對應點完全不存在。同行約束不能分辨這兩種情況。
延伸學習
一般對極幾何、校準不確定性、穩健對應、鏡頭畸變及多視圖重建需要進一步推導。本單元沒有實作立體配對器,也不保證深度圖的準確度。