透明像素需要清楚的表示約定
像素可以存一個顏色與一個 alpha,但這四個數不會自行解釋意思:RGB 是否已乘上 alpha?色彩是否在線性光空間?alpha 是模型假設的純量衰減,還是省略子像素結構後的幾何覆蓋率?混用這些解釋,即使程式每個乘法都算對,仍會產生可見錯誤。
本節先指定模型,推導其正向操作,再問輸出能讓我們還原甚麼。最後一問是逆問題:用已知前景合成影像,比從照片中分離未知前景容易得多。
直接色與預乘色儲存不同的量
定義 13.1.1
(線性光純量 alpha 圖層)
設 是直接 RGB 顏色, 是其 alpha。本節圖層模型中,alpha 為前景權重, 則透射下方圖層。若下方是已知不透明背景色 ,觀察到的線性光顏色為
預乘色定為 ,預乘圖層以 儲存,每個色彩通道都滿足 。直接色圖層則儲存 。
以下全部色彩運算都在線性光 RGB 中進行。經顯示編碼的 RGB,在本節光混合計算前通常須先解碼,算完再編碼。Alpha 本身是純量權重,並不是應套用顯示轉換曲線的色彩通道。這些式子指定本節數學模型,沒有聲稱所有圖形系統都選用同一混合空間。
若 ,可由 還原直接色。若 ,有效預乘圖層必有 ,卻無法還原直接色,因任何 都給出同一個零預乘值。全透明像素所存的直接 RGB 是隱藏數據,不是可見色彩貢獻;不可除以零來還原它。
例題 13.1.2
(極小 alpha 下的直接色)
設 alpha 儲存為 ,各預乘通道以 為步長,故有效的紅分量 。還原的紅色 :量化僅差一級,直接色便由毫無紅色變成純紅。該像素對任何合成結果至多貢獻 ,所以這個不可靠的顏色同時也幾乎看不見。若 ,圖層為 ,完全無法還原直接色。
推導兩個可能透明圖層的 source-over
定義 13.1.3
(Source-over 運算)
設前層為 ,後層為 。前層貢獻 ;穿過前層的比例 ,再縮放 B 的貢獻。合併透射率是兩層透射率的乘積,因此定義
此二元組在尚未選更下方背景前,就表示合併圖層。B 不透明時,結果 alpha 為 1,顏色化為 。B 透明時,不能把 或合成結果的預乘色誤當直接色。
命題 13.1.4
(Source-over 保持圖層有效)
設 且 (對每個色彩通道 均成立),則 也滿足同樣的不等式。
證明
(逐分量不等式)
令 、,兩者都在 內。分量 是非負項之和,故非負。把 乘以 ,再加上 ,得 。新 alpha 為 ,而 是該區間內兩數之積,屬於 ,所以新 alpha 屬於 。
改分組保留結果,改次序通常不會
定理 13.1.5
(預乘圖層的 source-over 具有結合律)
在本純量 alpha 模型中,任意有效圖層 A、B、C 都滿足
透明圖層 是左右單位元,但操作一般不具交換律。
證明
(展開貢獻,並把透射率相乘)
寫 ,B、C 同理。A 覆蓋 B 的合併透射率是 ,所以兩種分組都有預乘色
以及 alpha ,因此儲存的兩部分都相等。把 分別代入兩個輸入位置,就證明單位元性質。
若有交換律,調換前後層也應給相同顏色,但下例並非如此,所以不存在這條一般規則。結合律只容許在固定前後次序下改分組,不容許隨意排序圖層。
概念視角結構
圖層是仿射映射
每個圖層 在儲存的二元組 上定義映射 ,則 。記 ,有
因為 的透射率是 。因此 over 合成就是映射的複合,結合律即函數複合的結合律。圖層可由其映射復原,因 ;單位圖層 對應恆等映射。整疊圖層就是一個仿射映射:斜率 是整疊的透射率,在零二元組的值則是整疊的預乘二元組。
這些是精確實數運算恆等式。有限精度計算在不同分組下,可能因捨入產生些微不同。
例題 13.1.6
(半透明紅覆蓋半透明藍,再覆蓋白底)
A 為直接紅色 、alpha ;B 為直接藍色 、alpha 。兩預乘表示分別是 與 。
A 覆蓋 B 得 、。除以 後,其直接色為 。再覆蓋不透明白底,得 。
交換有色兩層後,B 覆蓋 A 的預乘色為 ,alpha 仍為 ,顏色卻不同。白底上的結果為 。Alpha 一個數無法記錄哪個有色層在前。
先插值貢獻,再還原直接色
影像邊界會被重取樣,所以還未合成,表示方式就已重要。對 ,兩預乘樣本的凸插值為
它保留 。只有插值 alpha 為正時才還原直接色。這些結論針對非負且總和為一的權重;含負權重的濾波器需要另作值域與重建分析。
反例模式
不可見端點也會污染直接色平均
一端為不透明紅色:、。另一端全透明,卻存直接藍色:、。分開在中點插值直接 RGB 與 alpha,得到 、;覆蓋黑底後是 ,不可見藍色竟產生了可見藍分量。
若先轉預乘數據,兩端為 、;中點是 、alpha 。覆蓋黑底便得 ,還原直接色則為紅色。
預乘在插值前,先把任意隱藏 RGB 從貢獻中排除。它不是叫我們把已預乘色再乘一次 alpha。
常見錯誤
(把預乘色再預乘一次)
設圖層以預乘形式儲存為 、,其直接色是紅色。覆蓋黑底時顏色為 。若把已儲存的 再乘一次 alpha,得 ,那是 alpha 為 的紅色的預乘色,即另一個圖層。由直接色轉為預乘色只應做一次,並要確認每個函數期望哪種表示。
單一 alpha 不會保留所有子像素關係
上面的 source-over 式子針對已指定的純量衰減模型。若 alpha 是二元覆蓋遮罩的像素內平均值,兩個純量平均未必說明其重疊。設均勻所選子像素位置的遮罩為 ;聯集覆蓋率是
常用純量 alpha 式子把最後項改為 。對遮罩來說,這需要相應重疊假設,例如兩遮罩獨立,並非任意相關情況都成立。渲染器若已丟棄子像素重疊數據,不能只從兩個 alpha 還原它。此表示限制,並不推翻已定義純量模型中的結合律。
常見錯誤
(把純量 source-over 當作聯集覆蓋率)
純量 source-over 在 時給出 alpha 。但兩個各覆蓋半個像素的遮罩,重合時恰覆蓋 ,不相交時覆蓋 。 是純量模型的答案,並不是聯集覆蓋率的量度。
摳圖反向求解,但答案未必唯一
合成已知圖層,計算 I;摳圖(matting)則嘗試由 I 推斷未知 alpha,往往連前景也未知。同一條正向公式不會自動給出反函數。
定義 13.1.7
(摳圖問題)
給定觀察到的線性光顏色 與背景 ,摳圖要求 與 滿足 。若恰有一對這樣的解,問題便可辨識。
例題 13.1.8
(單一灰階觀察容許很多 alpha)
已觀察灰階 ,已知黑背景 ,所以 。 與 都能解釋觀察。其實每個 配上 都有效。
下端點來自 ,這要求 。知道背景確實限制了可能性,卻未辨識唯一前景或 alpha;還需要額外觀察或假設才能選出其中一個。
較簡單且可辨識的情況是 F 與 B 都已知。設 、,模型變成 。
命題 13.1.9
(由已知前景與背景色求 alpha)
設 已知,、,並令
(a) 若某個 滿足 ,則 。(b) 在 上, 的唯一最小點是 。
證明
(內積與配方)
(a) 把 與 作內積,得 ,而 。
(b) 配方得
最後兩項與 alpha 無關,第一項是在 取最小值的嚴格凸二次式。因此在 上的最小點是區間內最接近 的點,即 ,且唯一。
證明透視
論證各部分的作用
(a) 只依靠一條純量方程,由向量方程與 作內積得到。它是必要條件而非充分條件:算出 後,仍須逐通道檢查 。(b) 才是非例行的一步。配方把損失分成兩部分:只通過 依賴 alpha 的一項,以及一個常數,即 在 正交方向上分量的長度平方。這個常數恰在 時為零,所以精確解就是最小值為零的情形;與 正交的通道方向會改變損失,卻不會改變 ,最後一道練習便是一例。論證需要 ,使 。它解的是前景 F 已知時所選的損失,對未知 F 沒有說明。
要確認精確解,還須檢查 ,以及每個通道都滿足 。純量投影本身不保證觀察色在線段 BF 上。若 ,所有 alpha 都預測同一個 B; 時 alpha 無法辨識, 時則沒有無雜訊 alpha 能解釋觀察。
附解答練習
快速檢查
(前景存直接色 、alpha 。求其預乘表示,以及覆蓋不透明背景 的顏色。結果 alpha 是多少?)
只預乘一次,再套用 source-over。
解答 · 答案
預乘色為 ;source-over 得 。結果 alpha 為 ,所以此色亦是最終不透明結果的直接 RGB。若把 p 再乘 ,會重複計入 alpha,錯誤壓暗前景。
快速檢查
(用例題半透明紅 A、半透明藍 B、不透明白 C,先算 B 覆蓋 C,再讓 A 覆蓋結果,並與 (A 覆蓋 B) 覆蓋 C 比較。若交換 A、B 又如何?)
先把 B 和 C 分在一組。
解答 · 答案
B 覆蓋 C 得不透明色 ;A 再覆蓋,得到 ,與 (A 覆蓋 B) 覆蓋 C 相同。交換 A、B 後白底結果為 。分組保留結果,前後次序通常會改變它。
快速檢查
(兩個二元遮罩各覆蓋半個像素。若恰覆蓋同一半,或分別覆蓋不重疊的兩半,真實聯集覆蓋率各是多少?與兩個 alpha 都是 的純量 source-over 比較。)
聯集覆蓋率等於兩個覆蓋率之和減去交集。
解答 · 答案
同一半時,交集覆蓋率為 ,聯集為 ;兩半不相交時,交集為 0,聯集為 1。純量 source-over 則給 。兩個邊際 alpha 不能決定交集;純量結果採用自身重疊/衰減模型,不是上述兩種幾何配置都適用的精確聯集計算。
快速檢查
(已知 、,先求 的 alpha,再把 改為 。投影改變嗎?第二觀察是精確解嗎?若改成 又如何?)
計算 ,再投影到 上。
解答 · 答案
的範數平方是 2。第一觀察有 ,所以 ,且 ,是精確解。
改變的綠通道與 D 正交,所以投影仍是 ,亦已在可行區間;但殘差為非零 。因此這是最小二乘估計,卻沒有精確 alpha 可以從已知前後景產生非零綠通道。若 ,全部 alpha 預測同一顏色;觀察等於它時 alpha 無法辨識,不等於它時則與無雜訊模型不相容。