動機
弱光偵測器可能在一個像素只記錄到少量光子。此時假設誤差方差固定的高斯(Gauss)模型可能不合適:平均計數為一與為一百的像素,其計數方差並不相同。本節從均值等於方差的有限計數模型出發,推導目標函數和算法。這是特定的理想化模型,並非某一種偵測器的模型。
未知量 表示源像素 的強度,而 描述其中到達偵測像素 的比例。已知背景強度為 。對有限矩陣 ,寫 ,並假設給定 時,各計數 獨立且服從均值為 的泊松(Poisson)分布。此模型可以描述模糊,但矩陣與背景均須事先校準,不能單憑觀測圖像假定已知。
定義
觀測到 的概率為 。把負對數似然中與 無關的項去掉,得到
正背景保證即使 ,對數仍有定義。零背景也可以建模,但必須另行處理零均值及邊界約定。在所有 均為正的開鄰域內,梯度與 Hessian 為
除法逐分量進行。零觀測值對目標函數仍貢獻 ,只是沒有曲率;不應把該偵測器丟棄。
定理與命題
定理 1.3.1
(存在性及唯一性的充分條件)
設 、,且 每一列(固定 的元素 )的總和為正。則 在非負正交象限上有最小值。若以 標記的行向量生成 ,最小值點唯一。此生成條件充分但非必要。
定理 1.3.2
(目標值不增的乘法步驟)
在相同假設下,令 ,並取 。定義
所有迭代點均非負,且 。單憑此不等式,不能斷言迭代點收斂至唯一最小值點,也不能決定停止時間。
乘法形式掩藏了一個梯度步,下面的描述把它明確寫出。
概念視角分析
把乘法步看作縮放梯度步
由於 ,更新可改寫為
這是座標步長為 的梯度步。因此正的不動點在每個座標都滿足 ,而等於零的座標永遠不動。正交象限上的最優條件 、、,用的正是推動這一步的同一乘積 。
證明與思路
證明
(強制性與嚴格凸性)
對每個 ,函數 在 連續、有下界,且 時趨向無窮大。由於 非負且每一列的和為正,當 、 時,。於是至少一個 發散,而其餘各項有下界,故 在閉正交象限上具有強制性。由連續性及有界下水平集的緊緻性,最小值存在。Hessian 半正定;如果正計數對應的行生成整個空間,對任何非零 ,
因此沿正交象限內每條非常數線段的二階導數均為正, 嚴格凸,最小值點至多一個。
證明
(以可分離上界保證下降)
為證下降性,先假設目前 各分量均正。令 及 ;這些非負權重加起來為一。對任意各分量均正的試探向量 ,對數的凹性給出
省略零權重項,而背景項是 。令 ,則
右邊在 時等於零,並可逐座標最小化:在 上的最小值由 取得。若 ,對數項視為零,最小值在邊界 。利用連續性,即使新迭代點含零也得到下降不等式。往後對正座標重複同一論證,零座標保持不變,故所有步驟都成立;這不是收斂速率的證明。
證明透視
保證從何而來
下降證明是「先上界、後最小化」的論證,其中只有一個決定性步驟:以權重 應用詹森(Jensen)不等式,這些權重把每個預測計數 拆成各源的貢獻與背景。這條不等式把耦合項 化為單一座標項之和,得到一個在 處與 相接、並可逐座標分離的上界。最小化一個位於 之上、且在 處與它相等的函數,只會令 下降;但一步之內未必能最小化 。
每個假設都有明確作用。 為正使所有 為正,所以即使有座標為零,對數和權重仍有定義。正的列和使每個可分離問題 有有限的最小值點,也就是更新本身。目前迭代點須嚴格為正,才能寫出 ;為零的座標直接略去,這也是它們永遠保持為零的原因。這些假設都不能補回模糊圖像中缺失的資訊。
詳解例子
例題 1.3.3
(一個偵測器與正計數)
令 、、。則 ,其中 。導數為零當且僅當 ,故唯一最小值點為 。由 開始,更新得 ,一般仍須繼續迭代。解的期望計數是五,而源強度是二。
例題 1.3.4
(邊界最小值)
若 、、,則 ,唯一最小值點是零。從任何正起點出發,更新一步便到零。零計數不會造成零的對數:它只使對數項消失,而正背景令均值保持正數。
例題 1.3.5
(兩個源與一個偵測器)
令 、、。目標函數只依賴 ;所有非負且和為四的數對均為最小值點。更新把兩個分量同乘 ,因此兩者為正時比例不變。數據不能辨認總強度如何分配,目標值不增也不能補足這個資訊缺口。
常見錯誤
反例模式
零座標可能掩蓋較好的解
設 、、,唯一最小值點是 。若把乘法公式的起點取為 ,它卻永遠停在零,儘管 。嚴格正起點避免這種即時鎖定,但本身並不構成一般收斂定理。
以下兩個錯誤關乎數據與迭代能提供甚麼。
常見錯誤
(捨棄零計數)
零計數仍貢獻 ,懲罰預測計數。取 、、,完整目標函數有唯一最小值點 。若刪去第二個偵測器,便移除了唯一含 的項,於是所有 的 都成為最小值點:第二個源是暗的這一資訊就此丟失。
常見錯誤
(把單調下降當作可辨認)
在兩個源的例子中,所有和為四的數對都是最小值點,而更新保持正分量之比。因此起點 與 若收斂,會分別趨於不同極限 與 。單調性是算法的性質,不能在數據無法區分的最小值點之間作出選擇。
似然函數本身不是正則化項。即使最大似然估計唯一,在病態模型中仍可能對噪聲極為敏感。加入懲罰或提早停止會改變估計量,須另作分析。此外,泊松均值等於方差是觀測模型的假設;偵測器飽和、相關計數及校準誤差都可能使它失效。
快速檢查
快速檢查
(為何觀測 與缺少偵測器不同?)
比較兩者對 的貢獻。
解答 · 答案
零觀測仍貢獻 ,懲罰該偵測器的預測計數;缺少偵測器則完全沒有該似然項。
練習
練習 1.3.6
(設 、、,求最小值點及由 出發的第一次更新。)
基礎
解答(2)
- 1
解駐點方程
給出 ,即唯一最小值點。
- 2
執行一次更新
在 時 、,故 。
練習 1.3.7
(設 、、,求最小值點,並解釋無約束駐點為何不可行。)
基礎
解答(2)
- 1
找出駐點
給出 ,不在正交象限內。
- 2
利用導數的符號
當 時 , 遞增,故最小值點為 。
練習 1.3.8
(設 為二階單位矩陣、、。求最小值點,並判斷定理的生成條件是否成立。)
核心
解答(3)
- 1
分離目標函數
。
- 2
分別最小化
第一部分在 即 取得最小值,第二部分在 。唯一最小值點為 。
- 3
檢查生成條件
只有第一個計數為正,其單一行不能生成 。但最小值點仍唯一,可見這個充分條件並非必要。
練習 1.3.9
(設 、、,起點 。計算第一次迭代,並說明若迭代收斂,其總和的極限。)
核心
解答(3)
- 1
計算第一次迭代
,兩個分量都乘以 :得 ,總和為 。
- 2
求不動的總和
關鍵一步
總和滿足 ,正不動點須滿足 ,即 。
- 3
利用保持不變的比例
比例保持為 ,在收斂假設下極限為 。