动机
弱光探测器可能在一个像素只记录到少量光子。此时假设误差方差固定的高斯(Gauss)模型可能不合适:平均计数为一与为一百的像素,其计数方差并不相同。本节从均值等于方差的有限计数模型出发,推导目标函数和算法。这是特定的理想化模型,并非某一种探测器的模型。
未知量 表示源像素 的强度,而 描述其中到达探测像素 的比例。已知背景强度为 。对有限矩阵 ,写 ,并假设给定 时,各计数 独立且服从均值为 的泊松(Poisson)分布。此模型可以描述模糊,但矩阵与背景均须事先校准,不能单凭观测图像假定已知。
定义
观测到 的概率为 。把负对数似然中与 无关的项去掉,得到
正背景保证即使 ,对数仍有定义。零背景也可以建模,但必须另行处理零均值及边界约定。在所有 均为正的开邻域内,梯度与 Hessian 为
除法逐分量进行。零观测值对目标函数仍贡献 ,只是没有曲率;不应把该探测器丢弃。
定理与命题
定理 1.3.1
(存在性及唯一性的充分条件)
设 、,且 每一列(固定 的元素 )的总和为正。则 在非负正交象限上有最小值。若以 标记的行向量张成 ,最小值点唯一。此张成条件充分但非必要。
定理 1.3.2
(目标值不增的乘法步骤)
在相同假设下,令 ,并取 。定义
所有迭代点均非负,且 。单凭此不等式,不能断言迭代点收敛至唯一最小值点,也不能决定停止时间。
乘法形式掩藏了一个梯度步,下面的描述把它明确写出。
概念视角分析
把乘法步看作缩放梯度步
由于 ,更新可改写为
这是坐标步长为 的梯度步。因此正的不动点在每个坐标都满足 ,而等于零的坐标永远不动。正交象限上的最优条件 、、,用的正是推动这一步的同一乘积 。
证明与思路
证明
(强制性与严格凸性)
对每个 ,函数 在 连续、有下界,且 时趋向无穷大。由于 非负且每一列的和为正,当 、 时,。于是至少一个 发散,而其余各项有下界,故 在闭正交象限上具有强制性。由连续性及有界下水平集的紧致性,最小值存在。Hessian 半正定;如果正计数对应的行张成整个空间,对任何非零 ,
因此沿正交象限内每条非常数线段的二阶导数均为正, 严格凸,最小值点至多一个。
证明
(以可分离上界保证下降)
为证下降性,先假设当前 各分量均正。令 及 ;这些非负权重加起来为一。对任意各分量均正的试探向量 ,对数的凹性给出
省略零权重项,而背景项是 。令 ,则
右边在 时等于零,并可逐坐标最小化:在 上的最小值由 取得。若 ,对数项视为零,最小值在边界 。利用连续性,即使新迭代点含零也得到下降不等式。往后对正坐标重复同一论证,零坐标保持不变,故所有步骤都成立;这不是收敛速率的证明。
证明透视
保证从何而来
下降证明是“先上界、后最小化”的论证,其中只有一个决定性步骤:以权重 应用詹森(Jensen)不等式,这些权重把每个预测计数 拆成各源的贡献与背景。这条不等式把耦合项 化为单一坐标项之和,得到一个在 处与 相接、并可逐坐标分离的上界。最小化一个位于 之上、且在 处与它相等的函数,只会使 下降;但一步之内未必能最小化 。
每个假设都有明确作用。 为正使所有 为正,所以即使有坐标为零,对数和权重仍有定义。正的列和使每个可分离问题 有有限的最小值点,也就是更新本身。当前迭代点须严格为正,才能写出 ;为零的坐标直接略去,这也是它们永远保持为零的原因。这些假设都不能补回模糊图像中缺失的信息。
详解例子
例题 1.3.3
(一个探测器与正计数)
令 、、。则 ,其中 。导数为零当且仅当 ,故唯一最小值点为 。由 开始,更新得 ,一般仍须继续迭代。解的期望计数是五,而源强度是二。
例题 1.3.4
(边界最小值)
若 、、,则 ,唯一最小值点是零。从任何正起点出发,更新一步便到零。零计数不会造成零的对数:它只使对数项消失,而正背景令均值保持正数。
例题 1.3.5
(两个源与一个探测器)
令 、、。目标函数只依赖 ;所有非负且和为四的数对均为最小值点。更新把两个分量同乘 ,因此两者为正时比例不变。数据不能辨认总强度如何分配,目标值不增也不能补足这个信息缺口。
常见错误
反例模式
零坐标可能掩盖较好的解
设 、、,唯一最小值点是 。若把乘法公式的起点取为 ,它却永远停在零,尽管 。严格正起点避免这种即时锁定,但本身并不构成一般收敛定理。
以下两个错误关乎数据与迭代能提供什么。
常见错误
(舍弃零计数)
零计数仍贡献 ,惩罚预测计数。取 、、,完整目标函数有唯一最小值点 。若删去第二个探测器,便移除了唯一含 的项,于是所有 的 都成为最小值点:第二个源是暗的这一信息就此丢失。
常见错误
(把单调下降当作可辨认)
在两个源的例子中,所有和为四的数对都是最小值点,而更新保持正分量之比。因此起点 与 若收敛,会分别趋于不同极限 与 。单调性是算法的性质,不能在数据无法区分的最小值点之间作出选择。
似然函数本身不是正则化项。即使最大似然估计唯一,在病态模型中仍可能对噪声极为敏感。加入惩罚或提早停止会改变估计量,须另作分析。此外,泊松均值等于方差是观测模型的假设;探测器饱和、相关计数及校准误差都可能使它失效。
快速检查
快速检查
(为何观测 与缺少探测器不同?)
比较两者对 的贡献。
解答 · 答案
零观测仍贡献 ,惩罚该探测器的预测计数;缺少探测器则完全没有该似然项。
练习
练习 1.3.6
(设 、、,求最小值点及由 出发的第一次更新。)
基础
解答(2)
- 1
解驻点方程
给出 ,即唯一最小值点。
- 2
执行一次更新
在 时 、,故 。
练习 1.3.7
(设 、、,求最小值点,并解释无约束驻点为何不可行。)
基础
解答(2)
- 1
找出驻点
给出 ,不在正交象限内。
- 2
利用导数的符号
当 时 , 递增,故最小值点为 。
练习 1.3.8
(设 为二阶单位矩阵、、。求最小值点,并判断定理的张成条件是否成立。)
核心
解答(3)
- 1
分离目标函数
。
- 2
分别最小化
第一部分在 即 取得最小值,第二部分在 。唯一最小值点为 。
- 3
检查张成条件
只有第一个计数为正,其单一行不能张成 。但最小值点仍唯一,可见这个充分条件并非必要。
练习 1.3.9
(设 、、,起点 。计算第一次迭代,并说明若迭代收敛,其总和的极限。)
核心
解答(3)
- 1
计算第一次迭代
,两个分量都乘以 :得 ,总和为 。
- 2
求不动的总和
关键一步
总和满足 ,正不动点须满足 ,即 。
- 3
利用保持不变的比例
比例保持为 ,在收敛假设下极限为 。