动机
在跳跃时刻抽样是计到访,在固定实时间抽样是计停留多久,两种抽样甚至未必能同时归一化。嵌入到访可能没有平稳概率,但快速时钟把离散步数很长的远游压成较短实时间,使实时间占用有平衡概率。
因此“除以离开速率再归一化”需要假设及证明:除的是哪个到访测度?所得总量有限吗?局部速率是否构造出每个有限时间都存在的过程?平稳平均离开速率无限时又如何?本节用完整回返循环回答,不把形式平衡方程当成充分理由。
论证使用可数离散平稳判据、独立可积变量的强大数定律及最小跳跃构造;下文会标明每处使用的位置。
定义
可数且至少有两状态。假设离开速率严格正且有限 , 为不可约随机矩阵且 。定义稳定保守速率矩阵
嵌入链 依 移动。给定到访状态后,各停留是平均 的独立指数时间,使用新的独立单位指数变量构造。考虑最小纯跳跃过程,假设由每个初态均非爆炸。平稳指对所有 有 ,不只形式上的 。
把到访转换为时间的权重,由嵌入链的一个回返循环定义。
定义 3.5.1
(循环到访测度与实时间权重)
若 常返,固定 ,令 为跳跃步数的首次正返回,定义循环到访测度及实时间权重
包含参考起始到访,不包括终端返回,所以 。连续循环从进入 开始,包括其初始指数停留,到下次进入 为止;不能定为在 的正时间下确界,因初始停留期间该下确界是零。
定理/命题
定理 3.5.2
(一般平稳占用判据)
在所述不可约、正有限速率及非爆炸假设下,存在平稳概率恰好当嵌入链常返且 。此分布唯一,且
嵌入链常返本身已足以保证此构造非爆炸,即使离散平均返回步数无限。常返但 时,没有平稳概率,连续平均循环无限。
定理 3.5.3
(归一化到访分布与离开权重)
常返不可约 的每个严格正、分量有限不变测度,都与 成比例。若 有平稳概率 ,则连续时间平稳概率存在恰好当 ,且
实时间平稳分布存在时,平均离开权重是
若 , 是嵌入平稳概率;若 ,不能如此归一化,嵌入链零常返,即使实时间已平稳。
证明思路
到访循环及其不变测度
证明
(循环测度、唯一性与非爆炸)
常返使每个嵌入回返循环几乎必然有限。简单路径可在返回 前到达 ,故各 ;每次到 ,都有固定正概率沿简单路径在重访 前击中 ,所以次数有几何尾界,各分量有限。完整循环的初终都是 ,把期望离开改计到达便得 。即使总和无限,非负求和仍保证恒等式合法。
另证有限分量不变测度的唯一比例。设 ,各 。反复代入并排除中途到 的路径,每个由 出发尚未返回的有限路径集合都提供非负贡献;递增穷尽得到 。在 因 为等式。差 非负且不变,因每个目标的两个流入和均有限,可逐坐标相减。若某 ,从 到 的正概率路径迫使 ,矛盾。所以 。
给定嵌入路径,每次到 的平均停留 ;Tonelli 得一个连续循环在 的期望占用 ,总长期望 ,容许无限。每次回 ,目的地与指数抽样独立重新开始,所以各循环独立同分布。它们包含平均 的独立参考状态停留,单这些停留之和已由强大数定律发散,因此常返嵌入路径不爆炸。其他初态几乎必然在有限嵌入步数击中 ,之前只是有限个有限停留。
证明透视
循环测度如何迫使唯一性
唯一性这一半依靠三件事。第一,任何不变的 都不小于 :沿离开 而尚未返回的路径展开 ,恰好得到定义 的循环访问和,再加上一个被舍去的非负余项。第二,两个测度在 处相等,因为 。第三,不可约性把任何多出的质量传到 :非负不变差满足 ,所以 处多出的质量会出现在 。常返只用来保证 不变; 的各分量有限,才使相减合法。
有限平均占用构造真正平稳分布
证明
(时间平均给出不变概率)
设 ,对连续循环长及各状态时间报酬用独立可积强大数定律,完整循环给占用比例 。未完成循环不影响:若完成时刻为 ,,且 ;未完成报酬不超过该循环长。首次到 的有限前缀亦无影响,故由每个初态时间平均几乎必然趋于 。
仍须证此概率向量被真正转移半群保持。令 ,路径占用的有界收敛给 。各 是概率,极限总和一,故逐点收敛推出全变差:在大有限集上差异趋零,外部质量因极限是概率而小。
固定 ,马尔可夫(Markov)性给
比较积分区间,其与 的差至多 ;另一方面全变差收敛容许概率向量经有界核 取极限。故 。这是在半群层面证不变性,未无理由交换无界生成矩阵与无限和。
证明透视
为什么时间平均是不变的
充分性证明从不求解 ;它把 构造为极限,再对每个核 检验不变性。
- 嵌入常返提供独立同分布的循环,而 正是强大数定律所需的可积性。没有它,时间比例仍然存在,但趋于零。
- 非爆炸通过马尔可夫性 及随机行被使用,把平移后的平均写成 。
- 关键一步是窗口比较:积分窗口平移 ,平均至多改变 。
- 由逐点收敛提升到全变差收敛(因为极限是概率向量),才允许极限穿过有界核 。
论证得以闭合,是因为 两边分别收敛到 与 。
必要性与唯一性
证明
(平稳分布迫使常返及有限占用)
若实时间平稳概率 存在,各状态质量皆正,因正有限速率路径可在任意正时间内以正概率完成。任意固定格距 的骨架 同理不可约,平稳为 。前文已证可数离散平稳判据使骨架常返,会在任意晚时刻到 。每次在 的停留几乎必然有限,因此必有无限次真正嵌入返回, 常返。
若连续循环均值无限,单位时间完整循环数趋零。证法是先把每个独立同分布长度截在固定水平,使用普通强大数定律,再令水平增大;截断均值趋无限。占用 的时间至多是首“完成循环数加一”个独立指数停留之和,其样本均值趋 ,故占用比例趋零。有限初始前缀不改极限。
但平稳初态下
比例至多一,有界收敛将迫使期望零,矛盾。所以 。已证由各起点的占用极限再按 平均,就识别 ,证必要性及唯一性。
最后 ,其总和有限恰当嵌入循环平均跳步有限,即 正常返,此时归一化给嵌入平稳概率。若总和无限,嵌入链零常返,到访测度不可归一化,却仍可除以速率得到有限时间测度。速率平衡只是结果:每个目标的 ,所以逐坐标成立;它并非存在性证明。
第二个定理的无限测度情形,取决于“几乎必然有限”与“期望有限”之间的区别。
概念视角结构
有限路径可以有无限期望跳数
非爆炸表示每个有界时段的跳数几乎必然有限,不保证每个随机跳数的期望有限,也不保证 有限。支撑定理无限测度情形的是循环占用,而非预先假设全局平均跳跃强度有限。
例题详解
例题 3.5.4
(非可逆三状态环)
嵌入链确定地 ,离开率 。循环到访 ,停留权重 ,故 ,实时间平稳 ,零至零平均连续循环 。嵌入平稳则均匀。平均离开权重 ,把时间概率乘速率再归一化便恢复均匀到访分布,不需细致平衡或可逆性。
例题 3.5.5
(零常返到访与正常返时间)
取嵌入简单对称整数游走,其常返及无限计数不变测度已在转移极限笔记证明,令 。重复独立零停留使过程非爆炸。以 得
实时间有平稳概率及有限零循环均值 ,嵌入链却没有平稳概率。,因远处快时钟把期望跳步无限的远游压成有限期望时间。
例题 3.5.6
(正常返到访被慢时钟变成零常返)
,正状态向上概率 、向下 。边平衡验证不变循环测度 、,总和四有限,故嵌入正常返。改取 ,速率有界而非爆炸,但 、每个正状态 ,使 。嵌入有平稳概率,实时间却常返而平均循环无限,没有平稳概率。远处的慢状态逆转了归一化结果。
常见错误
常见错误
(除以为零或虚拟的离开速率)
吸收状态的离开率为零,不属于定理的正速率不可约情形;把其平稳质量除以零毫无意义,吸收类须另行处理。虚拟自更新也不是真正的跳跃,所以明确要求 。
常见错误
(先归一化到访再除以速率)
先把到访归一化再除以速率,只在到访概率存在时才方便;零常返例子需要无限到访测度。反过来,到访可以归一化并不保证时间也可以归一化,第三个例题正是如此。
形式解 并不是上述路径论证;定理明确检验常返、寿命及总时间权重的有限性。下面的链说明这些检验不能省略。
反例模式
满足平衡方程的概率未必平稳
断言:满足 的概率向量是平稳的。取生灭速率: 时 , 时 ,并令 。每条边都有 ,故 。嵌入链在正状态向上概率为 ,是暂态的;从零出发的期望寿命 ,所以最小过程爆炸。当 时,马尔可夫不等式给出 ,因此 的总质量至多为 ,。定理从两方面排除这条链:嵌入链是暂态的,而且非爆炸不成立。
总结
回返循环到访权重除以正离开速率,才是时间权重。嵌入常返保证循环与非爆炸有意义,总时间权重有限恰为平稳概率判据。平均离开权重有限时恢复嵌入平稳概率,无限时实时间仍可平稳而跳跃到访零常返。
练习
快速检查
(嵌入两状态交替,离开率为二及五。求实时间平衡、零到零平均循环及平均离开权重。)
两个循环到访数都是一。
解答 · 答案
循环到访为 ,时间权重为 ,故 、。平均循环为 ,平均离开权重为 。
练习 3.5.7
(沿用第三个例题的反射有偏游走,但取 。求 、实时间平稳权重及平均离开权重。)
核心
解答(3)
- 1
把循环到访除以速率
由 、 及 ,时间权重为 ; 时 。
- 2
求几何级数之和
,且 。速率有界而嵌入链常返,所以过程非爆炸。
依据: 。
- 3
计算离开权重
嵌入循环总质量为 ,所以 ,是有限的。
快速检查
(把所有离开率乘以 , 不变。平稳性、平均循环、非爆炸及平均离开权重如何改变?)
到访测度 只取决于 。
解答 · 答案
停留时间及 除以 ,归一化时间权重与嵌入链不变。确定性的时间尺度变换保留非爆炸。平均离开权重乘以 ;无限值仍为无限。
练习 3.5.8
(对嵌入对称整数游走及速率 (),对实时间平稳归一化分类,并判断平均离开权重能否有限。)
核心
解答(3)
- 1
非爆炸来自常返
对每个 ,构造在每个有限时间都定义了过程。
依据: 嵌入游走常返,定理对每种有限正速率都给出非爆炸。
- 2
计算总时间权重
关键一步
以计数到访测度 ,,恰在 时有限。 时链在实时间正常返,; 时平均连续循环无限,没有平稳概率。
- 3
检验离开权重
只要归一化存在,每个整数 都有 ,所以 。平均离开权重永远不是有限的。