動機
在跳躍時刻抽樣是計到訪,在固定實時間抽樣是計停留多久,兩種抽樣甚至未必能同時正規化。嵌入到訪可能沒有平穩概率,但快速時鐘把離散步數很長的遠遊壓成較短實時間,使實時間佔用有平衡概率。
因此「除以離開速率再正規化」需要假設及證明:除的是哪個到訪測度?所得總量有限嗎?局部速率是否構造出每個有限時間都存在的過程?平穩平均離開速率無限時又如何?本節用完整回返循環回答,不把形式平衡方程當成充分理由。
論證使用可數離散平穩判準、獨立可積變量的強大數定律及最小跳躍構造;以下會標明每處使用位置。
定義
可數且至少有兩狀態。假設離開速率嚴格正且有限 , 為不可約隨機矩陣且 。定義穩定保守速率矩陣
嵌入鏈 依 移動。給定到訪狀態後,各停留是平均 的獨立指數時間,使用新的獨立單位指數變量構造。考慮最小純跳躍過程,假設由每個初態均非爆炸。平穩指對所有 有 ,不只形式上的 。
把到訪轉換為時間的權重,由嵌入鏈的一個回返循環定義。
定義 3.5.1
(循環到訪測度與實時間權重)
若 常返,固定 ,令 為跳躍步數的首次正返回,定義循環到訪測度及實時間權重
包含參考起始到訪,不包括終端返回,所以 。連續循環從進入 開始,包括其初始指數停留,到下次進入 為止;不能定為在 的正時間下確界,因初始停留期間該下確界是零。
定理/命題
定理 3.5.2
(一般平穩佔用判準)
在所述不可約、正有限速率及非爆炸假設下,存在平穩概率恰好當嵌入鏈常返且 。此分佈唯一,且
嵌入鏈常返本身已足以保證此構造非爆炸,即使離散平均返回步數無限。常返但 時,沒有平穩概率,連續平均循環無限。
定理 3.5.3
(正規化到訪分佈與離開權重)
常返不可約 的每個嚴格正、分量有限不變測度,都與 成比例。若 有平穩概率 ,則連續時間平穩概率存在恰好當 ,且
實時間平穩分佈存在時,平均離開權重是
若 , 是嵌入平穩概率;若 ,不能如此正規化,嵌入鏈零常返,即使實時間已平穩。
證明思路
到訪循環及其不變測度
證明
(循環測度、唯一性與非爆炸)
常返使每個嵌入回返循環幾乎必然有限。簡單路徑可在返回 前到達 ,故各 ;每次到 ,都有固定正概率沿簡單路徑在重訪 前擊中 ,所以次數有幾何尾界,各分量有限。完整循環的初終都是 ,把期望離開改計到達便得 。即使總和無限,非負求和仍保證恆等式合法。
另證有限分量不變測度的唯一比例。設 ,各 。反覆代入並排除中途到 的路徑,每個由 出發尚未返回的有限路徑集合都提供非負貢獻;遞增窮盡得到 。在 因 為等式。差 非負且不變,因每個目標的兩個流入和均有限,可逐座標相減。若某 ,從 到 的正概率路徑迫使 ,矛盾。所以 。
給定嵌入路徑,每次到 的平均停留 ;Tonelli 得一個連續循環在 的期望佔用 ,總長期望 ,容許無限。每次回 ,目的地與指數抽樣獨立重新開始,所以各循環獨立同分佈。它們包含平均 的獨立參考狀態停留,單這些停留之和已由強大數定律發散,因此常返嵌入路徑不爆炸。其他初態幾乎必然在有限嵌入步數擊中 ,之前只是有限個有限停留。
證明透視
循環測度如何迫使唯一性
唯一性一半靠三件事。第一,任何不變的 都不小於 :沿離開 而尚未返回的路徑展開 ,恰好得到定義 的循環訪問和,再加一個被捨去的非負餘項。第二,兩個測度在 相等,因為 。第三,不可約性把任何多出的質量傳到 :非負不變差滿足 ,所以 處的多出質量會出現在 。常返只用來保證 不變; 各分量有限,才使相減合法。
有限平均佔用構造真正平穩分佈
證明
(時間平均給出不變概率)
設 ,對連續循環長及各狀態時間報酬用獨立可積強大數定律,完整循環給佔用比例 。未完成循環不影響:若完成時刻為 ,,且 ;未完成報酬不超過該循環長。首次到 的有限前綴亦無影響,故由每個初態時間平均幾乎必然趨於 。
仍須證此概率向量被真正轉移半群保持。令 ,路徑佔用的有界收斂給 。各 是概率,極限總和一,故逐點收斂推出全變差:在大有限集上差異趨零,外部質量因極限是概率而小。
固定 ,馬爾可夫(Markov)性給
比較積分區間,其與 的差至多 ;另一方面全變差收斂容許概率向量經有界核 取極限。故 。這是在半群層面證不變性,未無理由交換無界生成矩陣與無限和。
證明透視
為甚麼時間平均是不變的
充分性證明從不解 ;它把 構造成極限,再對每個核 檢查不變性。
- 嵌入常返提供獨立同分佈循環,而 正是強大數定律所需的可積性。沒有它,時間比例仍存在,但趨於零。
- 非爆炸經馬爾可夫性 及隨機行使用,把平移後的平均寫成 。
- 關鍵一步是窗口比較:積分窗口平移 ,平均至多改變 。
- 由逐點收斂提升到全變差收斂(因為極限是概率向量),才容許極限穿過有界核 。
論證得以收結,是因為 兩邊分別收斂到 與 。
必要性與唯一性
證明
(平穩分佈迫使常返及有限佔用)
若實時間平穩概率 存在,各狀態質量皆正,因正有限速率路徑可在任意正時間內以正概率完成。任意固定格距 的骨架 同理不可約,平穩為 。前文已證可數離散平穩判準使骨架常返,會在任意晚時刻到 。每次在 的停留幾乎必然有限,因此必有無限次真正嵌入返回, 常返。
若連續循環均值無限,單位時間完整循環數趨零。證法是先把每個獨立同分佈長度截在固定水平,使用普通強大數定律,再令水平增大;截斷均值趨無限。佔用 的時間至多是首「完成循環數加一」個獨立指數停留之和,其樣本均值趨 ,故佔用比例趨零。有限初始前綴不改極限。
但平穩初態下
比例至多一,有界收斂將迫使期望零,矛盾。所以 。已證由各起點的佔用極限再按 平均,就識別 ,證必要性及唯一性。
最後 ,其總和有限恰當嵌入循環平均跳步有限,即 正常返,此時正規化給嵌入平穩概率。若總和無限,嵌入鏈零常返,到訪測度不可正規化,卻仍可除以速率得到有限時間測度。速率平衡只是結果:每個目標的 ,所以逐座標成立;它並非存在性證明。
第二個定理的無限測度情形,取決於「幾乎必然有限」與「期望有限」之間的區別。
概念視角結構
有限路徑可以有無限期望跳數
非爆炸表示每個有界時段的跳數幾乎必然有限,不保證每個隨機跳數的期望有限,也不保證 有限。支撐定理無限測度情形的是循環佔用,而非預先假設全局平均跳躍強度有限。
例題詳解
例題 3.5.4
(非可逆三狀態環)
嵌入鏈確定地 ,離開率 。循環到訪 ,停留權重 ,故 ,實時間平穩 ,零至零平均連續循環 。嵌入平穩則均勻。平均離開權重 ,把時間概率乘速率再正規化便恢復均勻到訪分佈,不需細緻平衡或可逆性。
例題 3.5.5
(零常返到訪與正常返時間)
取嵌入簡單對稱整數遊走,其常返及無限計數不變測度已在轉移極限筆記證明,令 。重複獨立零停留使過程非爆炸。以 得
實時間有平穩概率及有限零循環均值 ,嵌入鏈卻沒有平穩概率。,因遠處快時鐘把期望跳步無限的遠遊壓成有限期望時間。
例題 3.5.6
(正常返到訪被慢時鐘變成零常返)
,正狀態向上概率 、向下 。邊平衡驗證不變循環測度 、,總和四有限,故嵌入正常返。改取 ,速率有界而非爆炸,但 、每個正狀態 ,使 。嵌入有平穩概率,實時間卻常返而平均循環無限,沒有平穩概率。遠處的慢狀態逆轉了正規化結果。
常見錯誤
常見錯誤
(除以為零或虛擬的離開速率)
吸收狀態的離開率為零,不屬定理的正速率不可約情形;把其平穩質量除以零毫無意義,吸收類須另外處理。虛擬自更新也不是真正跳躍,所以明確要求 。
常見錯誤
(先正規化到訪再除以速率)
先把到訪正規化再除以速率,只在到訪概率存在時才方便;零常返例子需要無限到訪測度。反過來,到訪可正規化並不保證時間亦可正規化,第三個例題正是如此。
形式解 並不是上述路徑論證;定理明確檢查常返、壽命及總時間權重的有限性。下面的鏈說明這些檢查不能省略。
反例模式
解出平衡方程的概率未必平穩
聲稱:滿足 的概率向量是平穩的。取生滅速率: 時 , 時 ,並令 。每條邊都有 ,故 。嵌入鏈在正狀態向上概率為 ,屬暫態;由零出發的期望壽命 ,所以最小過程爆炸。當 ,馬爾可夫不等式給 ,因此 的總質量至多 ,。定理從兩方面排除這條鏈:嵌入鏈是暫態,而且非爆炸不成立。
總結
回返循環到訪權重除以正離開速率,才是時間權重。嵌入常返保證循環與非爆炸有意義,總時間權重有限恰為平穩概率判準。平均離開權重有限時恢復嵌入平穩概率,無限時實時間仍可平穩而跳躍到訪零常返。
練習
快速檢查
(嵌入兩狀態交替,離開率為二及五。求實時間平衡、零至零平均循環及平均離開權重。)
兩個循環到訪數都是一。
解答 · 答案
循環到訪為 ,時間權重為 ,故 、。平均循環為 ,平均離開權重為 。
練習 3.5.7
(沿用第三個例題的反射有偏遊走,但取 。求 、實時間平穩權重及平均離開權重。)
核心
解答(3)
- 1
把循環到訪除以速率
由 、 及 ,時間權重為 ; 時 。
- 2
求幾何級數之和
,且 。速率有界而嵌入鏈常返,所以過程非爆炸。
依據: 。
- 3
計算離開權重
嵌入循環總質量為 ,所以 ,是有限的。
快速檢查
(把所有離開率乘以 , 不變。平穩性、平均循環、非爆炸及平均離開權重如何改變?)
到訪測度 只取決於 。
解答 · 答案
停留時間及 除以 ,正規化時間權重與嵌入鏈不變。確定性的時標轉換保留非爆炸。平均離開權重乘以 ;無限值仍為無限。
練習 3.5.8
(對嵌入對稱整數遊走及速率 (),分類實時間平穩正規化,並判斷平均離開權重能否有限。)
核心
解答(3)
- 1
非爆炸來自常返
對每個 ,構造在每個有限時間都定義了過程。
依據: 嵌入遊走常返,定理對每種有限正速率都給出非爆炸。
- 2
計算總時間權重
關鍵一步
以計數到訪測度 ,,恰在 時有限。 時鏈在實時間正常返,; 時平均連續循環無限,沒有平穩概率。
- 3
檢驗離開權重
只要正規化存在,每個整數 都有 ,所以 。平均離開權重永不有限。