為何去掉方差假設?
即使方差無限,樣本的長期平均仍可能穩定。之前有限方差的證明不能直接處理這種情況:其中的方差上界可能是無限大。截斷法讓我們在幾乎每條樣本路徑上只刪去有限多個例外值,同時控制保留下來的隨機變量的方差。
定理與準備
定理 18.1.1
(可積獨立同分佈強大數定律)
若實隨機變量 相互獨立且同分佈,,並令 ,則
這裏不要求二階矩有限。
證明
(截斷只改變有限多項)
令 。由尾積分公式及 的單調性,
第一 Borel–Cantelli 引理因此說明,幾乎必然對所有充分大的 有 。在每條這樣的路徑上,兩個部分和最終只相差一個固定有限數,故它們的平均有相同極限。這一步不需要獨立性。
可和的方差上界
證明
(截斷後方差可和)
接著證明 。利用同分佈及非負項的 Tonelli 定理,
要驗證不等式,當 時,;當 時,積分比較給出 。方差不超過二階矩,便得所需結論。每個 都有界,且它們仍然獨立,但不再同分佈。
加權中心化級數的收斂
證明
(中心化級數幾乎必然收斂)
令 。這些變量獨立、均值為零,且 。我們證明 幾乎必然收斂。選取遞增整數 ,使 。獨立、中心化且方差有限的變量滿足 Kolmogorov 極大不等式,因此對所有 ,
對 取遞增聯集,上界仍然成立。這些上界對 可和,故 Borel–Cantelli 說明:幾乎必然對所有充分大的 ,從 開始的每個部分和絕對值均不超過 。若 ,它們之間的和是兩個這樣的部分和之差,絕對值至多為 。由柯西(Cauchy)準則,級數收斂。這裏使用的是前一篇收斂筆記中證明的極大不等式, 的獨立性和中心化不可省略。
Kronecker 引理與證明的完成
我們需要以下初等引理。
引理 18.1.2
(Kronecker 引理)
若 收斂,則 。
證明
(分部求和)
令 ,,分部求和得
若 ,右邊的 Cesàro 平均也趨向 ,引理得證。
這個引理把收斂的加權級數轉化為平均的收斂。
證明
(完成強大數定律的證明)
對每條路徑應用 Kronecker 引理,取 ;上一節給出 幾乎必然。此外,由 及受控收斂定理,,其 Cesàro 平均亦趨向 。所以 的平均幾乎必然收斂至 ,而有限次差異的論證將結論轉移至 。
證明透視
四個步驟如何分用各個假設
證明是四步化約組成的鏈條,每個假設都在一個明確的環節使用。可積性以同一形式用了兩次:尾和 令截斷只改變有限多項;上界 令截斷後的方差可和。同分佈使兩個估計都只需用 的分佈來寫。獨立性只用了一次,即中心化變量 的 Kolmogorov 極大不等式;截斷一步只需第一 Borel–Cantelli 引理,而 Kronecker 引理是確定性的。
不明顯的選擇是截斷水平取 ,隨指標增長。除非 有界,固定水平會改變無限多項;完全不截斷則方差可以無限。水平 平衡了兩個級數,而 中除以 與之配合,使 Kronecker 引理能把 的收斂轉回平均的收斂。中心化常數 不造成問題,因為由受控收斂它們趨向 。
例子與邊界
例題 18.1.3
(有限均值但方差無限)
設 的密度在 時為 ,其他地方為零。直接積分得 ,但 。對其獨立同分佈副本,上述定理給出 幾乎必然。先前的有限方差證明不適用,而這裏的定理適用。
例題 18.1.4
(尾部為 階時的截斷估計)
對上例的分佈, 時尾概率為 。截斷級數為 ,所以幾乎必然只有有限多項被改變。方差一步中,
它無界增長。然而 。最後 。證明的每個成分在這裏都看得見:截斷後的二階矩無界,但增長得夠慢,除以 後便可和。
例題 18.1.5
(沒有有限均值時平均無法穩定)
設 獨立同分佈且 ,正負號不受限制。由於
級數 發散。事件 互相獨立,所以第二 Borel–Cantelli 引理給出:幾乎必然有無限多個 使 。若在某條路徑上 收斂至有限極限 ,則
這與無限多次 矛盾。因此平均幾乎必然沒有有限極限。對獨立同分佈的平均而言,可積性也是有限幾乎必然極限的必要條件;下面的反例展示平均發散的一種方式。
反例模式
無限均值可能使有限極限失效
設 時 ,並取獨立同分佈副本。此時 。對每個正整數 ,有界變量 滿足強大數定律,其均值為 。取這些概率一事件的可數交集,便得
因此平均幾乎必然趨向 。這只是一個例子,並非聲稱每個不可積的帶符號分佈都具有某個特定極限。
常見錯誤
常見錯誤
(截斷只可改變有限多項)
一次特別大的觀測值不一定破壞強大數定律;關鍵是所選截斷改變觀測值的事件有可和概率。把每項都截斷於同一固定水平 ,只要 便不合格:事件 互相獨立且概率不變,由第二 Borel–Cantelli 引理,會有無限多項被改變。
常見錯誤
(方差趨零不保證級數收斂)
收斂比單有 強;證明用到了方差之和及極大不等式。
常見錯誤
(有限均值要求 )
實隨機變量有有限均值的意思是 ,不能以兩個發散的正、負部分期望互相抵消來定義 。
練習
快速檢查
(若 時 ,求 ,判斷 是否有限,並寫出獨立同分佈樣本平均的極限。)
解答 · 答案
尾積分公式給出 。二階矩發散,因為 。由可積獨立同分佈定理,樣本平均幾乎必然收斂至 。
快速檢查
(對可積獨立同分佈的 ,用 Borel–Cantelli 證明 幾乎必然。)
解答 · 答案
對每個 ,單調性和尾積分公式給出 。Borel–Cantelli 說明 最終幾乎必然成立。對 , 取可數交集便得結論。
快速檢查
(設 及 。用引理求 的極限,並解釋為何不需要無權級數收斂。)
解答 · 答案
交錯調和級數收斂,Kronecker 引理給出極限 。無權部分和在 與 之間交替,並不收斂;引理只要求除以 後的級數收斂。
快速檢查
(設對所有 均有 ,其中 。均值為 時,強大數定律的結論成立嗎?缺少哪個假設?)
解答 · 答案
每個樣本平均都等於 ,永不等於 ,因此不收斂至均值。這些變量的邊際分佈相同,但不獨立;邊際相同不足以提供定理要求的獨立性。