为何去掉方差假设?
即使方差无限,样本的长期平均仍可能稳定。之前有限方差的证明不能直接处理这种情况:其中的方差上界可能是无限大。截断法让我们在几乎每条样本路径上只删去有限多个例外值,同时控制保留下来的随机变量的方差。
定理与准备
定理 18.1.1
(可积独立同分布强大数定律)
若实随机变量 相互独立且同分布,,并令 ,则
这里不要求二阶矩有限。
证明
(截断只改变有限多项)
令 。由尾积分公式及 的单调性,
第一 Borel–Cantelli 引理因此说明,几乎必然对所有充分大的 有 。在每条这样的路径上,两个部分和最终只相差一个固定有限数,故它们的平均有相同极限。这一步不需要独立性。
可和的方差上界
证明
(截断后方差可和)
接着证明 。利用同分布及非负项的 Tonelli 定理,
要验证不等式,当 时,;当 时,积分比较给出 。方差不超过二阶矩,便得所需结论。每个 都有界,且它们仍然独立,但不再同分布。
加权中心化级数的收敛
证明
(中心化级数几乎必然收敛)
令 。这些变量独立、均值为零,且 。我们证明 几乎必然收敛。选取递增整数 ,使 。独立、中心化且方差有限的变量满足 Kolmogorov 极大不等式,因此对所有 ,
对 取递增并集,上界仍然成立。这些上界对 可和,故 Borel–Cantelli 说明:几乎必然对所有充分大的 ,从 开始的每个部分和绝对值均不超过 。若 ,它们之间的和是两个这样的部分和之差,绝对值至多为 。由柯西(Cauchy)准则,级数收敛。这里使用的是前一篇收敛笔记中证明的极大不等式, 的独立性和中心化不可省略。
Kronecker 引理与证明的完成
我们需要以下初等引理。
引理 18.1.2
(Kronecker 引理)
若 收敛,则 。
证明
(分部求和)
令 ,,分部求和得
若 ,右边的 Cesàro 平均也趋向 ,引理得证。
这个引理把收敛的加权级数转化为平均的收敛。
证明
(完成强大数定律的证明)
对每条路径应用 Kronecker 引理,取 ;上一节给出 几乎必然。此外,由 及控制收敛定理,,其 Cesàro 平均亦趋向 。所以 的平均几乎必然收敛至 ,而有限次差异的论证将结论转移至 。
证明透视
四个步骤如何分用各个假设
证明是由四步化归组成的链条,每个假设都在一个明确的环节使用。可积性以同一形式用了两次:尾和 使截断只改变有限多项;上界 使截断后的方差可和。同分布使两个估计都只需用 的分布来写。独立性只用了一次,即中心化变量 的 Kolmogorov 极大不等式;截断一步只需第一 Borel–Cantelli 引理,而 Kronecker 引理是确定性的。
不明显的选择是截断水平取 ,随指标增长。除非 有界,固定水平会改变无穷多项;完全不截断则方差可能无穷。水平 平衡了两个级数,而 中除以 与之配合,使 Kronecker 引理能把 的收敛转回平均的收敛。中心化常数 不造成问题,因为由控制收敛定理它们趋于 。
例子与边界
例题 18.1.3
(有限均值但方差无限)
设 的密度在 时为 ,其他地方为零。直接积分得 ,但 。对其独立同分布副本,上述定理给出 几乎必然。先前的有限方差证明不适用,而这里的定理适用。
例题 18.1.4
(尾部为 阶时的截断估计)
对上例的分布, 时尾概率为 。截断级数为 ,所以几乎必然只有有限多项被改变。方差一步中,
它无界增长。然而 。最后 。证明的每个成分在这里都看得见:截断后的二阶矩无界,但增长得足够慢,除以 后便可和。
例题 18.1.5
(没有有限均值时平均无法稳定)
设 独立同分布且 ,正负号不受限制。由于
级数 发散。事件 相互独立,所以第二 Borel–Cantelli 引理给出:几乎必然有无穷多个 使 。若在某条路径上 收敛到有限极限 ,则
这与无穷多次 矛盾。因此平均几乎必然没有有限极限。对独立同分布的平均而言,可积性也是有限几乎必然极限的必要条件;下面的反例给出平均发散的一种方式。
反例模式
无限均值可能使有限极限失效
设 时 ,并取独立同分布副本。此时 。对每个正整数 ,有界变量 满足强大数定律,其均值为 。取这些概率一事件的可数交集,便得
因此平均几乎必然趋向 。这只是一个例子,并非声称每个不可积的带符号分布都具有某个特定极限。
常见错误
常见错误
(截断只能改变有限多项)
一次特别大的观测值不一定破坏强大数定律;关键是所选截断改变观测值的事件具有可和的概率。把每项都截断在同一固定水平 ,只要 便不满足这一点:事件 相互独立且概率不变,由第二 Borel–Cantelli 引理,会有无穷多项被改变。
常见错误
(方差趋于零不保证级数收敛)
收敛比仅有 更强;证明用到了方差之和及极大不等式。
常见错误
(有限均值要求 )
实随机变量有有限均值的意思是 ,不能用两个发散的正、负部分期望互相抵消来定义 。
练习
快速检查
(若 时 ,求 ,判断 是否有限,并写出独立同分布样本平均的极限。)
解答 · 答案
尾积分公式给出 。二阶矩发散,因为 。由可积独立同分布定理,样本平均几乎必然收敛至 。
快速检查
(对可积独立同分布的 ,用 Borel–Cantelli 证明 几乎必然。)
解答 · 答案
对每个 ,单调性和尾积分公式给出 。Borel–Cantelli 说明 最终几乎必然成立。对 , 取可数交集便得结论。
快速检查
(设 及 。用引理求 的极限,并解释为何不需要无权级数收敛。)
解答 · 答案
交错调和级数收敛,Kronecker 引理给出极限 。无权部分和在 与 之间交替,并不收敛;引理只要求除以 后的级数收敛。
快速检查
(设对所有 均有 ,其中 。均值为 时,强大数定律的结论成立吗?缺少哪个假设?)
解答 · 答案
每个样本平均都等于 ,永不等于 ,因此不收敛至均值。这些变量的边际分布相同,但不独立;边际相同不足以提供定理要求的独立性。