动机
说随机变量“趋向一个极限”并不完整,还须交代趋近的意思。样本平均可以沿几乎每条无限样本路径稳定下来。标准化后的波动却可以继续变动,同时其分布趋向非常数的极限。这两种叙述涉及不同尺度和不同收敛方式。
先前的弱大数定律只用到单一样本平均的方差。强大数定律须控制整条无限序列。所需的新工具是最大不等式:它控制一段时间内任何部分和变大的概率。至于中心极限定理,特征函数把独立相加变成相乘,并说明为何标准化后只有首两个矩留下影响。
定义
定义 6.1.1
(收敛模式)
设 为实随机变量。几乎必然收敛 是指:使数值序列真正收敛的结果集合,其概率为一。依概率收敛是指
均方收敛,即 收敛,是 。这三个定义都比较同一概率空间上的变量。依分布收敛 则指在 的每个连续点都有 。它只涉及分布,所以变量原先不必定义在同一空间。 的跳跃点不要求这个极限成立。
定义 6.1.2
(特征函数)
实变量的特征函数是 ,,其中 。由于 ,它总是存在,即使 没有平均数也一样。若 独立,则 。缩放则给出 。
主要结果
定理 6.1.3
(收敛方式的若干推论及其范围)
几乎必然收敛推出依概率收敛, 收敛也推出依概率收敛。依概率收敛推出依分布收敛。若分布极限是常数 ,则依分布收敛至 也推出依概率收敛至 。对一般非常数极限,逆向推论并不成立。
证明
(比较事件与分布函数)
证明第一项时,事件 递减;在几乎必然收敛下,其交集概率为零。由概率的上连续性,,而每个较后偏差事件都被 包含。 的推论则是把马尔可夫(Markov)不等式用于平方误差。
对分布收敛,任取 ,有
先让 趋向无穷,再在 的连续点让 递减至零。若极限为常数, 两点的分布函数分别趋向零和一,因此 。
定理 6.1.4
(有限方差强大数定律)
设 独立同分布,,,则
以下证明使用有限方差。只要求独立同分布及可积性的较强版本确实存在,但不是以下论证所证明的结果。
定理 6.1.5
(独立同分布有限方差中心极限定理)
在上述假设下再要求 ,则
以下完整推导特征函数极限,再明确引用莱维(Lévy)连续性定理,把特征函数的收敛转为分布收敛。
证明或证明思路
用最大不等式控制整条路径
引理 6.1.6
(柯尔莫哥洛夫(Kolmogorov)最大不等式)
设 独立、平均为零且方差有限,令 。则对每个 ,
证明
(首次越界时刻)
设 独立、平均为零且方差有限,令 。对 ,令 表示 是首个满足 的指标。这些事件互斥。未来增量 独立于 和 ,且平均为零。因此
对 相加。事件 互斥,并集为 ,而在并集之外 ,所以 。
证明
(二进分块与博雷尔–康泰利(Borel–Cantelli)引理)
取 ,,。所得概率至多为 ,对 的总和有限。第一博雷尔–康泰利(Borel–Cantelli)引理指出,概率总和有限的一列事件几乎必然只发生有限次。证明很短:指标 之后的事件并集概率至多为尾和,而尾和趋于零。
故几乎必然地,对充分大的 ,直到 的最大部分和绝对值小于 。若 ,便有 。把 各自的概率一事件取可数交集,得到 几乎必然成立,强大数定律得证。在每个固定容差下各有一个概率一集合,还须经过这个可数交集步骤,才能同时令容差趋零。
证明透视
为何只检查稀疏样本量不够
在单一指标 使用切比雪夫(Chebyshev)不等式得 ,对 的总和发散,所以不能逐个指标套用博雷尔–康泰利引理。只看二进指标 可使上界总和有限,但仅沿 收敛,对中间的指标毫无说明。关键一步是:最大不等式以同一代价 一次控制直到 的所有部分和,因此二进上界也填补了空隙,代价只是 中的因子 。独立性只在最大不等式中使用:未来增量 必须与 不相关;有限方差使每个上界有限;同分布提供共同的 。论证最后对 取可数交集,把“对每个固定 ,终究落在 之内”变成在同一个概率一集合上收敛。
特征函数的局部展开
证明
(二阶展开与乘积)
令 ,则 ,。写成
其中 当 。可把 选成在整条实线有界: 时使用泰勒(Taylor)公式; 时,把各项除以 即有一致界。因此 被常数倍的 控制,并在 时逐点趋零。支配收敛定理给出
这里只需要有限二阶矩,不需三次矩,也没有交换一个未经证明收敛的无穷泰勒级数与期望。对独立副本 及固定实数 ,
因子是复数时,可在一附近使用对数:,所以对数乘以 后趋向 ,就得到此极限。
证明透视
中心极限论证中各假设的作用
有限方差只用了一次:用常数乘 控制 ,由此得到误差为 的展开,别无其他。中心化与标准化消去一次项,并把二次项系数定为 。独立同分布把和的特征函数化为同一函数的 次幂。关键一步是尺度 :它使二次项恰好是 的量级,所以 次幂有有限且非零的极限,而 的误差乘以 后趋于零。最后由莱维连续性定理把这个逐点极限转化为依分布收敛。
完成中心极限定理的外部定理
标准正态的特征函数是 。直接验证时,可在积分内求导,因为 可积。再利用 分部积分,得到 ,且 ,解此微分方程便得所述函数。
现在使用莱维连续性定理:若特征函数逐点收敛至一个在零点连续的函数,则该函数是某个概率分布的特征函数,原来各分布依分布收敛至该分布。特别地,若极限是某个已知变量的特征函数,就有依分布收敛至该变量。此定理的证明涉及紧性及特征函数唯一性,不包括在本节内。将它用于上述极限,才完成中心极限定理。这明确指出了从代数计算走到概率结论的桥梁。
趋零扰动保留分布极限
设 ,而同一空间上的 依概率成立。对 , 的分布函数下界为 ,上界为 。选取使 为连续点的 ,先让 增大,再在极限分布的连续点 让 缩小,便证明 。这说明在最后使用的尺度上足够小的近似误差不影响分布极限,也提醒我们不能未经检查就用估计值取代真平均:中心化误差虽然趋零,乘以 后仍未必可忽略。
例题
例题 6.1.7
(几乎必然不推出均方收敛)
设 在 均匀分布,令 。对每个 的结果,指示变量终究变成零,所以 几乎必然成立。然而 趋于无穷。罕见值可以长得足够快,使逐条路径终究消失仍不足以得到均方收敛。
例题 6.1.8
(依概率收敛仍容许无穷次偏差)
取独立事件 ,满足 ,,并令 。则 依概率成立。对每个固定 ,
因此,从 开始再无成功的事件概率为零。对 取可数并集,可知成功几乎必然出现无穷次,故不会几乎必然收敛至零。相乘步骤使用独立性;单是概率和发散并不足够。
反例模式
分布相同不表示结果接近
设 是公平正负号,。每个 与 分布完全相同,故 。但在奇数 ,,因此在同一空间上并不依概率收敛至 。分布极限并没有指定变量如何耦合。
例题 6.1.9
(平均稳定,标准化误差仍有波动)
独立同分布伯努利(Bernoulli)试验的参数为 时,强大数定律给出 几乎必然成立;中心极限定理同时给出 。两者没有矛盾,因为正态尺度把缩小的误差放大 倍。若 ,有限样本的正态近似使用平均数的标准差 ,但中心极限定理本身不保证此样本量的数值误差。
常见错误
常见错误
(几乎必然是关于无限路径的叙述)
它不表示某个有限指标后平均数恰好等于期望,也不要求每个想象得到的结果都收敛。概率零的例外集合可以存在。依概率收敛容许每个指标有罕见偏差,而不排除同一路径沿途出现无穷次偏差。
有限方差、独立同分布下的正态近似是渐近结论。单凭这些假设,没有通用的收敛速率。无限方差、相依样本及随指标改变的分布都需要另外的定理。若 ,各变量几乎必然等于平均数,标准化式却除以零;此时应使用常数的平凡结论。
常见错误
(依分布收敛不带来矩的收敛)
依分布收敛一般不推出平均或方差收敛。上面的增长尖峰例子,其分布趋向零点质量,但一阶矩一直等于一。要把期望移入极限,需要额外的可积性控制。
小结
不同收敛方式分别回答路径、误差及分布的问题。最大不等式配合可求和的二进上界,证明了控制整条路径的有限方差强大数定律。中心极限定理则由二阶特征函数展开、独立性及明示的外部连续性定理完成。两个证明都不能自动推广到欠缺假设的模型,也不提供未曾证明的有限样本误差界。
习题
快速检查
(对同一个均匀变量 ,令 。证明几乎必然及 收敛至零,并与独立事件例子比较。)
解答 · 答案
每个 的结果都终究满足 ,所以之后所有值为零,得到几乎必然收敛。又 ,故均方收敛。这里事件递减而高度相依,即使个别概率与独立例子相同,也不能套用独立事件的乘积论证。
快速检查
(独立平均零变量的共同方差为四。用最大不等式估计 。)
解答 · 答案
,故上界为 。它控制整段时间内任何一次越界,并非只控制第 步的偏差。
快速检查
(设 ,各变量在同一概率空间。证明依概率收敛,并解释公平正负号反例为何不构成矛盾。)
解答 · 答案
对 , 都是零点质量分布函数的连续点。因此 。公平正负号的极限非常数,所以不符合这个特殊推论的条件。
快速检查
(独立同分布变量的平均为 、方差为 。把 写成标准化概率,并求其极限。)
解答 · 答案
事件等价于 。标准正态分布函数在二连续,因此其概率趋向 。没有额外信息时,不能得出某个具体 的近似准确度。
快速检查
( 平均为零、有限方差为 。推导特征函数展开,以及独立副本之和 的特征函数极限,包括 的情形。)
解答 · 答案
同样的有界余项论证给出 。独立性给出在 的函数值之 次幂,极限为 。 时它是 ; 时,平均零且方差零的变量几乎必然为零,特征函数恒等于一,表示零点质量。