动机
实验的结果可以十分复杂,但我们可能只关心计数或等待时间等数值摘要。分布描述这个摘要,矩与极限定理则分别回答其平均、分散程度与大样本行为。
定义
把结果转化为数值
随机变量 X X X 是概率空间上的实值可测函数,为每个结果指定一个数;可测性确保 { X ≤ x } \{X\leq x\} { X ≤ x } 等集合是事件。对实数 x x x ,X X X 的分布函数是 F X ( x ) = P ( X ≤ x ) F_X(x)=P(X\leq x) F X ( x ) = P ( X ≤ x ) 。
分布函数描述概率,不必逐一列出原始结果。它单调不减、右连续,在负无穷和正无穷的极限分别为零和一。
离散变量的概率质量函数 p ( x ) = P ( X = x ) p(x)=P(X=x) p ( x ) = P ( X = x ) 非负,所有可能值的概率之和为一。若连续变量有密度 f f f ,则 P ( a < X ≤ b ) = ∫ a b f ( x ) d x P(a<X\leq b)=\int_a^b f(x)\,dx P ( a < X ≤ b ) = ∫ a b f ( x ) d x 。密度可以大于一:概率由面积给出,不是单点的高度。有密度的变量在每个固定点的概率都是零。分布亦可以同时有原子和连续部分,因此这两种描述并未涵盖所有情况。
以概率 1 / 2 1/2 1/2 令 X = 0 X=0 X = 0 ,否则在 ( 0 , 2 ) (0,2) ( 0 , 2 ) 均匀抽取 X X X 。则 P ( X = 0 ) = 1 / 2 P(X=0)=1/2 P ( X = 0 ) = 1/2 ,P ( 0 < X ≤ 1 ) = 1 / 4 P(0<X\leq1)=1/4 P ( 0 < X ≤ 1 ) = 1/4 ,故 F X ( 0 ) = 1 / 2 F_X(0)=1/2 F X ( 0 ) = 1/2 ,F X ( 1 ) = 3 / 4 F_X(1)=3/4 F X ( 1 ) = 3/4 。零点的跳跃是原子,整个分布不能只用一个密度表示。
期望与方差
离散变量在和绝对收敛时有 E [ X ] = ∑ x x p ( x ) E[X]=\sum\limits_x xp(x) E [ X ] = x ∑ x p ( x ) ;有密度的变量在绝对积分有限时有 E [ X ] = ∫ x f ( x ) d x E[X]=\int x f(x)\,dx E [ X ] = ∫ x f ( x ) d x 。两种情形下都称 X X X 可积。
更一般地,只要 g ( X ) g(X) g ( X ) 可积,便可在相应的和或积分中把 x x x 换成 g ( x ) g(x) g ( x ) 求期望,而不必先求出 g ( X ) g(X) g ( X ) 的分布。
若 X , Y X,Y X , Y 可积且 a , b a,b a , b 为常数,线性性给出 E [ a X + b Y ] = a E [ X ] + b E [ Y ] E[aX+bY]=aE[X]+bE[Y] E [ a X + bY ] = a E [ X ] + b E [ Y ] ,无须独立。当 E [ X 2 ] < ∞ E[X^2]<\infty E [ X 2 ] < ∞ ,方差为
Var ( X ) = E [ ( X − E [ X ] ) 2 ] = E [ X 2 ] − ( E [ X ] ) 2 . \operatorname{Var}(X)=E[(X-E[X])^2]=E[X^2]-(E[X])^2. Var ( X ) = E [( X − E [ X ] ) 2 ] = E [ X 2 ] − ( E [ X ] ) 2 .
展开平方并用线性性可证第二个等式。第一个表达式显示方差非负;算出负数表示计算或舍入有误。若 X X X 和 Y Y Y 均有有限二阶矩,则
Var ( X + Y ) = Var ( X ) + Var ( Y ) + 2 Cov ( X , Y ) , \operatorname{Var}(X+Y)=\operatorname{Var}(X)+\operatorname{Var}(Y)+2\operatorname{Cov}(X,Y), Var ( X + Y ) = Var ( X ) + Var ( Y ) + 2 Cov ( X , Y ) ,
其中协方差为 E [ ( X − E [ X ] ) ( Y − E [ Y ] ) ] E[(X-E[X])(Y-E[Y])] E [( X − E [ X ]) ( Y − E [ Y ])] 。独立且二阶矩有限可推出协方差为零,反之不一定。例:X X X 在 { − 1 , 0 , 1 } \{-1,0,1\} { − 1 , 0 , 1 } 均匀分布,Y = X 2 Y=X^2 Y = X 2 。由对称性 E [ X Y ] = E [ X 3 ] = 0 = E [ X ] E [ Y ] E[XY]=E[X^3]=0=E[X]E[Y] E [ X Y ] = E [ X 3 ] = 0 = E [ X ] E [ Y ] ,但 Y Y Y 完全由 X X X 决定。
四次独立试验各以 p = 1 / 4 p=1/4 p = 1/4 成功。以 I i I_i I i 表示第 i i i 次成功的指示变量,令 S = I 1 + ⋯ + I 4 S=I_1+\cdots+I_4 S = I 1 + ⋯ + I 4 。因 I i 2 = I i I_i^2=I_i I i 2 = I i ,有 E [ I i ] = p E[I_i]=p E [ I i ] = p 和 Var ( I i ) = p ( 1 − p ) \operatorname{Var}(I_i)=p(1-p) Var ( I i ) = p ( 1 − p ) 。线性性和独立性给出 E [ S ] = 1 E[S]=1 E [ S ] = 1 、Var ( S ) = 4 ( 1 / 4 ) ( 3 / 4 ) = 3 / 4 \operatorname{Var}(S)=4(1/4)(3/4)=3/4 Var ( S ) = 4 ( 1/4 ) ( 3/4 ) = 3/4 。即使不独立,期望公式仍成立;方差则须加入协方差项。
对方差有限的独立 X , Y X,Y X , Y ,Var ( X − Y ) = Var ( X ) + Var ( − Y ) = Var ( X ) + Var ( Y ) \operatorname{Var}(X-Y)=\operatorname{Var}(X)+\operatorname{Var}(-Y)=\operatorname{Var}(X)+\operatorname{Var}(Y) Var ( X − Y ) = Var ( X ) + Var ( − Y ) = Var ( X ) + Var ( Y ) ,因为 Var ( c Y ) = c 2 Var ( Y ) \operatorname{Var}(cY)=c^2\operatorname{Var}(Y) Var ( c Y ) = c 2 Var ( Y ) 而 ( − 1 ) 2 = 1 (-1)^2=1 ( − 1 ) 2 = 1 。写成 Var ( X ) − Var ( Y ) \operatorname{Var}(X)-\operatorname{Var}(Y) Var ( X ) − Var ( Y ) 甚至可能得到负数。两个独立公平二元变量之差以概率 1 / 4 , 1 / 2 , 1 / 4 1/4,1/2,1/4 1/4 , 1/2 , 1/4 取 − 1 , 0 , 1 -1,0,1 − 1 , 0 , 1 ,方差是 1 / 2 = 1 / 4 + 1 / 4 1/2=1/4+1/4 1/2 = 1/4 + 1/4 ,而不是 0 0 0 。
证明思路
以下用指示变量比较非负随机变量,从而导出概率上界。这个简单比较足以在有限方差及独立假设下证明弱大数定律。
集中与平均
定理 2.1.5
(马尔可夫(Markov)不等式)
对期望有限的非负随机变量 Y Y Y 和 a > 0 a>0 a > 0 ,有 P ( Y ≥ a ) ≤ E [ Y ] / a P(Y\geq a)\leq E[Y]/a P ( Y ≥ a ) ≤ E [ Y ] / a 。
因 Y ≥ 0 Y\geq0 Y ≥ 0 ,不等式 Y ≥ a 1 { Y ≥ a } Y\geq a\mathbf1_{\{Y\geq a\}} Y ≥ a 1 { Y ≥ a } 在每个结果上成立:在 { Y ≥ a } \{Y\geq a\} { Y ≥ a } 上右边等于 a ≤ Y a\leq Y a ≤ Y ,其余情形右边等于 0 ≤ Y 0\leq Y 0 ≤ Y 。期望保持不等式,所以 E [ Y ] ≥ a E [ 1 { Y ≥ a } ] = a P ( Y ≥ a ) E[Y]\geq aE[\mathbf1_{\{Y\geq a\}}]=aP(Y\geq a) E [ Y ] ≥ a E [ 1 { Y ≥ a } ] = a P ( Y ≥ a ) ,再除以 a > 0 a>0 a > 0 即可。
反例模式
马尔可夫不等式需要非负变量 断言:对每个可积的 Y Y Y 和 a > 0 a>0 a > 0 ,都有 P ( Y ≥ a ) ≤ E [ Y ] / a P(Y\geq a)\leq E[Y]/a P ( Y ≥ a ) ≤ E [ Y ] / a 。设 Y Y Y 各以概率 1 / 2 1/2 1/2 取 1 1 1 和 − 1 -1 − 1 ,并取 a = 1 a=1 a = 1 。则 E [ Y ] = 0 E[Y]=0 E [ Y ] = 0 ,断言的上界给出 P ( Y ≥ 1 ) ≤ 0 P(Y\geq1)\leq0 P ( Y ≥ 1 ) ≤ 0 ,但实际上 P ( Y ≥ 1 ) = 1 / 2 P(Y\geq1)=1/2 P ( Y ≥ 1 ) = 1/2 。证明在 Y = − 1 Y=-1 Y = − 1 的结果上失效:Y ≥ a 1 { Y ≥ a } Y\geq a\mathbf1_{\{Y\geq a\}} Y ≥ a 1 { Y ≥ a } 会变成 − 1 ≥ 0 -1\geq0 − 1 ≥ 0 。修正方法是对 Y Y Y 的非负函数使用不等式:这里 P ( ∣ Y ∣ ≥ 1 ) ≤ E ∣ Y ∣ = 1 P(|Y|\geq1)\leq E|Y|=1 P ( ∣ Y ∣ ≥ 1 ) ≤ E ∣ Y ∣ = 1 ,确实成立。
把马尔可夫(Markov)不等式应用于非负变量 ( X − μ ) 2 (X-\mu)^2 ( X − μ ) 2 及阈值 ε 2 \varepsilon^2 ε 2 ,其中 μ = E [ X ] \mu=E[X] μ = E [ X ] 且 Var ( X ) = σ 2 < ∞ \operatorname{Var}(X)=\sigma^2<\infty Var ( X ) = σ 2 < ∞ ,便得切比雪夫(Chebyshev)不等式:
P ( ∣ X − μ ∣ ≥ ε ) ≤ σ 2 ε 2 ( ε > 0 ) . P(|X-\mu|\geq\varepsilon)\leq\frac{\sigma^2}{\varepsilon^2}\qquad(\varepsilon>0). P ( ∣ X − μ ∣ ≥ ε ) ≤ ε 2 σ 2 ( ε > 0 ) .
旁注 按下可固定此旁注,按 Escape 关闭。 旁注
尾部估计的一般方法
切比雪夫不等式就是把马尔可夫不等式用在一个选得恰当的非负变量上。要记住的正是这个模式:要估计某个事件的概率,就找一个在该事件上取值大、而期望又算得出来的非负量。
关闭
设 X 1 , X 2 , … X_1,X_2,\ldots X 1 , X 2 , … 独立同分布,均值为 μ \mu μ 、方差 σ 2 \sigma^2 σ 2 有限,并令 X ‾ n = ( X 1 + ⋯ + X n ) / n \overline X_n=(X_1+\cdots+X_n)/n X n = ( X 1 + ⋯ + X n ) / n 。则对每个 ε > 0 \varepsilon>0 ε > 0 ,当 n → ∞ n\to\infty n → ∞ 时 P ( ∣ X ‾ n − μ ∣ ≥ ε ) → 0 P(|\overline X_n-\mu|\geq\varepsilon)\to0 P ( ∣ X n − μ ∣ ≥ ε ) → 0 。
由线性性,E [ X ‾ n ] = μ E[\overline X_n]=\mu E [ X n ] = μ 。展开中心化总和 ∑ i ( X i − μ ) \sum\limits_i(X_i-\mu) i ∑ ( X i − μ ) 的平方,由独立性,每个交叉项的期望 Cov ( X i , X j ) \operatorname{Cov}(X_i,X_j) Cov ( X i , X j ) (i ≠ j i\ne j i = j )都是零,所以
Var ( X ‾ n ) = 1 n 2 ∑ i = 1 n Var ( X i ) = σ 2 n . \operatorname{Var}(\overline X_n)=\frac1{n^2}\sum_{i=1}^n\operatorname{Var}(X_i)=\frac{\sigma^2}{n}. Var ( X n ) = n 2 1 i = 1 ∑ n Var ( X i ) = n σ 2 . 对 X ‾ n \overline X_n X n 使用切比雪夫不等式,得
P ( ∣ X ‾ n − μ ∣ ≥ ε ) ≤ σ 2 n ε 2 ⟶ 0. P(|\overline X_n-\mu|\geq\varepsilon)\leq\frac{\sigma^2}{n\varepsilon^2}\longrightarrow0. P ( ∣ X n − μ ∣ ≥ ε ) ≤ n ε 2 σ 2 ⟶ 0.
证明透视
每个假设在哪里起作用 有限方差使切比雪夫不等式可用:马尔可夫不等式应用于非负变量 ( X ‾ n − μ ) 2 (\overline X_n-\mu)^2 ( X n − μ ) 2 ,其期望就是 Var ( X ‾ n ) \operatorname{Var}(\overline X_n) Var ( X n ) 。独立性只用了一次,就是删去 n ( n − 1 ) n(n-1) n ( n − 1 ) 个交叉项;两两不相关且均值、方差相同的变量给出同一上界。同分布只提供共同的 μ \mu μ 与 σ 2 \sigma^2 σ 2 。关键一步是:ε \varepsilon ε 固定时,平均的方差以 1 / n 1/n 1/ n 的速度衰减。论证以明确的上界收尾,因此也给出样本量:n ≥ σ 2 / ( ε 2 δ ) n\geq\sigma^2/(\varepsilon^2\delta) n ≥ σ 2 / ( ε 2 δ ) 保证偏离概率不超过 δ \delta δ 。若每个 X i X_i X i 都等于同一个非常数 X X X ,交叉项不会消失,对所有 n n n 都有 Var ( X ‾ n ) = Var ( X ) \operatorname{Var}(\overline X_n)=\operatorname{Var}(X) Var ( X n ) = Var ( X ) ,不会衰减。
所以样本平均依概率收敛至均值。它不表示某个有限样本平均必定等于均值,也不表示总和停留在均值附近。
中心极限定理
在相同的独立同分布及有限方差假设下,若 σ > 0 \sigma>0 σ > 0 ,对每个实数 z z z ,中心极限定理断言
P ( n ( X ‾ n − μ ) σ ≤ z ) ⟶ Φ ( z ) , P\left(\frac{\sqrt n(\overline X_n-\mu)}{\sigma}\leq z\right)\longrightarrow\Phi(z), P ( σ n ( X n − μ ) ≤ z ) ⟶ Φ ( z ) ,
其中 Φ \Phi Φ 是标准正态分布函数。这是依分布收敛,有别于依概率收敛至常数。此处不证此定理;证明需要特征函数等额外工具。它给出极限近似,并不断言每个有限 n n n 都恰为正态,也不提供普遍的误差界。
独立伯努利(Bernoulli)试验成功概率为 1 / 4 1/4 1/4 时,S n S_n S n 的均值为 n / 4 n/4 n /4 ,标准差为 3 n / 16 \sqrt{3n/16} 3 n /16 。当 n n n 趋大,定理以 1 / 2 1/2 1/2 近似 P ( S n ≤ n / 4 ) P(S_n\leq n/4) P ( S n ≤ n /4 ) 。有限样本中门槛处的概率及离散性仍有影响;连续性修正可以改善近似,却不是精确等式。
等待时间的分布
一个常用离散模型记录首次成功所需试验次数。若试验独立且成功概率为 0 < p ≤ 1 0<p\leq1 0 < p ≤ 1 ,等待时间 T T T 取值 1 , 2 , … 1,2,\ldots 1 , 2 , … ,且
P ( T = k ) = ( 1 − p ) k − 1 p . P(T=k)=(1-p)^{k-1}p. P ( T = k ) = ( 1 − p ) k − 1 p .
前 k − 1 k-1 k − 1 次必须失败,接着一次成功。由几何级数,这些概率之和为一;p = 1 p=1 p = 1 时首次试验必然成功。期望等待时间为 E [ T ] = 1 / p E[T]=1/p E [ T ] = 1/ p 。一种推导是对非负整数值 T T T 使用尾和公式 E [ T ] = ∑ k ≥ 0 P ( T > k ) E[T]=\sum\limits_{k\geq0}P(T>k) E [ T ] = k ≥ 0 ∑ P ( T > k ) ,再对 ( 1 − p ) k (1-p)^k ( 1 − p ) k 求和。
概念视角 分析
期望作为尾概率之和 设 T T T 取值于 { 0 , 1 , 2 , … } \{0,1,2,\ldots\} { 0 , 1 , 2 , … } 。把 j j j 写成 ∑ k = 0 j − 1 1 \sum\limits_{k=0}^{j-1}1 k = 0 ∑ j − 1 1 ,再交换求和次序:
E [ T ] = ∑ j ≥ 1 j P ( T = j ) = ∑ j ≥ 1 ∑ k = 0 j − 1 P ( T = j ) = ∑ k ≥ 0 ∑ j > k P ( T = j ) = ∑ k ≥ 0 P ( T > k ) . E[T]=\sum_{j\geq1}jP(T=j)=\sum_{j\geq1}\sum_{k=0}^{j-1}P(T=j)=\sum_{k\geq0}\sum_{j>k}P(T=j)=\sum_{k\geq0}P(T>k). E [ T ] = j ≥ 1 ∑ j P ( T = j ) = j ≥ 1 ∑ k = 0 ∑ j − 1 P ( T = j ) = k ≥ 0 ∑ j > k ∑ P ( T = j ) = k ≥ 0 ∑ P ( T > k ) . 因为每一项非负,交换次序是合法的;两边可以同为 + ∞ +\infty + ∞ 。这个描述从尾部 1 − F T 1-F_T 1 − F T 读出均值,而不是从概率质量函数。对几何等待时间,前 k k k 次全部失败的概率是 P ( T > k ) = ( 1 − p ) k P(T>k)=(1-p)^k P ( T > k ) = ( 1 − p ) k ,所以 E [ T ] = ∑ k ≥ 0 ( 1 − p ) k = 1 / p E[T]=\sum\limits_{k\geq0}(1-p)^k=1/p E [ T ] = k ≥ 0 ∑ ( 1 − p ) k = 1/ p ,不必对级数求导。
对非负整数 m , n m,n m , n 和 0 < p < 1 0<p<1 0 < p < 1 ,有 P ( T > m + n ∣ T > m ) = P ( T > n ) = ( 1 − p ) n P(T>m+n\mid T>m)=P(T>n)=(1-p)^n P ( T > m + n ∣ T > m ) = P ( T > n ) = ( 1 − p ) n 。
事件 { T > k } \{T>k\} { T > k } 表示前 k k k 次试验都失败,所以 P ( T > k ) = ( 1 − p ) k P(T>k)=(1-p)^k P ( T > k ) = ( 1 − p ) k ;当 0 < p < 1 0<p<1 0 < p < 1 时它是正数。由于 { T > m + n } ⊆ { T > m } \{T>m+n\}\subseteq\{T>m\} { T > m + n } ⊆ { T > m } ,
P ( T > m + n ∣ T > m ) = P ( T > m + n ) P ( T > m ) = ( 1 − p ) m + n ( 1 − p ) m = ( 1 − p ) n = P ( T > n ) . P(T>m+n\mid T>m)=\frac{P(T>m+n)}{P(T>m)}=\frac{(1-p)^{m+n}}{(1-p)^m}=(1-p)^n=P(T>n). P ( T > m + n ∣ T > m ) = P ( T > m ) P ( T > m + n ) = ( 1 − p ) m ( 1 − p ) m + n = ( 1 − p ) n = P ( T > n ) .
过去失败不会改变接下来连续失败的概率,原因是试验独立;若成功概率在每次失败后改变,结论便可能不成立。
成功概率 p = 1 / 4 p=1/4 p = 1/4 时,首次成功在第三次试验出现的概率为 ( 3 / 4 ) 2 ( 1 / 4 ) = 9 / 64 (3/4)^2(1/4)=9/64 ( 3/4 ) 2 ( 1/4 ) = 9/64 。期望等待四次。已知前两次失败,再失败至少两次的概率仍是 ( 3 / 4 ) 2 = 9 / 16 (3/4)^2=9/16 ( 3/4 ) 2 = 9/16 。期望是多次重复的平均,并不保证第四次成功。
完全相依的变量,其平均不一定集中:若每个 X i X_i X i 都等于同一个非常数 X X X ,那么对每个 n n n 都有 X ‾ n = X \overline X_n=X X n = X 。只有相同边际分布不足以支持独立样本的计算。
联合分布与协方差
联合分布一并记录多个随机变量的概率。对离散 X , Y X,Y X , Y ,写 p ( x , y ) = P ( X = x , Y = y ) p(x,y)=P(X=x,Y=y) p ( x , y ) = P ( X = x , Y = y ) 。对所有可能的 y y y 求和得到 X X X 的边际质量 P ( X = x ) = ∑ y p ( x , y ) P(X=x)=\sum\limits_y p(x,y) P ( X = x ) = y ∑ p ( x , y ) ;对 x x x 求和则得到 Y Y Y 的边际。两个边际分布不能告诉我们变量如何结合。独立性更强,要求所有值对都满足 p ( x , y ) = P ( X = x ) P ( Y = y ) p(x,y)=P(X=x)P(Y=y) p ( x , y ) = P ( X = x ) P ( Y = y ) 。
设两个变量各为公平二元变量。一个模型中两者独立,四个值对各有概率 1 / 4 1/4 1/4 ,故 P ( X = Y ) = 1 / 2 P(X=Y)=1/2 P ( X = Y ) = 1/2 。另一模型令 Y = X Y=X Y = X ,只有 ( 0 , 0 ) (0,0) ( 0 , 0 ) 和 ( 1 , 1 ) (1,1) ( 1 , 1 ) 出现,各有概率 1 / 2 1/2 1/2 ,故 P ( X = Y ) = 1 P(X=Y)=1 P ( X = Y ) = 1 。两个模型中每个变量的边际分布相同。因此只知道边际表并不能决定两者相等的概率。
若二阶矩有限,协方差量度某种线性关系。展开并用线性性得 Cov ( X , Y ) = E [ X Y ] − E [ X ] E [ Y ] \operatorname{Cov}(X,Y)=E[XY]-E[X]E[Y] Cov ( X , Y ) = E [ X Y ] − E [ X ] E [ Y ] 。若 X , Y X,Y X , Y 独立,联合分布可分解,于乘积可积时给出 E [ X Y ] = E [ X ] E [ Y ] E[XY]=E[X]E[Y] E [ X Y ] = E [ X ] E [ Y ] 。有限离散情况可直接分解双重和,一般情况则由相应积分定理得到。前面的平方例子显示零协方差比独立弱:非线性相依仍可能存在。
和的公式推广至 n n n 个变量:
Var ( ∑ i = 1 n X i ) = ∑ i = 1 n Var ( X i ) + 2 ∑ i < j Cov ( X i , X j ) . \operatorname{Var}\left(\sum_{i=1}^nX_i\right)=\sum_{i=1}^n\operatorname{Var}(X_i)+2\sum_{i<j}\operatorname{Cov}(X_i,X_j). Var ( i = 1 ∑ n X i ) = i = 1 ∑ n Var ( X i ) + 2 i < j ∑ Cov ( X i , X j ) .
展开中心化和的平方即可。两两零协方差已足以消去交叉项;对这个计算来说,完全相互独立比所需的更强。但单凭此观察并不能证明中心极限定理;此处所述定理的假设包括独立同分布。
用条件化求平均
设 H 1 , … , H k H_1,\ldots,H_k H 1 , … , H k 是概率皆正的有限分割,且 X X X 可积。令 E [ X ∣ H i ] E[X\mid H_i] E [ X ∣ H i ] 为以 H i H_i H i 为条件的概率下的期望,则
E [ X ] = ∑ i = 1 k E [ X ∣ H i ] P ( H i ) . E[X]=\sum_{i=1}^k E[X\mid H_i]P(H_i). E [ X ] = i = 1 ∑ k E [ X ∣ H i ] P ( H i ) .
对有限取值的 X X X ,先把左边写成 ∑ x x P ( X = x ) \sum\limits_x xP(X=x) x ∑ x P ( X = x ) ,再对每个 P ( X = x ) P(X=x) P ( X = x ) 使用全概率公式,交换有限求和便得此式。一般可积情况由积分的相同分解得到。权重是分割事件的概率,不一定相等。
选两条生产线的概率分别为 1 / 4 1/4 1/4 和 3 / 4 3/4 3/4 ,每批缺陷数的条件期望分别为二和六。总期望为 ( 1 / 4 ) 2 + ( 3 / 4 ) 6 = 5 (1/4)2+(3/4)6=5 ( 1/4 ) 2 + ( 3/4 ) 6 = 5 。只有两线等可能时,才可使用 ( 2 + 6 ) / 2 (2+6)/2 ( 2 + 6 ) /2 。答案不需要完整的条件分布。
条件分布比无条件分布简单时,此方法特别有用。但 E [ X ∣ H i ] E[X\mid H_i] E [ X ∣ H i ] 并非 X X X 的观察值,而是该事件内所有结果的平均;若事件内仍有变异,这个分别便很重要。
如何理解概率上界
切比雪夫不等式可能很松。练习中公平伯努利样本为 100 时,上界 1 / 4 1/4 1/4 保证在模型下偏差事件的概率不超过 1 / 4 1/4 1/4 ,却不表示实际等于该上界。精确概率可以通过加总二项分布的质量计算。只知道少量数值时,上界能提供保证;中心极限定理的近似则使用另一种论证,意义不同。
此处证明的有限方差弱大数定律并不涵盖所有大数定律。更强的结果可以放宽部分假设或加强收敛方式,但需要各自的假设与证明。同样,不能仅凭本节定理,把正态近似机械地用于高度相依或方差无限的样本。
变换与分布函数
变换不一定保持数值次序。若 Y = X 2 Y=X^2 Y = X 2 ,不能直接写 P ( Y ≤ y ) = P ( X ≤ y ) P(Y\leq y)=P(X\leq\sqrt y) P ( Y ≤ y ) = P ( X ≤ y ) :负的 X X X 也有贡献,而小于 − y -\sqrt y − y 的值必须排除。对 y ≥ 0 y\geq0 y ≥ 0 ,应写
P ( Y ≤ y ) = P ( − y ≤ X ≤ y ) . P(Y\leq y)=P(-\sqrt y\leq X\leq\sqrt y). P ( Y ≤ y ) = P ( − y ≤ X ≤ y ) .
y < 0 y<0 y < 0 时概率为零。若 X X X 在 [ − 1 , 1 ] [-1,1] [ − 1 , 1 ] 均匀分布,区间长度除以二得到 0 ≤ y ≤ 1 0\leq y\leq1 0 ≤ y ≤ 1 时 F Y ( y ) = y F_Y(y)=\sqrt y F Y ( y ) = y ;y ≥ 1 y\geq1 y ≥ 1 时为一。在 ( 0 , 1 ) (0,1) ( 0 , 1 ) 微分得 f Y ( y ) = 1 / ( 2 y ) f_Y(y)=1/(2\sqrt y) f Y ( y ) = 1/ ( 2 y ) 。密度在零附近无界,但它在 ( 0 , 1 ) (0,1) ( 0 , 1 ) 上的积分为一,因此是有效密度;在单点零指定什么密度值都不改变概率。
若只求期望,有较短的方法:E [ Y ] = E [ X 2 ] = ∫ − 1 1 x 2 ( 1 / 2 ) d x = 1 / 3 E[Y]=E[X^2]=\int_{-1}^{1}x^2(1/2)\,dx=1/3 E [ Y ] = E [ X 2 ] = ∫ − 1 1 x 2 ( 1/2 ) d x = 1/3 。对 ( 0 , 1 ) (0,1) ( 0 , 1 ) 上的 y f Y ( y ) y f_Y(y) y f Y ( y ) 积分亦得同一答案。要回答关于 Y Y Y 的任意概率问题,须求完整的变换分布;若只求期望则不必如此。
此例中 E [ X ] = 0 E[X]=0 E [ X ] = 0 ,所以 ( E [ X ] ) 2 = 0 (E[X])^2=0 ( E [ X ] ) 2 = 0 ,但 E [ X 2 ] = 1 / 3 E[X^2]=1/3 E [ X 2 ] = 1/3 。一般而言,对非线性的 g g g ,E [ g ( X ) ] ≠ g ( E [ X ] ) E[g(X)]\ne g(E[X]) E [ g ( X )] = g ( E [ X ]) ;期望法则是把 g g g 代入和或积分之内。对 g ( x ) = x 2 g(x)=x^2 g ( x ) = x 2 ,差距 E [ X 2 ] − ( E [ X ] ) 2 E[X^2]-(E[X])^2 E [ X 2 ] − ( E [ X ] ) 2 正好是方差,所以它永远不为负。
分布函数的跳跃亦记录点质量。对实数 a a a ,有 P ( X = a ) = F X ( a ) − F X ( a − ) P(X=a)=F_X(a)-F_X(a-) P ( X = a ) = F X ( a ) − F X ( a − ) ,其中 F X ( a − ) F_X(a-) F X ( a − ) 是左极限。因为递增事件 { X ≤ a − 1 / n } \{X\leq a-1/n\} { X ≤ a − 1/ n } 的并集是 { X < a } \{X<a\} { X < a } ,概率的下连续性使其概率趋向 P ( X < a ) P(X<a) P ( X < a ) ;从 P ( X ≤ a ) P(X\leq a) P ( X ≤ a ) 减去便留下 { X = a } \{X=a\} { X = a } 。因此连续的分布函数没有原子,但未必有密度。这区分避免把密度例子过度推广。
这个分别在端点也重要:更改密度在单点的值不改变任何积分,但更改原子的质量会改变分布本身。微分或求和前,应先说明采用哪一种描述。
总结
分布指定概率;期望和方差描述其中一些性质。期望的线性性需要可积性,但不需要独立性。弱大数定律研究平均的集中,中心极限定理则描述经缩放的波动。
练习
快速检查
(X X X 取值 − 1 , 0 , 2 -1,0,2 − 1 , 0 , 2 的概率依次为 1 / 4 , 1 / 2 , 1 / 4 1/4,1/2,1/4 1/4 , 1/2 , 1/4 。求均值和方差。)
解答 · 答案 E [ X ] = − 1 / 4 + 0 + 2 / 4 = 1 / 4 E[X]=-1/4+0+2/4=1/4 E [ X ] = − 1/4 + 0 + 2/4 = 1/4 ,E [ X 2 ] = 1 / 4 + 0 + 4 / 4 = 5 / 4 E[X^2]=1/4+0+4/4=5/4 E [ X 2 ] = 1/4 + 0 + 4/4 = 5/4 ,故方差为 5 / 4 − 1 / 16 = 19 / 16 5/4-1/16=19/16 5/4 − 1/16 = 19/16 。
快速检查
(100 次独立伯努利试验成功概率均为 1 / 2 1/2 1/2 。用切比雪夫不等式估计样本比例偏离 1 / 2 1/2 1/2 至少 0.1 0.1 0.1 的概率上界。)
解答 · 答案 每次试验的方差是 ( 1 / 2 ) ( 1 / 2 ) = 1 / 4 (1/2)(1/2)=1/4 ( 1/2 ) ( 1/2 ) = 1/4 ,所以样本比例的方差为 ( 1 / 4 ) / 100 = 1 / 400 (1/4)/100=1/400 ( 1/4 ) /100 = 1/400 。切比雪夫不等式给出上界 ( 1 / 400 ) / ( 0.1 ) 2 = 1 / 4 (1/400)/(0.1)^2=1/4 ( 1/400 ) / ( 0.1 ) 2 = 1/4 ;这不是精确概率。
快速检查
(密度 f ( x ) = 2 x f(x)=2x f ( x ) = 2 x (0 < x < 1 0\lt x\lt 1 0 < x < 1 ),其余为零。求 P ( X > 1 / 2 ) P(X>1/2) P ( X > 1/2 ) 和 E [ X ] E[X] E [ X ] 。)
解答 · 答案 积分得 P ( X > 1 / 2 ) = ∫ 1 / 2 1 2 x d x = 1 − 1 / 4 = 3 / 4 P(X>1/2)=\int_{1/2}^1 2x\,dx=1-1/4=3/4 P ( X > 1/2 ) = ∫ 1/2 1 2 x d x = 1 − 1/4 = 3/4 ,E [ X ] = ∫ 0 1 2 x 2 d x = 2 / 3 E[X]=\int_0^1 2x^2\,dx=2/3 E [ X ] = ∫ 0 1 2 x 2 d x = 2/3 。