动机
分布的名称应该概括一个随机机制。在固定次数的独立试验中计算成功次数,与等候固定次数的成功,是两个不同问题。不放回抽样与独立抽样也不同。先辨认这些差别,再选择模型,才能避免熟悉的公式掩盖了真正重要的相依关系。
本节把常见离散及连续分布连成一个有理由的整体。生成函数不只是存储公式的工具:相乘对应独立变量相加,求导则提供矩。连续模型把等候时间、积分与变量变换联系起来。
定义
若 N N N 取非负整数值,其概率生成函数(PGF)定义为
G N ( s ) = E [ s N ] = ∑ k = 0 ∞ P ( N = k ) s k , 0 ≤ s ≤ 1. G_N(s)=E[s^N]=\sum_{k=0}^{\infty}P(N=k)s^k,\qquad 0\leq s\leq1. G N ( s ) = E [ s N ] = k = 0 ∑ ∞ P ( N = k ) s k , 0 ≤ s ≤ 1. 在零点采用 0 0 = 1 0^0=1 0 0 = 1 ,所以 G N ( 0 ) = P ( N = 0 ) G_N(0)=P(N=0) G N ( 0 ) = P ( N = 0 ) 。幂级数也在 ∣ s ∣ < 1 |s|<1 ∣ s ∣ < 1 绝对收敛,系数就是各点概率。实随机变量 X X X 的矩生成函数(MGF)为 M X ( t ) = E [ e t X ] M_X(t)=E[e^{tX}] M X ( t ) = E [ e tX ] ,只在期望有限之处使用。说 MGF 在零附近存在,是指某个包含零的开区间上,每个 t t t 的期望都有限。只有有限平均数并不足以保证这个较强条件。
定义 4.1.2
(伯努利(Bernoulli)、二项、泊松(Poisson)及等候计数)
参数 p ∈ [ 0 , 1 ] p\in[0,1] p ∈ [ 0 , 1 ] 的伯努利(Bernoulli)变量以概率 1 − p , p 1-p,p 1 − p , p 分别取零和一。二项变量 B ∼ Bin ( n , p ) B\sim\operatorname{Bin}(n,p) B ∼ Bin ( n , p ) 计算 n n n 次独立同类试验中的成功次数。泊松(Poisson)变量 N ∼ Pois ( λ ) N\sim\operatorname{Pois}(\lambda) N ∼ Pois ( λ ) 的参数 λ > 0 \lambda>0 λ > 0 ,概率质量为 e − λ λ k / k ! e^{-\lambda}\lambda^k/k! e − λ λ k / k ! ,k ≥ 0 k\geq0 k ≥ 0 ;指数级数保证总和为一。我们也容许参数为零,将其定义为集中在零的点质量。
设 0 < p < 1 0<p<1 0 < p < 1 ,q = 1 − p q=1-p q = 1 − p 。几何失败次数 K K K 满足 P ( K = k ) = p q k P(K=k)=pq^k P ( K = k ) = p q k ,k ≥ 0 k\geq0 k ≥ 0 。首次成功所在的试验编号则是 T = K + 1 T=K+1 T = K + 1 。若 r r r 为正整数,负二项失败次数 K r K_r K r 记录第 r r r 次成功前的失败总数。在套用任何矩公式前,必须先确定计数从零还是一开始。
主要结果
若 A , B A,B A , B 是独立的非负整数值变量,则 G A + B ( s ) = G A ( s ) G B ( s ) G_{A+B}(s)=G_A(s)G_B(s) G A + B ( s ) = G A ( s ) G B ( s ) ,0 ≤ s ≤ 1 0\leq s\leq1 0 ≤ s ≤ 1 。此外,
G N ′ ( 1 − ) = E [ N ] , G N ′ ′ ( 1 − ) = E [ N ( N − 1 ) ] , G_N'(1-)=E[N],\qquad G_N''(1-)=E[N(N-1)], G N ′ ( 1 − ) = E [ N ] , G N ′′ ( 1 − ) = E [ N ( N − 1 )] , 等式两边可以同为无穷。若两者有限,则 Var ( N ) = G N ′ ′ ( 1 − ) + G N ′ ( 1 − ) − G N ′ ( 1 − ) 2 \operatorname{Var}(N)=G_N''(1-)+G_N'(1-)-G_N'(1-)^2 Var ( N ) = G N ′′ ( 1 − ) + G N ′ ( 1 − ) − G N ′ ( 1 − ) 2 。
A A A 与 B B B 独立,故有界变量 s A s^A s A 与 s B s^B s B 也独立,所以 G A + B ( s ) = E [ s A s B ] = E [ s A ] E [ s B ] G_{A+B}(s)=E[s^As^B]=E[s^A]E[s^B] G A + B ( s ) = E [ s A s B ] = E [ s A ] E [ s B ] 。幂级数的收敛半径至少为一,因此当 0 ≤ s < 1 0\le s\lt1 0 ≤ s < 1 时可以逐项求导:
G N ′ ( s ) = ∑ k ≥ 1 k P ( N = k ) s k − 1 , G N ′ ′ ( s ) = ∑ k ≥ 2 k ( k − 1 ) P ( N = k ) s k − 2 . G_N'(s)=\sum_{k\ge1}kP(N=k)s^{k-1},\qquad G_N''(s)=\sum_{k\ge2}k(k-1)P(N=k)s^{k-2}. G N ′ ( s ) = k ≥ 1 ∑ k P ( N = k ) s k − 1 , G N ′′ ( s ) = k ≥ 2 ∑ k ( k − 1 ) P ( N = k ) s k − 2 . 每一项都非负,并随 s s s 递增。令 s ↑ 1 s\uparrow1 s ↑ 1 ,单调收敛定理给出极限 ∑ k k P ( N = k ) = E [ N ] \sum\limits_kkP(N=k)=E[N] k ∑ k P ( N = k ) = E [ N ] 及 ∑ k k ( k − 1 ) P ( N = k ) = E [ N ( N − 1 ) ] \sum\limits_kk(k-1)P(N=k)=E[N(N-1)] k ∑ k ( k − 1 ) P ( N = k ) = E [ N ( N − 1 )] ,可以有限或无穷。最后由 E [ N 2 ] = E [ N ( N − 1 ) ] + E [ N ] E[N^2]=E[N(N-1)]+E[N] E [ N 2 ] = E [ N ( N − 1 )] + E [ N ] 得到方差公式。这些是单侧极限,并不保证 PGF 能解析延拓到一的右方。
证明透视
独立性与单调性在哪里起作用 只有相乘法则用到独立性,而且只通过 E [ s A s B ] = E [ s A ] E [ s B ] E[s^As^B]=E[s^A]E[s^B] E [ s A s B ] = E [ s A ] E [ s B ] 。边际分布相同但相依的计数,其和可以有不同的 PGF:若 B = A B=A B = A 是公平二元变量,则 G A + B ( 0 ) = 1 / 2 G_{A+B}(0)=1/2 G A + B ( 0 ) = 1/2 ,而 G A ( 0 ) G B ( 0 ) = 1 / 4 G_A(0)G_B(0)=1/4 G A ( 0 ) G B ( 0 ) = 1/4 。矩公式完全不用独立性。它们的关键一步是两个极限的次序:先在单位区间内部、级数收敛之处求导,然后才让 s s s 趋于一。系数 k P ( N = k ) kP(N=k) k P ( N = k ) 与 k ( k − 1 ) P ( N = k ) k(k-1)P(N=k) k ( k − 1 ) P ( N = k ) 非负,单调收敛定理才允许这一步;同一事实也使矩为无穷时,等式以 + ∞ +\infty + ∞ 成立。整个论证从未在 s = 1 s=1 s = 1 或其右方计算级数。
若 MGF 在零附近的开区间有限,则零点导数给出普通矩:M X ( k ) ( 0 ) = E [ X k ] M_X^{(k)}(0)=E[X^k] M X ( k ) ( 0 ) = E [ X k ] 。理由是可选 b > 0 b>0 b > 0 使 M X ( b ) , M X ( − b ) < ∞ M_X(b),M_X(-b)<\infty M X ( b ) , M X ( − b ) < ∞ ;在较小区间,e t X e^{tX} e tX 乘上多项式因子,被常数倍的 e b X + e − b X e^{bX}+e^{-bX} e b X + e − b X 控制。此可积上界容许在期望内重复求导。
对 B ∼ Bin ( n , p ) B\sim\operatorname{Bin}(n,p) B ∼ Bin ( n , p ) ,独立试验机制给出 G B ( s ) = ( q + p s ) n G_B(s)=(q+ps)^n G B ( s ) = ( q + p s ) n 。展开得到 P ( B = k ) = ( n k ) p k q n − k P(B=k)=\binom nkp^kq^{n-k} P ( B = k ) = ( k n ) p k q n − k ;求导则得到 E [ B ] = n p E[B]=np E [ B ] = n p 和 E [ B ( B − 1 ) ] = n ( n − 1 ) p 2 E[B(B-1)]=n(n-1)p^2 E [ B ( B − 1 )] = n ( n − 1 ) p 2 ,因此 Var ( B ) = n p q \operatorname{Var}(B)=npq Var ( B ) = n pq 。泊松变量则有
G N ( s ) = e λ ( s − 1 ) , E [ N ] = λ , Var ( N ) = λ . G_N(s)=e^{\lambda(s-1)},\qquad E[N]=\lambda,\qquad \operatorname{Var}(N)=\lambda. G N ( s ) = e λ ( s − 1 ) , E [ N ] = λ , Var ( N ) = λ .
相乘可知独立泊松变量之和仍为泊松分布,参数相加。但平均数等于方差并不能单独刻画泊松分布;这里识别分布所用的是整个生成函数。
几何失败次数的生成函数由等比级数得到 G K ( s ) = p / ( 1 − q s ) G_K(s)=p/(1-qs) G K ( s ) = p / ( 1 − q s ) 。相邻成功之间的失败次数是独立的几何变量,故
G K r ( s ) = ( p 1 − q s ) r , E [ K r ] = r q p , Var ( K r ) = r q p 2 . G_{K_r}(s)=\left(\frac p{1-qs}\right)^r,\quad E[K_r]=\frac{rq}{p},\quad \operatorname{Var}(K_r)=\frac{rq}{p^2}. G K r ( s ) = ( 1 − q s p ) r , E [ K r ] = p r q , Var ( K r ) = p 2 r q .
其系数为 P ( K r = k ) = ( k + r − 1 r − 1 ) p r q k P(K_r=k)=\binom{k+r-1}{r-1}p^rq^k P ( K r = k ) = ( r − 1 k + r − 1 ) p r q k :先在前 k + r − 1 k+r-1 k + r − 1 次试验中选出较早的 r − 1 r-1 r − 1 次成功,再要求最后一次成功。总试验次数是 K r + r K_r+r K r + r ,平均为 r / p r/p r / p ,方差不变。
设 X X X 在开区间 I I I 上有密度 f X f_X f X ,而 g : I → J g:I\to J g : I → J 是导数非零的连续可微双射。则 Y = g ( X ) Y=g(X) Y = g ( X ) 的密度为
f Y ( y ) = f X ( g − 1 ( y ) ) ∣ d d y g − 1 ( y ) ∣ , y ∈ J , f_Y(y)=f_X(g^{-1}(y))\left|\frac{d}{dy}g^{-1}(y)\right|,\quad y\in J, f Y ( y ) = f X ( g − 1 ( y )) d y d g − 1 ( y ) , y ∈ J , 在 J J J 外为零。概率为零的端点不影响分布。若有多个光滑反函数分支,须在适用之处把各分支的贡献相加。
因为 g ′ g' g ′ 在区间 I I I 上连续且处处不为零,它的符号不变,所以 g g g 严格单调,J = g ( I ) J=g(I) J = g ( I ) 是开区间,而 h = g − 1 : J → I h=g^{-1}:J\to I h = g − 1 : J → I 连续可微,且 h ′ ( y ) = 1 / g ′ ( h ( y ) ) h'(y)=1/g'(h(y)) h ′ ( y ) = 1/ g ′ ( h ( y )) 。对区间 A = ( c , d ) ⊆ J A=(c,d)\subseteq J A = ( c , d ) ⊆ J ,P ( Y ∈ A ) = P ( X ∈ h ( A ) ) = ∫ h ( A ) f X ( x ) d x P(Y\in A)=P(X\in h(A))=\int_{h(A)}f_X(x)\,dx P ( Y ∈ A ) = P ( X ∈ h ( A )) = ∫ h ( A ) f X ( x ) d x 。代入 x = h ( y ) x=h(y) x = h ( y ) :若 h h h 递增,得 ∫ c d f X ( h ( y ) ) h ′ ( y ) d y \int_c^d f_X(h(y))h'(y)\,dy ∫ c d f X ( h ( y )) h ′ ( y ) d y ;若 h h h 递减,积分上下限对调而 h ′ < 0 h'\lt0 h ′ < 0 。两种情形都得到 ∫ c d f X ( h ( y ) ) ∣ h ′ ( y ) ∣ d y \int_c^d f_X(h(y))|h'(y)|\,dy ∫ c d f X ( h ( y )) ∣ h ′ ( y ) ∣ d y 。区间决定分布,所以这就是 Y Y Y 的密度,而 Y Y Y 不取 J J J 以外的值。绝对值保留区间长度,即使变换把方向倒转也适用;新支撑集 J J J 是答案的一部分。
证明或证明思路
从指数等候时间到伽马和
速率 λ > 0 \lambda>0 λ > 0 的指数变量在 x > 0 x>0 x > 0 有密度 λ e − λ x \lambda e^{-\lambda x} λ e − λ x 。积分得到尾概率 P ( X > x ) = e − λ x P(X>x)=e^{-\lambda x} P ( X > x ) = e − λ x ,x ≥ 0 x\geq0 x ≥ 0 ,所以此连续等候时间有无记忆性。对 t < λ t<\lambda t < λ 直接积分可得
M X ( t ) = λ λ − t , E [ X ] = 1 λ , Var ( X ) = 1 λ 2 . M_X(t)=\frac{\lambda}{\lambda-t},\qquad E[X]=\frac1\lambda,\qquad \operatorname{Var}(X)=\frac1{\lambda^2}. M X ( t ) = λ − t λ , E [ X ] = λ 1 , Var ( X ) = λ 2 1 .
形状 a > 0 a>0 a > 0 、速率 λ \lambda λ 的伽马密度是
f ( x ) = λ a Γ ( a ) x a − 1 e − λ x , x > 0 , Γ ( a ) = ∫ 0 ∞ u a − 1 e − u d u . f(x)=\frac{\lambda^a}{\Gamma(a)}x^{a-1}e^{-\lambda x},\quad x>0,\qquad
\Gamma(a)=\int_0^\infty u^{a-1}e^{-u}\,du. f ( x ) = Γ ( a ) λ a x a − 1 e − λ x , x > 0 , Γ ( a ) = ∫ 0 ∞ u a − 1 e − u d u .
代入 u = λ x u=\lambda x u = λ x 可验证归一化。分部积分给出 Γ ( a + 1 ) = a Γ ( a ) \Gamma(a+1)=a\Gamma(a) Γ ( a + 1 ) = a Γ ( a ) ,因为 u a e − u u^ae^{-u} u a e − u 在两端均趋于零。因此
E [ X m ] = Γ ( a + m ) λ m Γ ( a ) ( m ∈ R , m > − a ) , E [ X ] = a λ , Var ( X ) = a λ 2 . E[X^m]=\frac{\Gamma(a+m)}{\lambda^m\Gamma(a)}\quad(m\in\mathbb R,\ m>-a),\quad
E[X]=\frac a\lambda,\quad \operatorname{Var}(X)=\frac a{\lambda^2}. E [ X m ] = λ m Γ ( a ) Γ ( a + m ) ( m ∈ R , m > − a ) , E [ X ] = λ a , Var ( X ) = λ 2 a .
在积分中把 λ \lambda λ 换成 λ − t \lambda-t λ − t ,得到 M X ( t ) = ( λ / ( λ − t ) ) a M_X(t)=(\lambda/(\lambda-t))^a M X ( t ) = ( λ / ( λ − t ) ) a ,t < λ t<\lambda t < λ 。共同速率的独立伽马变量相加时,形状参数相加。识别这个分布可用卷积,或使用“在零附近有限的 MGF 唯一决定分布”这个标准定理;本节使用而不证明后一定理。特别地,r r r 个独立同速率指数等候时间之和有伽马形状 r r r 。
概念视角 分析
伽马尾部是一个泊松和 当形状 r r r 是整数时,速率为 λ \lambda λ 的伽马分布还有一个尾部公式:
P ( X > t ) = ∑ k = 0 r − 1 e − λ t ( λ t ) k k ! , t ≥ 0. P(X>t)=\sum_{k=0}^{r-1}e^{-\lambda t}\frac{(\lambda t)^k}{k!},\qquad t\ge0. P ( X > t ) = k = 0 ∑ r − 1 e − λ t k ! ( λ t ) k , t ≥ 0. 两边在 t = 0 t=0 t = 0 时都等于一;对和式求导,各项相消后剩下 − λ r t r − 1 e − λ t / ( r − 1 ) ! -\lambda^rt^{r-1}e^{-\lambda t}/(r-1)! − λ r t r − 1 e − λ t / ( r − 1 )! ,正是伽马密度的相反数。若把各指数等待时间看作相继到达之间的间隔,这个公式就是说:第 r r r 次到达在时刻 t t t 之后,当且仅当到时刻 t t t 为止至多有 r − 1 r-1 r − 1 次到达,而这个次数是均值为 λ t \lambda t λ t 的泊松计数。
正态分布及其平方
标准正态密度是 ϕ ( z ) = ( 2 π ) − 1 / 2 e − z 2 / 2 \phi(z)=(2\pi)^{-1/2}e^{-z^2/2} ϕ ( z ) = ( 2 π ) − 1/2 e − z 2 /2 。其归一化可由高斯(Gauss)积分平方后改用极坐标推得。配方给出
M Z ( t ) = 1 2 π ∫ R e t z − z 2 / 2 d z = e t 2 / 2 1 2 π ∫ R e − ( z − t ) 2 / 2 d z = e t 2 / 2 . M_Z(t)=\frac1{\sqrt{2\pi}}\int_{\mathbb R}e^{tz-z^2/2}\,dz
=e^{t^2/2}\frac1{\sqrt{2\pi}}\int_{\mathbb R}e^{-(z-t)^2/2}\,dz=e^{t^2/2}. M Z ( t ) = 2 π 1 ∫ R e t z − z 2 /2 d z = e t 2 /2 2 π 1 ∫ R e − ( z − t ) 2 /2 d z = e t 2 /2 .
于是 E [ Z ] = 0 E[Z]=0 E [ Z ] = 0 ,E [ Z 2 ] = 1 E[Z^2]=1 E [ Z 2 ] = 1 。若 X = μ + σ Z X=\mu+\sigma Z X = μ + σ Z ,σ > 0 \sigma>0 σ > 0 ,则 M X ( t ) = e μ t + σ 2 t 2 / 2 M_X(t)=e^{\mu t+\sigma^2t^2/2} M X ( t ) = e μ t + σ 2 t 2 /2 ,平均数和方差分别是 μ , σ 2 \mu,\sigma^2 μ , σ 2 。记号 N ( μ , σ 2 ) N(\mu,\sigma^2) N ( μ , σ 2 ) 的第二个参数在此表示方差。
对 Y = Z 2 Y=Z^2 Y = Z 2 ,反函数的正负两个分支都要计算。当 y > 0 y>0 y > 0 ,
f Y ( y ) = ϕ ( y ) + ϕ ( − y ) 2 y = e − y / 2 2 π y . f_Y(y)=\frac{\phi(\sqrt y)+\phi(-\sqrt y)}{2\sqrt y}
=\frac{e^{-y/2}}{\sqrt{2\pi y}}. f Y ( y ) = 2 y ϕ ( y ) + ϕ ( − y ) = 2 π y e − y /2 .
这是形状 1 / 2 1/2 1/2 、速率 1 / 2 1/2 1/2 的伽马分布,也称为一个自由度的卡方分布。独立标准正态平方之和因此有伽马形状 r / 2 r/2 r /2 、速率 1 / 2 1/2 1/2 ,平均数为 r r r ,方差为 2 r 2r 2 r 。若漏掉负的反函数分支,所得函数的积分只有 1 / 2 1/2 1/2 。
稀少的独立成功趋向泊松计数
设 λ > 0 \lambda>0 λ > 0 ;对 n > λ n>\lambda n > λ ,令 B n ∼ Bin ( n , λ / n ) B_n\sim\operatorname{Bin}(n,\lambda/n) B n ∼ Bin ( n , λ / n ) 。则对每个固定整数 k ≥ 0 k\geq0 k ≥ 0 ,P ( B n = k ) → e − λ λ k / k ! P(B_n=k)\to e^{-\lambda}\lambda^k/k! P ( B n = k ) → e − λ λ k / k ! ;因此 B n B_n B n 依分布收敛到 Pois ( λ ) \operatorname{Pois}(\lambda) Pois ( λ ) 。
把二项概率质量写成三个因子的乘积:
P ( B n = k ) = n ( n − 1 ) ⋯ ( n − k + 1 ) n k λ k k ! ( 1 − λ / n ) n ( 1 − λ / n ) − k ⟶ e − λ λ k k ! . P(B_n=k)=\frac{n(n-1)\cdots(n-k+1)}{n^k}\frac{\lambda^k}{k!}
(1-\lambda/n)^n(1-\lambda/n)^{-k}\longrightarrow e^{-\lambda}\frac{\lambda^k}{k!}. P ( B n = k ) = n k n ( n − 1 ) ⋯ ( n − k + 1 ) k ! λ k ( 1 − λ / n ) n ( 1 − λ / n ) − k ⟶ e − λ k ! λ k . k = 0 k=0 k = 0 时空乘积为一。第一因子趋向一,指数极限处理中间的幂,最后因子也趋向一。在每个固定非整数门槛,分布函数只是这些概率质量的有限和,因而证明依分布收敛至泊松分布。此近似描述大量独立机会、每次概率很小而总平均稳定的机制;单是试验次数很大并不足以支持它。
例题
一个群体有 M M M 件物品,其中 D D D 件有标记;均匀地不放回抽取 n ≤ M n\leq M n ≤ M 件。标记数 H H H 的概率质量是 ( D k ) ( M − D n − k ) / ( M n ) \binom Dk\binom{M-D}{n-k}/\binom Mn ( k D ) ( n − k M − D ) / ( n M ) ,其中 k k k 须可行。设 p = D / M p=D/M p = D / M ,每次抽取的指示变量平均为 p p p 。不同抽取位置有 P ( I i = I j = 1 ) = D ( D − 1 ) / ( M ( M − 1 ) ) P(I_i=I_j=1)=D(D-1)/(M(M-1)) P ( I i = I j = 1 ) = D ( D − 1 ) / ( M ( M − 1 )) ,故当 M > 1 M>1 M > 1 时,协方差为 − p ( 1 − p ) / ( M − 1 ) -p(1-p)/(M-1) − p ( 1 − p ) / ( M − 1 ) 。相加得到
E [ H ] = n p , Var ( H ) = n p ( 1 − p ) M − n M − 1 . E[H]=np,\qquad \operatorname{Var}(H)=np(1-p)\frac{M-n}{M-1}. E [ H ] = n p , Var ( H ) = n p ( 1 − p ) M − 1 M − n . 若 M = 10 , D = 4 , n = 5 M=10,D=4,n=5 M = 10 , D = 4 , n = 5 ,平均为 2 2 2 ,方差为 2 / 3 2/3 2/3 。错用独立性会得到 6 / 5 6/5 6/5 。当 M = 1 M=1 M = 1 ,计数是确定的,不需使用这个分母为零的分式。
设 N ∼ Pois ( λ ) N\sim\operatorname{Pois}(\lambda) N ∼ Pois ( λ ) ;每件物品以概率 p p p 独立保留,保留机制也独立于 N N N 。令 R R R 为保留数。在 N = n N=n N = n 的条件下,R R R 是二项变量,故
G R ( s ) = E [ ( 1 − p + p s ) N ] = exp ( λ p ( s − 1 ) ) . G_R(s)=E[(1-p+ps)^N]=\exp(\lambda p(s-1)). G R ( s ) = E [( 1 − p + p s ) N ] = exp ( λ p ( s − 1 )) . 所以 R ∼ Pois ( λ p ) R\sim\operatorname{Pois}(\lambda p) R ∼ Pois ( λ p ) 。推导明确使用了两项独立假设。若只是任意地保留一批物品的前一半,便没有这里的条件二项机制。
设 U U U 在 ( 0 , 1 ) (0,1) ( 0 , 1 ) 均匀分布,令 X = − log U / λ X=-\log U/\lambda X = − log U / λ 。对 x ≥ 0 x\geq0 x ≥ 0 ,P ( X > x ) = P ( U < e − λ x ) = e − λ x P(X>x)=P(U<e^{-\lambda x})=e^{-\lambda x} P ( X > x ) = P ( U < e − λ x ) = e − λ x ,所以 X X X 有速率 λ \lambda λ 的指数分布。平均数是 1 / λ 1/\lambda 1/ λ ,并非 λ \lambda λ 。更一般地,a + ( b − a ) U a+(b-a)U a + ( b − a ) U 在 ( a , b ) (a,b) ( a , b ) 均匀分布;积分 u u u 和 u 2 u^2 u 2 可得平均 ( a + b ) / 2 (a+b)/2 ( a + b ) /2 ,方差 ( b − a ) 2 / 12 (b-a)^2/12 ( b − a ) 2 /12 。
独立试验的成功概率为 p = 1 / 4 p=1/4 p = 1/4 。第三次成功前的失败数平均为 3 ( 3 / 4 ) / ( 1 / 4 ) = 9 3(3/4)/(1/4)=9 3 ( 3/4 ) / ( 1/4 ) = 9 ,方差为 3 ( 3 / 4 ) / ( 1 / 4 ) 2 = 36 3(3/4)/(1/4)^2=36 3 ( 3/4 ) / ( 1/4 ) 2 = 36 。直到该次成功的总试验次数平均为 12 12 12 ,方差相同。总次数等于五的概率是 ( 4 2 ) ( 1 / 4 ) 3 ( 3 / 4 ) 2 = 27 / 512 \binom42(1/4)^3(3/4)^2=27/512 ( 2 4 ) ( 1/4 ) 3 ( 3/4 ) 2 = 27/512 :第五次必须成功,而前四次恰有两次成功。
常见错误
伽马尺度 θ \theta θ 是速率 λ \lambda λ 的倒数。换算后,平均数 a θ a\theta a θ 与 a / λ a/\lambda a / λ 相同。几何失败数从零开始,试验总数则从一开始。惯例有歧义时,写出概率质量或密度及其支撑集。
设 X X X 服从速率为 1 1 1 的指数分布,Y = e − X Y=e^{-X} Y = e − X 。此时 g ( x ) = e − x g(x)=e^{-x} g ( x ) = e − x 把 I = ( 0 , ∞ ) I=(0,\infty) I = ( 0 , ∞ ) 映到 J = ( 0 , 1 ) J=(0,1) J = ( 0 , 1 ) 且递减,g − 1 ( y ) = − log y g^{-1}(y)=-\log y g − 1 ( y ) = − log y ,( g − 1 ) ′ ( y ) = − 1 / y (g^{-1})'(y)=-1/y ( g − 1 ) ′ ( y ) = − 1/ y 。若漏掉绝对值,公式给出 f X ( − log y ) ⋅ ( − 1 / y ) = y ⋅ ( − 1 / y ) = − 1 f_X(-\log y)\cdot(-1/y)=y\cdot(-1/y)=-1 f X ( − log y ) ⋅ ( − 1/ y ) = y ⋅ ( − 1/ y ) = − 1 ,是一个负的“密度”。保留绝对值,则在 ( 0 , 1 ) (0,1) ( 0 , 1 ) 上 f Y ( y ) = 1 f_Y(y)=1 f Y ( y ) = 1 ,其余为零,所以 Y Y Y 服从均匀分布;若写 f Y = 1 f_Y=1 f Y = 1 而不注明支撑集,它的积分甚至不等于一。这正是由均匀变量产生指数等候时间那个例子的逆向计算。
即使所有普通矩都有限,MGF 仍可能在每个正 t t t 都无限;对数正态分布就是例子。因此,只有各阶矩并不足以授权零附近的 MGF 推论。特征函数 E [ e i t X ] E[e^{itX}] E [ e i tX ] 的被积函数模长为一,总是存在,但它是另一个工具。
两个正态变量的和要保持正态,需要独立性或合适的联合高斯假设;边际分布的名称本身并不交代变量之间的关系。
反例模式
正态边际分布不保证和为正态 断言:若 X X X 与 Y Y Y 各自服从正态分布,则 X + Y X+Y X + Y 也服从正态分布。设 Z ∼ N ( 0 , 1 ) Z\sim N(0,1) Z ∼ N ( 0 , 1 ) ;当 ∣ Z ∣ ≤ 1 |Z|\le1 ∣ Z ∣ ≤ 1 时令 Y = Z Y=Z Y = Z ,当 ∣ Z ∣ > 1 |Z|\gt1 ∣ Z ∣ > 1 时令 Y = − Z Y=-Z Y = − Z 。因为 − Z -Z − Z 与 Z Z Z 同分布,而事件 { ∣ Z ∣ > 1 } \{|Z|\gt1\} { ∣ Z ∣ > 1 } 不受变号影响,
P ( Y ≤ y ) = P ( Z ≤ y , ∣ Z ∣ ≤ 1 ) + P ( − Z ≤ y , ∣ Z ∣ > 1 ) = P ( Z ≤ y , ∣ Z ∣ ≤ 1 ) + P ( Z ≤ y , ∣ Z ∣ > 1 ) = P ( Z ≤ y ) , P(Y\le y)=P(Z\le y,|Z|\le1)+P(-Z\le y,|Z|\gt1)=P(Z\le y,|Z|\le1)+P(Z\le y,|Z|\gt1)=P(Z\le y), P ( Y ≤ y ) = P ( Z ≤ y , ∣ Z ∣ ≤ 1 ) + P ( − Z ≤ y , ∣ Z ∣ > 1 ) = P ( Z ≤ y , ∣ Z ∣ ≤ 1 ) + P ( Z ≤ y , ∣ Z ∣ > 1 ) = P ( Z ≤ y ) , 所以 Y ∼ N ( 0 , 1 ) Y\sim N(0,1) Y ∼ N ( 0 , 1 ) 。但在 { ∣ Z ∣ ≤ 1 } \{|Z|\le1\} { ∣ Z ∣ ≤ 1 } 上 Z + Y = 2 Z Z+Y=2Z Z + Y = 2 Z ,其余情形 Z + Y = 0 Z+Y=0 Z + Y = 0 。因此 ∣ Z + Y ∣ ≤ 2 |Z+Y|\le2 ∣ Z + Y ∣ ≤ 2 ,且 P ( Z + Y = 0 ) = P ( ∣ Z ∣ > 1 ) P(Z+Y=0)=P(|Z|\gt1) P ( Z + Y = 0 ) = P ( ∣ Z ∣ > 1 ) ,严格介于零与一之间。正方差的正态分布没有点质量,而集中在零的退化分布要求这个概率为一;所以 Z + Y Z+Y Z + Y 不是正态变量,断言不成立。独立或联合高斯的正态变量之和才是正态的。
小结
不同计数机制产生二项、超几何、泊松及负二项分布,它们的相依性与支撑集假设并不相同。PGF 解释独立相加和阶乘矩。连续变换把均匀、指数、伽马与正态分布联系起来;反函数的导数及正确支撑集都是分布计算不可少的部分。
习题
快速检查
(N N N 为平均数 3 3 3 的泊松变量,S = N + 2 S=N+2 S = N + 2 。求 S S S 的 PGF、平均数及方差。S S S 是泊松变量吗?)
解答 · 答案 G S ( s ) = s 2 e 3 ( s − 1 ) G_S(s)=s^2e^{3(s-1)} G S ( s ) = s 2 e 3 ( s − 1 ) 。加常数后 E [ S ] = 5 E[S]=5 E [ S ] = 5 ,Var ( S ) = 3 \operatorname{Var}(S)=3 Var ( S ) = 3 。它不是泊松变量:零点概率为零,而每个有限正参数泊松分布在零点都有正概率。平均与方差不同也能排除泊松分布。
快速检查
(独立试验以概率 2 / 5 2/5 2/5 成功。求第二次成功所在试验编号的平均、方差,以及该编号等于四的概率。)
解答 · 答案 失败数平均为 2 ( 3 / 5 ) / ( 2 / 5 ) = 3 2(3/5)/(2/5)=3 2 ( 3/5 ) / ( 2/5 ) = 3 ,方差为 2 ( 3 / 5 ) / ( 2 / 5 ) 2 = 15 / 2 2(3/5)/(2/5)^2=15/2 2 ( 3/5 ) / ( 2/5 ) 2 = 15/2 。试验总数须再加二,平均为 5 5 5 ,方差仍为 15 / 2 15/2 15/2 。第四次才出现第二次成功,须在前三次中选一次成功,故概率为 ( 3 1 ) ( 2 / 5 ) 2 ( 3 / 5 ) 2 = 108 / 625 \binom31(2/5)^2(3/5)^2=108/625 ( 1 3 ) ( 2/5 ) 2 ( 3/5 ) 2 = 108/625 。
快速检查
(若 X X X 有速率 2 2 2 的指数分布,求 Y = X Y=\sqrt X Y = X 的密度和平均。)
解答 · 答案 在 y > 0 y>0 y > 0 ,反函数为 x = y 2 x=y^2 x = y 2 ,导数为 2 y 2y 2 y 。所以密度为 f Y ( y ) = 4 y e − 2 y 2 f_Y(y)=4ye^{-2y^2} f Y ( y ) = 4 y e − 2 y 2 ,其余处为零。利用伽马积分,E [ Y ] = E [ X 1 / 2 ] = Γ ( 3 / 2 ) / 2 = π / ( 2 2 ) E[Y]=E[X^{1/2}]=\Gamma(3/2)/\sqrt2=\sqrt\pi/(2\sqrt2) E [ Y ] = E [ X 1/2 ] = Γ ( 3/2 ) / 2 = π / ( 2 2 ) 。实数次矩使用与整数矩相同的代换,在此确实有限。
快速检查
(X 1 , X 2 X_1,X_2 X 1 , X 2 是独立伽马变量,形状为 2 , 3 2,3 2 , 3 ,共同速率为 4 4 4 。求其和的分布、平均及方差,并说明速率不同时哪一步不再成立。)
解答 · 答案 相乘 MGF 得 ( 4 / ( 4 − t ) ) 5 (4/(4-t))^5 ( 4/ ( 4 − t ) ) 5 ,故和有形状 5 5 5 、速率 4 4 4 的伽马分布,平均为 5 / 4 5/4 5/4 ,方差为 5 / 16 5/16 5/16 。速率不同会产生不同分母的因子,一般不能化成单一伽马 MGF。相乘本身仍需独立性。
快速检查
(八件物品中三件有标记,不放回抽取四件。求标记数的平均及方差,解释协方差的符号。)
解答 · 答案 p = 3 / 8 p=3/8 p = 3/8 ,所以 E [ H ] = 4 p = 3 / 2 E[H]=4p=3/2 E [ H ] = 4 p = 3/2 ,Var ( H ) = 4 ( 3 / 8 ) ( 5 / 8 ) ( 4 / 7 ) = 15 / 28 \operatorname{Var}(H)=4(3/8)(5/8)(4/7)=15/28 Var ( H ) = 4 ( 3/8 ) ( 5/8 ) ( 4/7 ) = 15/28 。抽到有标记物品会使剩余群体少一件标记,降低下一次抽到标记的概率;这个负协方差正是有限群体修正因子的来源。