動機
分佈的名稱應該概括一個隨機機制。在固定次數的獨立試驗中計算成功次數,與等候固定次數的成功,是兩個不同問題。不放回抽樣與獨立抽樣也不同。先辨認這些差別,再選擇模型,才能避免熟悉的公式掩蓋了真正重要的相依關係。
本節把常見離散及連續分佈連成一個有理由的整體。生成函數不只是儲存公式的工具:相乘對應獨立變量相加,求導則提供矩。連續模型把等候時間、積分與變量變換聯繫起來。
定義
若 N N N 取非負整數值,其概率生成函數(PGF)定義為
G N ( s ) = E [ s N ] = ∑ k = 0 ∞ P ( N = k ) s k , 0 ≤ s ≤ 1. G_N(s)=E[s^N]=\sum_{k=0}^{\infty}P(N=k)s^k,\qquad 0\leq s\leq1. G N ( s ) = E [ s N ] = k = 0 ∑ ∞ P ( N = k ) s k , 0 ≤ s ≤ 1. 在零點採用 0 0 = 1 0^0=1 0 0 = 1 ,所以 G N ( 0 ) = P ( N = 0 ) G_N(0)=P(N=0) G N ( 0 ) = P ( N = 0 ) 。冪級數也在 ∣ s ∣ < 1 |s|<1 ∣ s ∣ < 1 絕對收斂,係數就是各點概率。實隨機變量 X X X 的矩生成函數(MGF)為 M X ( t ) = E [ e t X ] M_X(t)=E[e^{tX}] M X ( t ) = E [ e tX ] ,只在期望有限之處使用。說 MGF 在零附近存在,是指某個包含零的開區間上,每個 t t t 的期望都有限。只有有限平均數並不足以保證這個較強條件。
定義 4.1.2
(伯努利(Bernoulli)、二項、泊松(Poisson)及等候計數)
參數 p ∈ [ 0 , 1 ] p\in[0,1] p ∈ [ 0 , 1 ] 的伯努利(Bernoulli)變量以概率 1 − p , p 1-p,p 1 − p , p 分別取零和一。二項變量 B ∼ Bin ( n , p ) B\sim\operatorname{Bin}(n,p) B ∼ Bin ( n , p ) 計算 n n n 次獨立同類試驗中的成功次數。泊松(Poisson)變量 N ∼ Pois ( λ ) N\sim\operatorname{Pois}(\lambda) N ∼ Pois ( λ ) 的參數 λ > 0 \lambda>0 λ > 0 ,概率質量為 e − λ λ k / k ! e^{-\lambda}\lambda^k/k! e − λ λ k / k ! ,k ≥ 0 k\geq0 k ≥ 0 ;指數級數保證總和為一。我們也容許參數為零,將其定義為集中在零的點質量。
設 0 < p < 1 0<p<1 0 < p < 1 ,q = 1 − p q=1-p q = 1 − p 。幾何失敗次數 K K K 滿足 P ( K = k ) = p q k P(K=k)=pq^k P ( K = k ) = p q k ,k ≥ 0 k\geq0 k ≥ 0 。首次成功所在的試驗編號則是 T = K + 1 T=K+1 T = K + 1 。若 r r r 為正整數,負二項失敗次數 K r K_r K r 記錄第 r r r 次成功前的失敗總數。在套用任何矩公式前,必須先確定計數從零還是一開始。
主要結果
若 A , B A,B A , B 是獨立的非負整數值變量,則 G A + B ( s ) = G A ( s ) G B ( s ) G_{A+B}(s)=G_A(s)G_B(s) G A + B ( s ) = G A ( s ) G B ( s ) ,0 ≤ s ≤ 1 0\leq s\leq1 0 ≤ s ≤ 1 。此外,
G N ′ ( 1 − ) = E [ N ] , G N ′ ′ ( 1 − ) = E [ N ( N − 1 ) ] , G_N'(1-)=E[N],\qquad G_N''(1-)=E[N(N-1)], G N ′ ( 1 − ) = E [ N ] , G N ′′ ( 1 − ) = E [ N ( N − 1 )] , 等式兩邊可以同為無窮。若兩者有限,則 Var ( N ) = G N ′ ′ ( 1 − ) + G N ′ ( 1 − ) − G N ′ ( 1 − ) 2 \operatorname{Var}(N)=G_N''(1-)+G_N'(1-)-G_N'(1-)^2 Var ( N ) = G N ′′ ( 1 − ) + G N ′ ( 1 − ) − G N ′ ( 1 − ) 2 。
A A A 與 B B B 獨立,故有界變量 s A s^A s A 與 s B s^B s B 亦獨立,所以 G A + B ( s ) = E [ s A s B ] = E [ s A ] E [ s B ] G_{A+B}(s)=E[s^As^B]=E[s^A]E[s^B] G A + B ( s ) = E [ s A s B ] = E [ s A ] E [ s B ] 。冪級數的收斂半徑至少為一,因此當 0 ≤ s < 1 0\le s\lt1 0 ≤ s < 1 時可逐項求導:
G N ′ ( s ) = ∑ k ≥ 1 k P ( N = k ) s k − 1 , G N ′ ′ ( s ) = ∑ k ≥ 2 k ( k − 1 ) P ( N = k ) s k − 2 . G_N'(s)=\sum_{k\ge1}kP(N=k)s^{k-1},\qquad G_N''(s)=\sum_{k\ge2}k(k-1)P(N=k)s^{k-2}. G N ′ ( s ) = k ≥ 1 ∑ k P ( N = k ) s k − 1 , G N ′′ ( s ) = k ≥ 2 ∑ k ( k − 1 ) P ( N = k ) s k − 2 . 每一項都非負,並隨 s s s 遞增。令 s ↑ 1 s\uparrow1 s ↑ 1 ,單調收斂定理給出極限 ∑ k k P ( N = k ) = E [ N ] \sum\limits_kkP(N=k)=E[N] k ∑ k P ( N = k ) = E [ N ] 及 ∑ k k ( k − 1 ) P ( N = k ) = E [ N ( N − 1 ) ] \sum\limits_kk(k-1)P(N=k)=E[N(N-1)] k ∑ k ( k − 1 ) P ( N = k ) = E [ N ( N − 1 )] ,可以有限或無窮。最後由 E [ N 2 ] = E [ N ( N − 1 ) ] + E [ N ] E[N^2]=E[N(N-1)]+E[N] E [ N 2 ] = E [ N ( N − 1 )] + E [ N ] 得到方差公式。這些是單側極限,並不保證 PGF 能解析延伸至一的右方。
證明透視
獨立性與單調性在哪裏起作用 只有相乘法則用到獨立性,而且只通過 E [ s A s B ] = E [ s A ] E [ s B ] E[s^As^B]=E[s^A]E[s^B] E [ s A s B ] = E [ s A ] E [ s B ] 。邊際分佈相同但相依的計數,其和可以有不同的 PGF:若 B = A B=A B = A 是公平二元變量,則 G A + B ( 0 ) = 1 / 2 G_{A+B}(0)=1/2 G A + B ( 0 ) = 1/2 ,而 G A ( 0 ) G B ( 0 ) = 1 / 4 G_A(0)G_B(0)=1/4 G A ( 0 ) G B ( 0 ) = 1/4 。矩公式完全不用獨立性。它們的關鍵一步是兩個極限的次序:先在單位區間內部、級數收斂之處求導,然後才讓 s s s 趨向一。係數 k P ( N = k ) kP(N=k) k P ( N = k ) 與 k ( k − 1 ) P ( N = k ) k(k-1)P(N=k) k ( k − 1 ) P ( N = k ) 非負,單調收斂定理才容許這一步;同一事實也使矩為無窮時,等式以 + ∞ +\infty + ∞ 成立。整個論證從未在 s = 1 s=1 s = 1 或其右方計算級數。
若 MGF 在零附近的開區間有限,則零點導數給出普通矩:M X ( k ) ( 0 ) = E [ X k ] M_X^{(k)}(0)=E[X^k] M X ( k ) ( 0 ) = E [ X k ] 。理由是可選 b > 0 b>0 b > 0 使 M X ( b ) , M X ( − b ) < ∞ M_X(b),M_X(-b)<\infty M X ( b ) , M X ( − b ) < ∞ ;在較小區間,e t X e^{tX} e tX 乘上多項式因子,被常數倍的 e b X + e − b X e^{bX}+e^{-bX} e b X + e − b X 控制。此可積上界容許在期望內重複求導。
對 B ∼ Bin ( n , p ) B\sim\operatorname{Bin}(n,p) B ∼ Bin ( n , p ) ,獨立試驗機制給出 G B ( s ) = ( q + p s ) n G_B(s)=(q+ps)^n G B ( s ) = ( q + p s ) n 。展開得到 P ( B = k ) = ( n k ) p k q n − k P(B=k)=\binom nkp^kq^{n-k} P ( B = k ) = ( k n ) p k q n − k ;求導則得到 E [ B ] = n p E[B]=np E [ B ] = n p 和 E [ B ( B − 1 ) ] = n ( n − 1 ) p 2 E[B(B-1)]=n(n-1)p^2 E [ B ( B − 1 )] = n ( n − 1 ) p 2 ,因此 Var ( B ) = n p q \operatorname{Var}(B)=npq Var ( B ) = n pq 。泊松變量則有
G N ( s ) = e λ ( s − 1 ) , E [ N ] = λ , Var ( N ) = λ . G_N(s)=e^{\lambda(s-1)},\qquad E[N]=\lambda,\qquad \operatorname{Var}(N)=\lambda. G N ( s ) = e λ ( s − 1 ) , E [ N ] = λ , Var ( N ) = λ .
相乘可知獨立泊松變量之和仍為泊松分佈,參數相加。但平均數等於方差並不能單獨刻畫泊松分佈;這裏識別分佈所用的是整個生成函數。
幾何失敗次數的生成函數由等比級數得到 G K ( s ) = p / ( 1 − q s ) G_K(s)=p/(1-qs) G K ( s ) = p / ( 1 − q s ) 。相鄰成功之間的失敗次數是獨立的幾何變量,故
G K r ( s ) = ( p 1 − q s ) r , E [ K r ] = r q p , Var ( K r ) = r q p 2 . G_{K_r}(s)=\left(\frac p{1-qs}\right)^r,\quad E[K_r]=\frac{rq}{p},\quad \operatorname{Var}(K_r)=\frac{rq}{p^2}. G K r ( s ) = ( 1 − q s p ) r , E [ K r ] = p r q , Var ( K r ) = p 2 r q .
其係數為 P ( K r = k ) = ( k + r − 1 r − 1 ) p r q k P(K_r=k)=\binom{k+r-1}{r-1}p^rq^k P ( K r = k ) = ( r − 1 k + r − 1 ) p r q k :先在前 k + r − 1 k+r-1 k + r − 1 次試驗中選出較早的 r − 1 r-1 r − 1 次成功,再要求最後一次成功。總試驗次數是 K r + r K_r+r K r + r ,平均為 r / p r/p r / p ,方差不變。
設 X X X 在開區間 I I I 上有密度 f X f_X f X ,而 g : I → J g:I\to J g : I → J 是導數非零的連續可微雙射。則 Y = g ( X ) Y=g(X) Y = g ( X ) 的密度為
f Y ( y ) = f X ( g − 1 ( y ) ) ∣ d d y g − 1 ( y ) ∣ , y ∈ J , f_Y(y)=f_X(g^{-1}(y))\left|\frac{d}{dy}g^{-1}(y)\right|,\quad y\in J, f Y ( y ) = f X ( g − 1 ( y )) d y d g − 1 ( y ) , y ∈ J , 在 J J J 外為零。概率為零的端點不影響分佈。若有多個光滑反函數分支,須在適用之處把各分支的貢獻相加。
因為 g ′ g' g ′ 在區間 I I I 上連續且從不為零,它的符號不變,所以 g g g 嚴格單調,J = g ( I ) J=g(I) J = g ( I ) 是開區間,而 h = g − 1 : J → I h=g^{-1}:J\to I h = g − 1 : J → I 連續可微,且 h ′ ( y ) = 1 / g ′ ( h ( y ) ) h'(y)=1/g'(h(y)) h ′ ( y ) = 1/ g ′ ( h ( y )) 。對區間 A = ( c , d ) ⊆ J A=(c,d)\subseteq J A = ( c , d ) ⊆ J ,P ( Y ∈ A ) = P ( X ∈ h ( A ) ) = ∫ h ( A ) f X ( x ) d x P(Y\in A)=P(X\in h(A))=\int_{h(A)}f_X(x)\,dx P ( Y ∈ A ) = P ( X ∈ h ( A )) = ∫ h ( A ) f X ( x ) d x 。代入 x = h ( y ) x=h(y) x = h ( y ) :若 h h h 遞增,得 ∫ c d f X ( h ( y ) ) h ′ ( y ) d y \int_c^d f_X(h(y))h'(y)\,dy ∫ c d f X ( h ( y )) h ′ ( y ) d y ;若 h h h 遞減,積分上下限對調而 h ′ < 0 h'\lt0 h ′ < 0 。兩種情況都得到 ∫ c d f X ( h ( y ) ) ∣ h ′ ( y ) ∣ d y \int_c^d f_X(h(y))|h'(y)|\,dy ∫ c d f X ( h ( y )) ∣ h ′ ( y ) ∣ d y 。區間決定分佈,所以這就是 Y Y Y 的密度,而 Y Y Y 不取 J J J 以外的值。絕對值保留區間長度,即使變換把方向倒轉也適用;新支撐集 J J J 是答案的一部分。
證明或證明思路
從指數等候時間到伽馬和
速率 λ > 0 \lambda>0 λ > 0 的指數變量在 x > 0 x>0 x > 0 有密度 λ e − λ x \lambda e^{-\lambda x} λ e − λ x 。積分得到尾概率 P ( X > x ) = e − λ x P(X>x)=e^{-\lambda x} P ( X > x ) = e − λ x ,x ≥ 0 x\geq0 x ≥ 0 ,所以此連續等候時間有無記憶性。對 t < λ t<\lambda t < λ 直接積分可得
M X ( t ) = λ λ − t , E [ X ] = 1 λ , Var ( X ) = 1 λ 2 . M_X(t)=\frac{\lambda}{\lambda-t},\qquad E[X]=\frac1\lambda,\qquad \operatorname{Var}(X)=\frac1{\lambda^2}. M X ( t ) = λ − t λ , E [ X ] = λ 1 , Var ( X ) = λ 2 1 .
形狀 a > 0 a>0 a > 0 、速率 λ \lambda λ 的伽馬密度是
f ( x ) = λ a Γ ( a ) x a − 1 e − λ x , x > 0 , Γ ( a ) = ∫ 0 ∞ u a − 1 e − u d u . f(x)=\frac{\lambda^a}{\Gamma(a)}x^{a-1}e^{-\lambda x},\quad x>0,\qquad
\Gamma(a)=\int_0^\infty u^{a-1}e^{-u}\,du. f ( x ) = Γ ( a ) λ a x a − 1 e − λ x , x > 0 , Γ ( a ) = ∫ 0 ∞ u a − 1 e − u d u .
代入 u = λ x u=\lambda x u = λ x 可驗證歸一化。分部積分給出 Γ ( a + 1 ) = a Γ ( a ) \Gamma(a+1)=a\Gamma(a) Γ ( a + 1 ) = a Γ ( a ) ,因為 u a e − u u^ae^{-u} u a e − u 在兩端均趨於零。因此
E [ X m ] = Γ ( a + m ) λ m Γ ( a ) ( m ∈ R , m > − a ) , E [ X ] = a λ , Var ( X ) = a λ 2 . E[X^m]=\frac{\Gamma(a+m)}{\lambda^m\Gamma(a)}\quad(m\in\mathbb R,\ m>-a),\quad
E[X]=\frac a\lambda,\quad \operatorname{Var}(X)=\frac a{\lambda^2}. E [ X m ] = λ m Γ ( a ) Γ ( a + m ) ( m ∈ R , m > − a ) , E [ X ] = λ a , Var ( X ) = λ 2 a .
在積分中把 λ \lambda λ 換成 λ − t \lambda-t λ − t ,得到 M X ( t ) = ( λ / ( λ − t ) ) a M_X(t)=(\lambda/(\lambda-t))^a M X ( t ) = ( λ / ( λ − t ) ) a ,t < λ t<\lambda t < λ 。共同速率的獨立伽馬變量相加時,形狀參數相加。識別這個分佈可用卷積,或使用「在零附近有限的 MGF 唯一決定分佈」這個標準定理;本節使用而不證明後一定理。特別地,r r r 個獨立同速率指數等候時間之和有伽馬形狀 r r r 。
概念視角 分析
伽馬尾部是一個泊松和 當形狀 r r r 是整數時,速率為 λ \lambda λ 的伽馬分佈還有一條尾部公式:
P ( X > t ) = ∑ k = 0 r − 1 e − λ t ( λ t ) k k ! , t ≥ 0. P(X>t)=\sum_{k=0}^{r-1}e^{-\lambda t}\frac{(\lambda t)^k}{k!},\qquad t\ge0. P ( X > t ) = k = 0 ∑ r − 1 e − λ t k ! ( λ t ) k , t ≥ 0. 兩邊在 t = 0 t=0 t = 0 時都等於一;對和式求導,各項相消後剩下 − λ r t r − 1 e − λ t / ( r − 1 ) ! -\lambda^rt^{r-1}e^{-\lambda t}/(r-1)! − λ r t r − 1 e − λ t / ( r − 1 )! ,正是伽馬密度的相反數。若把各指數等待時間看作相繼到達之間的間隔,這條公式就是說:第 r r r 次到達在時間 t t t 之後,當且僅當到時間 t t t 為止至多有 r − 1 r-1 r − 1 次到達,而這個次數是均值為 λ t \lambda t λ t 的泊松計數。
正態分佈及其平方
標準正態密度是 ϕ ( z ) = ( 2 π ) − 1 / 2 e − z 2 / 2 \phi(z)=(2\pi)^{-1/2}e^{-z^2/2} ϕ ( z ) = ( 2 π ) − 1/2 e − z 2 /2 。其歸一化可由高斯(Gauss)積分平方後改用極座標推得。配方給出
M Z ( t ) = 1 2 π ∫ R e t z − z 2 / 2 d z = e t 2 / 2 1 2 π ∫ R e − ( z − t ) 2 / 2 d z = e t 2 / 2 . M_Z(t)=\frac1{\sqrt{2\pi}}\int_{\mathbb R}e^{tz-z^2/2}\,dz
=e^{t^2/2}\frac1{\sqrt{2\pi}}\int_{\mathbb R}e^{-(z-t)^2/2}\,dz=e^{t^2/2}. M Z ( t ) = 2 π 1 ∫ R e t z − z 2 /2 d z = e t 2 /2 2 π 1 ∫ R e − ( z − t ) 2 /2 d z = e t 2 /2 .
於是 E [ Z ] = 0 E[Z]=0 E [ Z ] = 0 ,E [ Z 2 ] = 1 E[Z^2]=1 E [ Z 2 ] = 1 。若 X = μ + σ Z X=\mu+\sigma Z X = μ + σ Z ,σ > 0 \sigma>0 σ > 0 ,則 M X ( t ) = e μ t + σ 2 t 2 / 2 M_X(t)=e^{\mu t+\sigma^2t^2/2} M X ( t ) = e μ t + σ 2 t 2 /2 ,平均數和方差分別是 μ , σ 2 \mu,\sigma^2 μ , σ 2 。記號 N ( μ , σ 2 ) N(\mu,\sigma^2) N ( μ , σ 2 ) 的第二個參數在此表示方差。
對 Y = Z 2 Y=Z^2 Y = Z 2 ,反函數的正負兩個分支都要計算。當 y > 0 y>0 y > 0 ,
f Y ( y ) = ϕ ( y ) + ϕ ( − y ) 2 y = e − y / 2 2 π y . f_Y(y)=\frac{\phi(\sqrt y)+\phi(-\sqrt y)}{2\sqrt y}
=\frac{e^{-y/2}}{\sqrt{2\pi y}}. f Y ( y ) = 2 y ϕ ( y ) + ϕ ( − y ) = 2 π y e − y /2 .
這是形狀 1 / 2 1/2 1/2 、速率 1 / 2 1/2 1/2 的伽馬分佈,也稱為一個自由度的卡方分佈。獨立標準正態平方之和因此有伽馬形狀 r / 2 r/2 r /2 、速率 1 / 2 1/2 1/2 ,平均數為 r r r ,方差為 2 r 2r 2 r 。若漏掉負的反函數分支,所得函數的積分只有 1 / 2 1/2 1/2 。
稀少的獨立成功趨向泊松計數
設 λ > 0 \lambda>0 λ > 0 ;對 n > λ n>\lambda n > λ ,令 B n ∼ Bin ( n , λ / n ) B_n\sim\operatorname{Bin}(n,\lambda/n) B n ∼ Bin ( n , λ / n ) 。則對每個固定整數 k ≥ 0 k\geq0 k ≥ 0 ,P ( B n = k ) → e − λ λ k / k ! P(B_n=k)\to e^{-\lambda}\lambda^k/k! P ( B n = k ) → e − λ λ k / k ! ;因此 B n B_n B n 依分佈收斂至 Pois ( λ ) \operatorname{Pois}(\lambda) Pois ( λ ) 。
把二項概率質量寫成三個因子的乘積:
P ( B n = k ) = n ( n − 1 ) ⋯ ( n − k + 1 ) n k λ k k ! ( 1 − λ / n ) n ( 1 − λ / n ) − k ⟶ e − λ λ k k ! . P(B_n=k)=\frac{n(n-1)\cdots(n-k+1)}{n^k}\frac{\lambda^k}{k!}
(1-\lambda/n)^n(1-\lambda/n)^{-k}\longrightarrow e^{-\lambda}\frac{\lambda^k}{k!}. P ( B n = k ) = n k n ( n − 1 ) ⋯ ( n − k + 1 ) k ! λ k ( 1 − λ / n ) n ( 1 − λ / n ) − k ⟶ e − λ k ! λ k . k = 0 k=0 k = 0 時空乘積為一。第一因子趨向一,指數極限處理中間的冪,最後因子也趨向一。在每個固定非整數門檻,分佈函數只是這些概率質量的有限和,因而證明依分佈收斂至泊松分佈。此近似描述大量獨立機會、每次概率很小而總平均穩定的機制;單是試驗次數很大並不足以支持它。
例題
一個群體有 M M M 件物件,其中 D D D 件有標記;均勻地不放回抽取 n ≤ M n\leq M n ≤ M 件。標記數 H H H 的概率質量是 ( D k ) ( M − D n − k ) / ( M n ) \binom Dk\binom{M-D}{n-k}/\binom Mn ( k D ) ( n − k M − D ) / ( n M ) ,其中 k k k 須可行。設 p = D / M p=D/M p = D / M ,每次抽取的指示變量平均為 p p p 。不同抽取位置有 P ( I i = I j = 1 ) = D ( D − 1 ) / ( M ( M − 1 ) ) P(I_i=I_j=1)=D(D-1)/(M(M-1)) P ( I i = I j = 1 ) = D ( D − 1 ) / ( M ( M − 1 )) ,故當 M > 1 M>1 M > 1 時,協方差為 − p ( 1 − p ) / ( M − 1 ) -p(1-p)/(M-1) − p ( 1 − p ) / ( M − 1 ) 。相加得到
E [ H ] = n p , Var ( H ) = n p ( 1 − p ) M − n M − 1 . E[H]=np,\qquad \operatorname{Var}(H)=np(1-p)\frac{M-n}{M-1}. E [ H ] = n p , Var ( H ) = n p ( 1 − p ) M − 1 M − n . 若 M = 10 , D = 4 , n = 5 M=10,D=4,n=5 M = 10 , D = 4 , n = 5 ,平均為 2 2 2 ,方差為 2 / 3 2/3 2/3 。錯用獨立性會得到 6 / 5 6/5 6/5 。當 M = 1 M=1 M = 1 ,計數是確定的,不需使用這個分母為零的分式。
設 N ∼ Pois ( λ ) N\sim\operatorname{Pois}(\lambda) N ∼ Pois ( λ ) ;每件物件以概率 p p p 獨立保留,保留機制也獨立於 N N N 。令 R R R 為保留數。在 N = n N=n N = n 的條件下,R R R 是二項變量,故
G R ( s ) = E [ ( 1 − p + p s ) N ] = exp ( λ p ( s − 1 ) ) . G_R(s)=E[(1-p+ps)^N]=\exp(\lambda p(s-1)). G R ( s ) = E [( 1 − p + p s ) N ] = exp ( λ p ( s − 1 )) . 所以 R ∼ Pois ( λ p ) R\sim\operatorname{Pois}(\lambda p) R ∼ Pois ( λ p ) 。推導明確使用了兩項獨立假設。若只是任意地保留一批物件的前一半,便沒有這裏的條件二項機制。
設 U U U 在 ( 0 , 1 ) (0,1) ( 0 , 1 ) 均勻分佈,令 X = − log U / λ X=-\log U/\lambda X = − log U / λ 。對 x ≥ 0 x\geq0 x ≥ 0 ,P ( X > x ) = P ( U < e − λ x ) = e − λ x P(X>x)=P(U<e^{-\lambda x})=e^{-\lambda x} P ( X > x ) = P ( U < e − λ x ) = e − λ x ,所以 X X X 有速率 λ \lambda λ 的指數分佈。平均數是 1 / λ 1/\lambda 1/ λ ,並非 λ \lambda λ 。更一般地,a + ( b − a ) U a+(b-a)U a + ( b − a ) U 在 ( a , b ) (a,b) ( a , b ) 均勻分佈;積分 u u u 和 u 2 u^2 u 2 可得平均 ( a + b ) / 2 (a+b)/2 ( a + b ) /2 ,方差 ( b − a ) 2 / 12 (b-a)^2/12 ( b − a ) 2 /12 。
獨立試驗的成功概率為 p = 1 / 4 p=1/4 p = 1/4 。第三次成功前的失敗數平均為 3 ( 3 / 4 ) / ( 1 / 4 ) = 9 3(3/4)/(1/4)=9 3 ( 3/4 ) / ( 1/4 ) = 9 ,方差為 3 ( 3 / 4 ) / ( 1 / 4 ) 2 = 36 3(3/4)/(1/4)^2=36 3 ( 3/4 ) / ( 1/4 ) 2 = 36 。直到該次成功的總試驗次數平均為 12 12 12 ,方差相同。總次數等於五的概率是 ( 4 2 ) ( 1 / 4 ) 3 ( 3 / 4 ) 2 = 27 / 512 \binom42(1/4)^3(3/4)^2=27/512 ( 2 4 ) ( 1/4 ) 3 ( 3/4 ) 2 = 27/512 :第五次必須成功,而前四次恰有兩次成功。
常見錯誤
伽馬尺度 θ \theta θ 是速率 λ \lambda λ 的倒數。換算後,平均數 a θ a\theta a θ 與 a / λ a/\lambda a / λ 相同。幾何失敗數從零開始,試驗總數則從一開始。慣例有歧義時,寫出概率質量或密度及其支撐集。
設 X X X 有速率 1 1 1 的指數分佈,Y = e − X Y=e^{-X} Y = e − X 。此時 g ( x ) = e − x g(x)=e^{-x} g ( x ) = e − x 把 I = ( 0 , ∞ ) I=(0,\infty) I = ( 0 , ∞ ) 映到 J = ( 0 , 1 ) J=(0,1) J = ( 0 , 1 ) 且遞減,g − 1 ( y ) = − log y g^{-1}(y)=-\log y g − 1 ( y ) = − log y ,( g − 1 ) ′ ( y ) = − 1 / y (g^{-1})'(y)=-1/y ( g − 1 ) ′ ( y ) = − 1/ y 。若漏掉絕對值,公式給出 f X ( − log y ) ⋅ ( − 1 / y ) = y ⋅ ( − 1 / y ) = − 1 f_X(-\log y)\cdot(-1/y)=y\cdot(-1/y)=-1 f X ( − log y ) ⋅ ( − 1/ y ) = y ⋅ ( − 1/ y ) = − 1 ,是一個負的「密度」。保留絕對值,則在 ( 0 , 1 ) (0,1) ( 0 , 1 ) 上 f Y ( y ) = 1 f_Y(y)=1 f Y ( y ) = 1 ,其餘為零,所以 Y Y Y 均勻分佈;若寫 f Y = 1 f_Y=1 f Y = 1 而不註明支撐集,它的積分甚至不等於一。這正是由均勻變量產生指數等候時間那個例子的逆向計算。
即使所有普通矩都有限,MGF 仍可能在每個正 t t t 都無限;對數正態分佈就是例子。因此,只有各階矩並不足以授權零附近的 MGF 推論。特徵函數 E [ e i t X ] E[e^{itX}] E [ e i tX ] 的被積函數模長為一,總是存在,但它是另一個工具。
兩個正態變量的和要保持正態,需要獨立性或合適的聯合高斯假設;邊際分佈的名稱本身並不交代變量之間的關係。
反例模式
正態邊際分佈不保證和為正態 聲稱:若 X X X 與 Y Y Y 各自服從正態分佈,則 X + Y X+Y X + Y 亦服從正態分佈。設 Z ∼ N ( 0 , 1 ) Z\sim N(0,1) Z ∼ N ( 0 , 1 ) ;當 ∣ Z ∣ ≤ 1 |Z|\le1 ∣ Z ∣ ≤ 1 時令 Y = Z Y=Z Y = Z ,當 ∣ Z ∣ > 1 |Z|\gt1 ∣ Z ∣ > 1 時令 Y = − Z Y=-Z Y = − Z 。因為 − Z -Z − Z 與 Z Z Z 同分佈,而事件 { ∣ Z ∣ > 1 } \{|Z|\gt1\} { ∣ Z ∣ > 1 } 不受變號影響,
P ( Y ≤ y ) = P ( Z ≤ y , ∣ Z ∣ ≤ 1 ) + P ( − Z ≤ y , ∣ Z ∣ > 1 ) = P ( Z ≤ y , ∣ Z ∣ ≤ 1 ) + P ( Z ≤ y , ∣ Z ∣ > 1 ) = P ( Z ≤ y ) , P(Y\le y)=P(Z\le y,|Z|\le1)+P(-Z\le y,|Z|\gt1)=P(Z\le y,|Z|\le1)+P(Z\le y,|Z|\gt1)=P(Z\le y), P ( Y ≤ y ) = P ( Z ≤ y , ∣ Z ∣ ≤ 1 ) + P ( − Z ≤ y , ∣ Z ∣ > 1 ) = P ( Z ≤ y , ∣ Z ∣ ≤ 1 ) + P ( Z ≤ y , ∣ Z ∣ > 1 ) = P ( Z ≤ y ) , 所以 Y ∼ N ( 0 , 1 ) Y\sim N(0,1) Y ∼ N ( 0 , 1 ) 。但在 { ∣ Z ∣ ≤ 1 } \{|Z|\le1\} { ∣ Z ∣ ≤ 1 } 上 Z + Y = 2 Z Z+Y=2Z Z + Y = 2 Z ,其餘情況 Z + Y = 0 Z+Y=0 Z + Y = 0 。因此 ∣ Z + Y ∣ ≤ 2 |Z+Y|\le2 ∣ Z + Y ∣ ≤ 2 ,且 P ( Z + Y = 0 ) = P ( ∣ Z ∣ > 1 ) P(Z+Y=0)=P(|Z|\gt1) P ( Z + Y = 0 ) = P ( ∣ Z ∣ > 1 ) ,嚴格介於零與一之間。正方差的正態分佈沒有點質量,而集中在零的退化分佈要求這個概率為一;所以 Z + Y Z+Y Z + Y 不是正態變量,聲稱不成立。獨立或聯合高斯的正態變量之和才是正態。
小結
不同計數機制產生二項、超幾何、泊松及負二項分佈,它們的相依性與支撐集假設並不相同。PGF 解釋獨立相加和階乘矩。連續變換把均勻、指數、伽馬與正態分佈聯繫起來;反函數的導數及正確支撐集都是分佈計算不可少的部分。
習題
快速檢查
(N N N 為平均數 3 3 3 的泊松變量,S = N + 2 S=N+2 S = N + 2 。求 S S S 的 PGF、平均數及方差。S S S 是泊松變量嗎?)
解答 · 答案 G S ( s ) = s 2 e 3 ( s − 1 ) G_S(s)=s^2e^{3(s-1)} G S ( s ) = s 2 e 3 ( s − 1 ) 。加常數後 E [ S ] = 5 E[S]=5 E [ S ] = 5 ,Var ( S ) = 3 \operatorname{Var}(S)=3 Var ( S ) = 3 。它不是泊松變量:零點概率為零,而每個有限正參數泊松分佈在零點都有正概率。平均與方差不同也能排除泊松分佈。
快速檢查
(獨立試驗以概率 2 / 5 2/5 2/5 成功。求第二次成功所在試驗編號的平均、方差,以及該編號等於四的概率。)
解答 · 答案 失敗數平均為 2 ( 3 / 5 ) / ( 2 / 5 ) = 3 2(3/5)/(2/5)=3 2 ( 3/5 ) / ( 2/5 ) = 3 ,方差為 2 ( 3 / 5 ) / ( 2 / 5 ) 2 = 15 / 2 2(3/5)/(2/5)^2=15/2 2 ( 3/5 ) / ( 2/5 ) 2 = 15/2 。試驗總數須再加二,平均為 5 5 5 ,方差仍為 15 / 2 15/2 15/2 。第四次才出現第二次成功,須在前三次中選一次成功,故概率為 ( 3 1 ) ( 2 / 5 ) 2 ( 3 / 5 ) 2 = 108 / 625 \binom31(2/5)^2(3/5)^2=108/625 ( 1 3 ) ( 2/5 ) 2 ( 3/5 ) 2 = 108/625 。
快速檢查
(若 X X X 有速率 2 2 2 的指數分佈,求 Y = X Y=\sqrt X Y = X 的密度和平均。)
解答 · 答案 在 y > 0 y>0 y > 0 ,反函數為 x = y 2 x=y^2 x = y 2 ,導數為 2 y 2y 2 y 。所以密度為 f Y ( y ) = 4 y e − 2 y 2 f_Y(y)=4ye^{-2y^2} f Y ( y ) = 4 y e − 2 y 2 ,其餘處為零。利用伽馬積分,E [ Y ] = E [ X 1 / 2 ] = Γ ( 3 / 2 ) / 2 = π / ( 2 2 ) E[Y]=E[X^{1/2}]=\Gamma(3/2)/\sqrt2=\sqrt\pi/(2\sqrt2) E [ Y ] = E [ X 1/2 ] = Γ ( 3/2 ) / 2 = π / ( 2 2 ) 。實數次矩使用與整數矩相同的代換,在此確實有限。
快速檢查
(X 1 , X 2 X_1,X_2 X 1 , X 2 是獨立伽馬變量,形狀為 2 , 3 2,3 2 , 3 ,共同速率為 4 4 4 。求其和的分佈、平均及方差,並說明速率不同時哪一步不再成立。)
解答 · 答案 相乘 MGF 得 ( 4 / ( 4 − t ) ) 5 (4/(4-t))^5 ( 4/ ( 4 − t ) ) 5 ,故和有形狀 5 5 5 、速率 4 4 4 的伽馬分佈,平均為 5 / 4 5/4 5/4 ,方差為 5 / 16 5/16 5/16 。速率不同會產生不同分母的因子,一般不能化成單一伽馬 MGF。相乘本身仍需獨立性。
快速檢查
(八件物件中三件有標記,不放回抽取四件。求標記數的平均及方差,解釋協方差的符號。)
解答 · 答案 p = 3 / 8 p=3/8 p = 3/8 ,所以 E [ H ] = 4 p = 3 / 2 E[H]=4p=3/2 E [ H ] = 4 p = 3/2 ,Var ( H ) = 4 ( 3 / 8 ) ( 5 / 8 ) ( 4 / 7 ) = 15 / 28 \operatorname{Var}(H)=4(3/8)(5/8)(4/7)=15/28 Var ( H ) = 4 ( 3/8 ) ( 5/8 ) ( 4/7 ) = 15/28 。抽到有標記物件會使剩餘群體少一件標記,降低下一次抽到標記的概率;這個負協方差正是有限群體修正因子的來源。