只數成功次數並不總是足夠。一次試驗可能有多種互斥結果,我們往往想同時計算各類的次數。固定總次數時,各類計數受到共同限制,知道一類的計數便會影響其他類別可能的取值;但若總數服從泊松(Poisson)分佈,再把每個事件獨立分類,所得計數竟然互相獨立。關鍵是分清兩個不同的抽樣機制。
固定次數的試驗
定義 27.1.1
(多項分佈)
假設有 次獨立試驗,每次恰好落在 類之一,第 類的概率為 ,且 。令 為第 類的出現次數。向量 的分佈稱為多項分佈,記作 。其可能值是滿足 的非負整數向量。
定理 27.1.2
(多項分佈公式)
對上述可能值,
每個 都服從參數為 的二項分佈,而且當 時,
證明
(先數排列,再用指示變量)
由試驗的獨立性,任何指定次序只要第 類出現 次,其概率便是 。選擇各類所佔的位置,可知這樣的次序有 個;把它們相等的概率相加即得公式。對概率為零而次數亦為零的類別,採用慣例 。
令 表示第 次試驗是否屬於第 類,則 ,而 是均值為 的獨立伯努利(Bernoulli)變量,故 服從二項分佈,期望與方差如上。同一次試驗不能同時屬於兩類,故當 時 ,因此
而不同試驗的交叉協方差由獨立性為零。把 個同次試驗的項相加,便得協方差公式。
證明透視
負協方差從何而來
證明用到模型的兩個不同特徵。試驗之間的獨立性使類別次數相同的每個次序概率相等,也使所有跨試驗協方差消失。同一次試驗內的互斥性,即每次試驗恰好屬於一類,是協方差的唯一來源:它迫使 ,把 變成 。
因此,負協方差是這個固定總數模型的結果,並非所有分類計數都有此性質。若試驗本身互相依賴,跨試驗項會重新出現,符號也可能改變;若總數是隨機的,互斥性所帶來的約束 便不再存在,這正是下面泊松分割的情況。
例題 27.1.3
(三種結果)
四次獨立試驗中,紅、藍、綠的概率分別為 。恰有兩紅、一藍、一綠的概率為
紅與藍的期望次數分別為 和 ,協方差為 。兩者不獨立:四次全紅會排除任何藍色,雖然這兩個事件各有正概率。
隨機總數帶來的變化
定理 27.1.4
(泊松分割)
設 ,其中 。給定 後,將每個事件獨立地以固定概率 分至第 類,且各 、其和為一。則各類計數互相獨立,並且 。
證明
(泊松質量乘以多項質量)
若 ,則 幾乎必然成立,各類計數也幾乎必然為零,結論成立。現在假設 。給定非負整數 ,令 。各類計數決定總數為 ,而且 ,因此乘法公式與多項公式給出
第二個等號利用 把 寫成 ,並利用 。各因子都是泊松概率質量函數,包括零參數的退化情形。完整聯合質量函數分解,證明了獨立性。
證明透視
階乘為何恰好相消
關鍵一步是 相消:總數的泊松質量提供 ,多項係數提供 。泊松總數的質量恰好帶有多項係數所需的階乘,所以剩下的是 各自函數的乘積;對一般的 分佈,因子 未必能這樣分拆。另外兩個要素是:因 , 可分拆為 ;因各 之和為一, 也可分拆。獨立分類用於在給定 時引用多項公式。若 ,再以 作條件,便回到固定總數下的多項依賴關係;獨立性來自總數本身的隨機性。
例題 27.1.5
(分流與條件重建)
設到達總數為均值 的泊松變量,每次到達獨立地以概率 標記為 A,否則標記為 B。則 ,,且兩者獨立。因此 。若已知總數恰為三,則 ,且 。
反例模式
隨機總數本身並不足夠
有人會以為任何隨機總數都會令計數獨立。若總數必定為一,兩類概率均為 ,計數只能是 或 ,各有概率 。於是 ,但 ,所以並不獨立。上述結論依賴泊松總數及獨立分類;若所有事件共用一個隨機選定的標籤,即使總數是泊松變量,計數通常也不獨立。
稀有類別的泊松極限
分割後的泊松模型也是固定次數試驗的極限。固定 。在第 行中, 次獨立試驗的每一次,第 類概率為 (),另有一類的概率為 ;取足夠大的 使它非負。設 為第 類計數。
定理 27.1.6
(稀有類別的泊松極限)
對固定非負整數 ,
因此 依分佈收斂至均值為 的獨立泊松變量向量。
證明
(逐個因子取極限)
寫 ,並取 。多項公式(額外一類有 次)給出
階乘比等於 ,是 個趨近一的因子的乘積,最後一項則趨近 。故每個固定的聯合質量都趨近獨立泊松變量的聯合質量。這些極限質量之和為一,因此聯合分佈收斂至該分佈。
極限獨立不代表有限 時精確獨立:當 ,協方差為 ,雖趨於零,但只要 便不為零。
例題 27.1.7
(一千次試驗時極限有多準)
取 次試驗,兩個稀有類別的概率為 及 ,即 、,第三類概率為 。第一類從未出現、第二類恰出現一次的精確概率為
極限定理給出 ,相對誤差約 。兩個計數的精確協方差是 :很小,但不為零。
常見錯誤
常見錯誤
(把二項邊際分佈相乘當作聯合概率)
每個多項計數都是二項變量,但聯合質量不是邊際質量之積。在三色例子中,「四紅一藍」的概率為零,因為總共只有四次試驗。邊際之積卻是 。
常見錯誤
(把計數相加時漏掉協方差)
在三色例子中,。但 是概率為 的合併類別的計數,服從 ,方差為 。差額正是 ,而 。
練習與解答
快速檢查
(十次獨立試驗有三類,概率為 。求計數為 的概率,以及前兩類計數的協方差。)
使用多項係數 。
解答 · 答案
多項係數為 ,故概率為 。協方差為 。
快速檢查
(缺陷總數是均值為 的泊松變量。每個缺陷獨立地以概率 分為輕微,否則為嚴重。求恰有兩個嚴重缺陷而沒有輕微缺陷的概率。)
先分割,再用獨立性。
解答 · 答案
輕微及嚴重數目分別為均值 、 的獨立泊松變量,故答案為 。
快速檢查
(在分割定理的條件下,額外假設 ,求給定 時 的分佈。若 且 ,給定此條件後 是否獨立?)
給定總數後,構造就是固定次數的試驗。
解答 · 答案
給定 ,構造是 次試驗的多項試驗,故 。兩者在此條件下並不獨立,因為條件協方差為 。