动机
两项量度可以各有熟悉的分布,但我们仍不清楚它们的关系。即使知道两个边际分布,也不足以求 P(X<Y)。联合分布补充了这个关系。条件化则问另一个问题:其中一项量度揭示后,对另一项的预测应怎样改变?
对连续观测,事件 Y=y 通常有概率零,不能把 P(X∈A,Y=y) 除以 P(Y=y) 来定义条件分布。密度和条件期望提供精确的替代方法。我们将推导这些法则,并把总变异分成组内波动与各组平均之间的波动。
定义
若对每个可测集合 A 都有 P((X,Y)∈A)=∬Af(x,y)dxdy,则 (X,Y) 有联合密度 f。它非负,总积分为一。边际密度为
fX(x)=∫Rf(x,y)dy,fY(y)=∫Rf(x,y)dx.把支撑集以外的密度设为零,就可一直在整条实线积分。两变量独立,当且仅当 f(x,y)=fX(x)fY(y) 几乎处处成立。若支撑集不是直积区域,单看代数式像乘积并不足以判定独立。
当 0<fY(y)<∞ 时,条件密度的一个版本为
fX∣Y(x∣y)=fY(y)f(x,y).“版本”一词有实质意思:在一组 Y 概率为零的 y 值上改动条件密度,并不影响其定义所要求的概率等式。联合分布不会唯一决定这些例外值上的条件分布。
对可积的 X,条件期望 E[X∣Y] 是一个可积函数 m(Y),使每个博雷尔(Borel)集合 B 都满足
E[X1{Y∈B}]=E[m(Y)1{Y∈B}].它在几乎必然相等的意义下唯一。有密度时,m(y)=∫xfX∣Y(x∣y)dx,限于绝对积分有限的值。更一般地,E[X∣G] 是一个可积、对 G 可测的变量,并对信息集合 G 中每个事件满足同类积分等式;G 是一个 σ 代数。这个定义超越密度情形;其一般存在定理在此使用而不证明。
主要结果
设 (X,Y) 在开区域 D⊂R2 有密度 f。若 T:D→E 是连续可微双射,其反函数连续可微,且雅可比(Jacobi)行列式非零,则 (U,V)=T(X,Y) 的密度为
fU,V(u,v)=f(T−1(u,v))detDT−1(u,v)1E(u,v).从 D 或 E 省略的集合,只有在其概率为零时才无影响。有有限个互不重叠的光滑反函数分支时,须把分支贡献相加。
证明是对概率积分使用二维变量代换定理。行列式量度局部面积缩放。直接使用正向行列式而不取倒数,是另一个运算,一般不会给出归一化密度。
若 X 可积,且 H⊆G 是两个 σ 代数,则
E[E[X∣G]∣H]=E[X∣H]几乎必然成立.特别地,E[E[X∣Y]]=E[X]。若 E[X2]<∞,定义 Var(X∣Y)=E[(X−E[X∣Y])2∣Y],则
Var(X)=E[Var(X∣Y)]+Var(E[X∣Y]).
第一式必须有信息包含关系。对两个无关变量随意先后取条件期望,不能凭塔式法则化简。第二式中的条件方差是随观测组别改变的随机变量,其期望才是一个数。
证明或证明思路
条件密度并没有除以零
对有界可测函数 h 和事件 {Y∈B},富比尼(Fubini)定理给出
E[h(X)1{Y∈B}]=∫B(∫h(x)fX∣Y(x∣y)dx)fY(y)dy.
在比值未定义的例外 y 值,可任选一个概率密度,因为外层积分赋予它们的权重是零。这个积分等式才是条件公式的意思;整个推论不曾以单点概率除以零。若 h(X) 无界但可积,绝对可积性同样保证计算合法。
条件期望是最佳均方预测
设 m=E[X∣Y]。定义中的平均等式推出:对有界可测 g,有 E[(X−m)g(Y)]=0;再以截断可推广至平方可积的 g(Y)。条件柯西–施瓦茨(Cauchy–Schwarz)不等式保证当 X 平方可积时,m 也平方可积。对任意平方可积预测 a(Y),展开可得
E[(X−a(Y))2]=E[(X−m)2]+E[(m−a(Y))2].交叉项由上述正交性消失。因此 m 使均方误差最小,并在几乎必然相等的意义下唯一。取 a(Y)=E[X] 就得到全方差公式。两项分别量度:每组内围绕条件平均的未解释波动,以及各组平均本身的波动。
证明塔式法则时,令 Z=E[E[X∣G]∣H],则 Z 对 H 可测。每个 A∈H 也属于 G,所以 E[Z1A]=E[E[X∣G]1A]=E[X1A]。定义及几乎必然唯一性便把 Z 识别为 E[X∣H]。
证明透视
嵌套与正交在哪里使用
证明依靠两个不同的事实。塔式法则只需要定义性质和一个包含关系:把 A∈H 当作 E[X∣G] 的检验事件,这是合法的,因为 A∈G。没有 H⊆G,这一步就没有依据。方差分解则建立在正交性 E[(X−m)g(Y)]=0 之上:这正是定义等式,只是把示性函数 1{Y∈B} 换成有界函数,再通过截断换成平方可积函数。假设 E[X2]<∞ 使展开式中每个乘积都可积。关键一步是勾股分解 X−a(Y)=(X−m)+(m−a(Y)),其中第二部分是 Y 的函数。取常数 a=E[X] 便完成论证:由塔式法则,第一个平方的平均是 E[Var(X∣Y)];又因 E[m]=E[X],第二个是 Var(m)。
总和与比例:伽马及贝塔的关系
设 X,Y 是独立伽马变量,形状为 a,b>0,共同速率为 λ>0。令 S=X+Y,R=X/(X+Y)。反函数为 x=sr,y=s(1−r),范围是 s>0,0<r<1,雅可比行列式绝对值为 s。代入得到
fS,R(s,r)=Γ(a+b)λa+bsa+b−1e−λsΓ(a)Γ(b)Γ(a+b)ra−1(1−r)b−1.
第一因子积分为一。整个联合密度也积分为一,所以第二因子同样归一化。故 S,R 独立,S 有伽马形状 a+b,而 R 有参数 a,b 的贝塔分布。这同时证明
B(a,b)=∫01ra−1(1−r)b−1dr=Γ(a+b)Γ(a)Γ(b).
以贝塔积分的比值计算,得到 E[R]=a/(a+b),E[R2]=a(a+1)/((a+b)(a+b+1))。再减去平均平方,方差为 ab/((a+b)2(a+b+1))。共同速率使指数部分只依赖 s;速率不同一般就失去这个独立性。
对应的协方差恒等式
若 X,Z 均有有限二阶矩,对 Y 条件化也有
Cov(X,Z)=E[Cov(X,Z∣Y)]+Cov(E[X∣Y],E[Z∣Y]).
条件协方差定义为 E[(X−E[X∣Y])(Z−E[Z∣Y])∣Y]。证明时,把两个变量分别减去总平均,再把每个中心化变量分成残差及条件平均减总平均。两个混合项由条件正交性得到期望零;残差乘积给出第一项,条件平均的乘积给出第二项。取 Z=X 就恢复全方差。与方差公式的两个非负项不同,协方差项可以为负;此公式区分线性关联的来源,并非说每个来源都增加关联。
例题
设 f(x,y)=2 于 0<x<y<1,其余为零。三角形面积为 1/2,所以密度归一化。积分得到 fY(y)=2y,0<y<1,以及 fX(x)=2(1−x),0<x<1。当 0<y<1,X∣Y=y 在 (0,y) 均匀分布,故 m(y)=y/2,条件方差为 y2/12。
现在 E[Y]=2/3,E[Y2]=1/2,因此 E[X]=1/3。全方差公式给出 E[Y2]/12+Var(Y)/4=1/24+1/72=1/18。直接积分也有 E[X2]=1/6,方差为 1/6−1/9=1/18。知道 Y 会改变 X 可取的范围,所以两者相依。
例题 5.1.7
(联合高斯(Gauss)变量的条件分布)
设 (X,Y) 联合高斯(Gauss),平均为 μX,μY,正标准差为 σX,σY,相关系数满足 ∣ρ∣<1。联合密度的二次指数为
−2(1−ρ2)z2−2ρzw+w2,z=σXx−μX,w=σYy−μY.由 z2−2ρzw+w2=(z−ρw)2+(1−ρ2)w2,除以 Y 的正态边际密度后,留下关于 x 的正态密度。因此
X∣Y=y∼N(μX+ρσYσX(y−μY), σX2(1−ρ2)).条件平均在此呈线性,是联合高斯假设的结果。若 ρ=0,联合密度分解,两者独立。若 ∣ρ∣=1,联合分布奇异,不能使用这个二维密度证明;此时有精确的仿射关系,而非正的条件方差。
反例模式
不相关的正态边际仍可相依
令 X 为标准正态,R 为独立的公平正负号,并设 Y=RX。对称性使 Y 也是标准正态,且 E[XY]=E[R]E[X2]=0。然而 ∣Y∣=∣X∣ 必然成立。例如 ∣X∣≤1 与 ∣Y∣≤1 是相同事件,其概率严格介于零与一之间,故不独立。这一对变量不是联合高斯;正态边际及零协方差并不符合上一例的全部假设。
设 Λ≥0 有有限二阶矩,而且 N∣Λ 是参数 Λ 的泊松(Poisson)变量,参数零解读为集中在零的点质量。则 E[N∣Λ]=Λ,Var(N∣Λ)=Λ,故
E[N]=E[Λ],Var(N)=E[Λ]+Var(Λ).非常数的随机速率使方差超过平均数。边际一般是混合分布,而非参数为 E[Λ] 的泊松分布。条件化使计算简单,却没有丢掉速率变动的影响。
常见错误
若 X 在 (−1,1) 均匀分布,Y=X2,则对称性给出 E[X∣Y]=0 几乎必然成立,但 Y 仍完全由 X 决定。零条件平均不代表独立:Y 仍揭示 X 的大小。反方向则有非线性关系 E[Y∣X]=X2。
密度 f(x,y)=2(0<x<y<1)在支撑集上是常数,看起来像两个常数的乘积。但独立性是关于整个密度(包括支撑集)的陈述。边际密度 fX(x)=2(1−x) 与 fY(y)=2y 的乘积是 4y(1−x),在三角形上并不恒等于 2,而且在正方形中 f=0 的那一半上仍为正。三角形上的常数密度,不是正方形上两个均匀密度的乘积。
设 X,Y 独立且都在 (0,1) 上均匀分布,(U,V)=(2X,2Y)。正向映射的雅可比行列式是 4,逆映射 (x,y)=(u/2,v/2) 的行列式是 1/4,正确密度是 (0,2)2 上的 1/4。若乘以正向行列式,便得到 (0,2)2 上的 4,其积分为 16。公式使用逆映射,既用来计算 f 的值,也用来缩放面积。先写出逆映射及变换后的区域:单凭行列式不能确定新的支撑集。
知道更多信息后,某个结果上的条件平均可能向任何方向改变。均方误差较小是整体平均意义的结论,并不保证每次观测的误差都较小。同样,塔式法则是平均恒等式,不能把任意非线性函数中的观测值直接换成平均数。
小结
联合密度通过函数值及支撑集共同描述相依关系。雅可比负责面积变换,必须配合反函数。条件密度由积分恒等式支持,条件期望则把从信息预测变量精确化。塔式法则与全方差来自定义及正交性;高斯及伽马–贝塔例子展示简单条件结构成立的实际假设。
快速检查
(联合密度在 0<x<y<1 为 6x。验证归一化,求 fY 及 E[X∣Y],再用塔式法则求 E[X]。)
解答 · 答案
积分为 ∫01∫0y6xdxdy=∫013y2dy=1。故 fY(y)=3y2,0<y<1,条件密度为 2x/y2,0<x<y。把 x 乘上条件密度再积分得 E[X∣Y=y]=2y/3。由 E[Y]=∫013y3dy=3/4,塔式法则给出 E[X]=(2/3)(3/4)=1/2。
快速检查
(X,Y 是独立标准正态。令 U=X+Y,V=X−Y。求反函数、雅可比及联合密度,判断 U,V 是否独立。)
解答 · 答案
反函数为 x=(u+v)/2,y=(u−v)/2,雅可比绝对值为 1/2。又 x2+y2=(u2+v2)/2,所以整个 R2 上的密度为 (4π)−1e−(u2+v2)/4。它分解成两个 N(0,2) 密度,因此两者独立。结论除了联合高斯,还使用原来方差相等的条件。
快速检查
(Λ 以相同概率取 1 或 3,且 N∣Λ 是参数 Λ 的泊松变量。求 E[N]、Var(N) 及 P(N=0),与平均相同的泊松变量比较。)
解答 · 答案
E[Λ]=2,Var(Λ)=1,所以 E[N]=2,Var(N)=3。全概率给出 P(N=0)=(e−1+e−3)/2。平均为二的泊松变量方差为二,零点概率为 e−2,两者都与此混合分布不同。
快速检查
(联合高斯对的平均为 2,5,标准差为 3,2,相关系数为 1/2。求 E[X∣Y=7] 及 Var(X∣Y),并验证全方差。)
解答 · 答案
条件平均为 2+(1/2)(3/2)(7−5)=7/2,条件方差为 9(1−1/4)=27/4。条件平均作为随机变量是 2+(3/4)(Y−5),其方差为 (9/16)4=9/4。相加 27/4+9/4=9,恢复 X 的方差。
快速检查
(X,Y 是独立单位速率指数变量。求 R=X/(X+Y) 的密度,不用二重积分计算 P(X>2Y)。)
解答 · 答案
两个伽马形状都是一,所以 R 有贝塔 (1,1) 密度,即在 (0,1) 均匀分布。由于 X+Y 几乎必然为正,X>2Y 等价于 R>2/3,故概率为 1/3。