平均值的非线性函数一般不同于函数值的平均。对凸函数,先作用函数再平均所得的值至少是平均值的函数值。两者之差可能很大:即使原随机变量可积,前者也可能无穷大。支撑直线让我们无需假设导数存在就能解释这一不等式。
设 ( Ω , F , P ) (\Omega,\mathcal F,\mathbb P) ( Ω , F , P ) 为概率空间,I I I 为非空开区间。
有限值函数 Φ : I → R \Phi:I\to\mathbb R Φ : I → R 称为凸函数 ,如果
Φ ( ( 1 − t ) u + t v ) ≤ ( 1 − t ) Φ ( u ) + t Φ ( v ) ( u , v ∈ I , 0 ≤ t ≤ 1 ) . \Phi((1-t)u+tv)\le(1-t)\Phi(u)+t\Phi(v)\qquad(u,v\in I,\ 0\le t\le1). Φ (( 1 − t ) u + t v ) ≤ ( 1 − t ) Φ ( u ) + t Φ ( v ) ( u , v ∈ I , 0 ≤ t ≤ 1 ) . 若每当 u ≠ v u\ne v u = v 且 0 < t < 1 0\lt t\lt1 0 < t < 1 时不等式都严格,则称其严格凸 。
我们使用 Lebesgue 积分的单调性。开区间上的有限凸函数连续;下述斜率估计证明了此处所需的连续性。
从割线斜率得到支撑直线
设 Φ \Phi Φ 在 I I I 上凸,m ∈ I m\in I m ∈ I 。令 a = sup u < m Φ ( m ) − Φ ( u ) m − u a=\sup\limits_{u\lt m}\frac{\Phi(m)-\Phi(u)}{m-u} a = u < m sup m − u Φ ( m ) − Φ ( u ) 、b = inf v > m Φ ( v ) − Φ ( m ) v − m b=\inf\limits_{v>m}\frac{\Phi(v)-\Phi(m)}{v-m} b = v > m inf v − m Φ ( v ) − Φ ( m ) ,其中 u , v ∈ I u,v\in I u , v ∈ I 。则 a , b a,b a , b 有限、a ≤ b a\le b a ≤ b ,并且对每个 c ∈ [ a , b ] c\in[a,b] c ∈ [ a , b ] ,
Φ ( x ) ≥ Φ ( m ) + c ( x − m ) ( x ∈ I ) . (1) \Phi(x)\ge\Phi(m)+c(x-m)\qquad(x\in I). \tag{1} Φ ( x ) ≥ Φ ( m ) + c ( x − m ) ( x ∈ I ) . ( 1 )
对 I I I 内 u < m < v u\lt m\lt v u < m < v ,m m m 是 u , v u,v u , v 的凸组合;整理凸性不等式得
Φ ( m ) − Φ ( u ) m − u ≤ Φ ( v ) − Φ ( m ) v − m . (S) \frac{\Phi(m)-\Phi(u)}{m-u}
\le\frac{\Phi(v)-\Phi(m)}{v-m}. \tag{S} m − u Φ ( m ) − Φ ( u ) ≤ v − m Φ ( v ) − Φ ( m ) . ( S ) 因 I I I 是开区间,两族斜率都非空;而 (S) 以任一固定的右侧斜率为每个左侧斜率的上界,以任一固定的左侧斜率为每个右侧斜率的下界。因此 a , b a,b a , b 有限,在 (S) 中先对 u u u 取上确界、再对 v v v 取下确界,得到 a ≤ b a\le b a ≤ b 。令 c ∈ [ a , b ] c\in[a,b] c ∈ [ a , b ] 。当 x > m x>m x > m 时,从 m m m 到 x x x 的斜率至少为 b ≥ c b\ge c b ≥ c ;当 x < m x\lt m x < m 时,从 x x x 到 m m m 的斜率至多为 a ≤ c a\le c a ≤ c 。两种情形都给出 (1),而 x = m x=m x = m 时 (1) 显然成立。□ \square □
(1) 中的仿射下界在 m m m 处与图像相接。同样的斜率比较也给出连续性。对 p < q < r p\lt q\lt r p < q < r ,记 s ( p , q ) = ( Φ ( q ) − Φ ( p ) ) / ( q − p ) s(p,q)=(\Phi(q)-\Phi(p))/(q-p) s ( p , q ) = ( Φ ( q ) − Φ ( p )) / ( q − p ) ,则凸性给出三弦不等式 s ( p , q ) ≤ s ( p , r ) ≤ s ( q , r ) s(p,q)\le s(p,r)\le s(q,r) s ( p , q ) ≤ s ( p , r ) ≤ s ( q , r ) :中间斜率是两侧斜率的加权平均,而 (S) 给出两侧的顺序。在 z ∈ I z\in I z ∈ I 处,取 u < z < v u\lt z\lt v u < z < v 。这些不等式表明,当 u < x < z u\lt x\lt z u < x < z 时 s ( u , z ) ≤ s ( x , z ) ≤ s ( z , v ) s(u,z)\le s(x,z)\le s(z,v) s ( u , z ) ≤ s ( x , z ) ≤ s ( z , v ) ;当 z < x < v z\lt x\lt v z < x < v 时 s ( u , z ) ≤ s ( z , x ) ≤ s ( z , v ) s(u,z)\le s(z,x)\le s(z,v) s ( u , z ) ≤ s ( z , x ) ≤ s ( z , v ) 。所以在整个 ( u , v ) (u,v) ( u , v ) 上,∣ Φ ( x ) − Φ ( z ) ∣ ≤ C ∣ x − z ∣ |\Phi(x)-\Phi(z)|\le C|x-z| ∣Φ ( x ) − Φ ( z ) ∣ ≤ C ∣ x − z ∣ ,其中 C = max ( ∣ s ( u , z ) ∣ , ∣ s ( z , v ) ∣ ) C=\max(|s(u,z)|,|s(z,v)|) C = max ( ∣ s ( u , z ) ∣ , ∣ s ( z , v ) ∣ ) 。特别地,X X X 可测时 Φ ( X ) \Phi(X) Φ ( X ) 也可测。
对 R \mathbb R R 上的 Φ ( x ) = ∣ x ∣ \Phi(x)=|x| Φ ( x ) = ∣ x ∣ 及 m = 0 m=0 m = 0 ,每个左侧斜率都是 0 − ∣ u ∣ 0 − u = − 1 \frac{0-|u|}{0-u}=-1 0 − u 0 − ∣ u ∣ = − 1 ,每个右侧斜率都是 ∣ v ∣ v = 1 \frac{|v|}{v}=1 v ∣ v ∣ = 1 ,故 a = − 1 a=-1 a = − 1 、b = 1 b=1 b = 1 。每个 c ∈ [ − 1 , 1 ] c\in[-1,1] c ∈ [ − 1 , 1 ] 都给出支撑直线:因 c x ≤ ∣ c ∣ ∣ x ∣ ≤ ∣ x ∣ cx\le|c||x|\le|x| c x ≤ ∣ c ∣∣ x ∣ ≤ ∣ x ∣ ,对所有 x x x 有 ∣ x ∣ ≥ c x |x|\ge cx ∣ x ∣ ≥ c x 。在 m > 0 m>0 m > 0 处,每个右侧斜率以及由 u ∈ [ 0 , m ) u\in[0,m) u ∈ [ 0 , m ) 得到的左侧斜率都等于 1 1 1 ,而由 u < 0 u\lt0 u < 0 得到的左侧斜率较小,所以 a = b = 1 a=b=1 a = b = 1 ,唯一的支撑直线就是 x x x 本身。因此并不需要导数;在折角处有许多可用的斜率。
Jensen 不等式与等号
设 Φ \Phi Φ 在 I I I 上凸,X X X 可积且几乎处处取值于 I I I 。则 m = E X m=\mathbb EX m = E X 属于 I I I ,并且
Φ ( E X ) ≤ E Φ ( X ) , (2) \Phi(\mathbb EX)\le\mathbb E\Phi(X), \tag{2} Φ ( E X ) ≤ E Φ ( X ) , ( 2 ) 其中右侧可以是 + ∞ +\infty + ∞ 。若 Φ \Phi Φ 严格凸,则等号成立当且仅当 X = m X=m X = m 几乎处处成立。
选取取值于 I I I 的 X X X 的版本。若 α \alpha α 是 I I I 的有限左端点,则 X − α > 0 X-\alpha>0 X − α > 0 几乎处处成立,故 E ( X − α ) > 0 \mathbb E(X-\alpha)>0 E ( X − α ) > 0 ;同理,有限右端点严格大于 E X \mathbb EX E X 。因此 m ∈ I m\in I m ∈ I 。以某个 c ∈ [ a , b ] c\in[a,b] c ∈ [ a , b ] 在 m m m 处应用 (1)。仿射下界 Φ ( m ) + c ( X − m ) \Phi(m)+c(X-m) Φ ( m ) + c ( X − m ) 可积,所以 Φ ( X ) \Phi(X) Φ ( X ) 的负部可积,E Φ ( X ) \mathbb E\Phi(X) E Φ ( X ) 在 ( − ∞ , ∞ ] (-\infty,\infty] ( − ∞ , ∞ ] 中有定义。由于 E ( X − m ) = 0 \mathbb E(X-m)=0 E ( X − m ) = 0 ,对 (1) 积分即得 (2)。
对严格凸情形,假设该直线在另一点 x 0 ≠ m x_0\ne m x 0 = m 处也与图像相接。在 y = ( x 0 + m ) / 2 y=(x_0+m)/2 y = ( x 0 + m ) /2 处,严格凸性给出 Φ ( y ) < [ Φ ( x 0 ) + Φ ( m ) ] / 2 = Φ ( m ) + c ( y − m ) \Phi(y)\lt[\Phi(x_0)+\Phi(m)]/2=\Phi(m)+c(y-m) Φ ( y ) < [ Φ ( x 0 ) + Φ ( m )] /2 = Φ ( m ) + c ( y − m ) ,与 (1) 矛盾。因此 g ( x ) = Φ ( x ) − Φ ( m ) − c ( x − m ) ≥ 0 g(x)=\Phi(x)-\Phi(m)-c(x-m)\ge0 g ( x ) = Φ ( x ) − Φ ( m ) − c ( x − m ) ≥ 0 只在 m m m 处为零。若 (2) 取等号,则 E g ( X ) = E Φ ( X ) − Φ ( m ) = 0 \mathbb Eg(X)=\mathbb E\Phi(X)-\Phi(m)=0 E g ( X ) = E Φ ( X ) − Φ ( m ) = 0 ,所以 g ( X ) = 0 g(X)=0 g ( X ) = 0 ,即 X = m X=m X = m 几乎处处成立。反之,常值 X = m X=m X = m 给出等号。这也涵盖右侧为无穷的情形:它不能等于有限的左侧。□ \square □
证明透视
为什么一条直线就足够 I I I 为开区间这一点用了两次:使平均值 m m m 严格位于 I I I 内,并在 m m m 两侧提供割线斜率,使有限的 c c c 存在。关键一步是只在平均值处选一次斜率 c c c ;它不必是导数。X X X 的可积性只用于仿射部分:它使 E [ c ( X − m ) ] = 0 \mathbb E[c(X-m)]=0 E [ c ( X − m )] = 0 ,并给出可积下界,从而即使 E Φ ( X ) \mathbb E\Phi(X) E Φ ( X ) 为无穷也有定义。之后证明由积分的单调性对非负间隙 g ( X ) g(X) g ( X ) 完成。严格凸性只在等号情形中出现,它迫使 g g g 只在单点 m m m 处为零;而期望为零的非负函数几乎处处为零。
等号条件确实需要严格凸性。
反例模式
等号成立而随机变量并非常值 断言:对每个凸函数 Φ \Phi Φ ,(2) 取等号必迫使 X X X 几乎处处为常值。取凸但不严格凸的 Φ ( x ) = ∣ x ∣ \Phi(x)=|x| Φ ( x ) = ∣ x ∣ ,并令 X X X 以各 1 2 \tfrac12 2 1 的概率取 0 0 0 或 1 1 1 。则 Φ ( E X ) = ∣ 1 2 ∣ = 1 2 \Phi(\mathbb EX)=|\tfrac12|=\tfrac12 Φ ( E X ) = ∣ 2 1 ∣ = 2 1 ,而 E Φ ( X ) = 1 2 ⋅ 0 + 1 2 ⋅ 1 = 1 2 \mathbb E\Phi(X)=\tfrac12\cdot0+\tfrac12\cdot1=\tfrac12 E Φ ( X ) = 2 1 ⋅ 0 + 2 1 ⋅ 1 = 2 1 :等号成立,但 X X X 不是常值。在 m = 1 2 m=\tfrac12 m = 2 1 处斜率 c = 1 c=1 c = 1 的支撑直线沿整段 [ 0 , ∞ ) [0,\infty) [ 0 , ∞ ) 与图像重合。修正后的断言假设严格凸,更准确地说是假设间隙 g g g 只在 m m m 处为零。
几何平均与无穷期望
在 ( 0 , ∞ ) (0,\infty) ( 0 , ∞ ) 上,− log x -\log x − log x 严格凸。对正的可积随机变量 X X X ,(2) 给出
exp ( E log X ) ≤ E X , (3) \exp(\mathbb E\log X)\le\mathbb EX, \tag{3} exp ( E log X ) ≤ E X , ( 3 )
其中 exp ( − ∞ ) = 0 \exp(-\infty)=0 exp ( − ∞ ) = 0 。由于 log + X ≤ X \log^+X\le X log + X ≤ X ,E log X \mathbb E\log X E log X 在 [ − ∞ , ∞ ) [-\infty,\infty) [ − ∞ , ∞ ) 中有定义;(3) 取等号当且仅当 X X X 几乎处处为常值。若 X ≥ 0 X\ge0 X ≥ 0 且 P ( X = 0 ) > 0 \mathbb P(X=0)>0 P ( X = 0 ) > 0 ,令 log 0 = − ∞ \log0=-\infty log 0 = − ∞ :此时 exp ( E log X ) = 0 \exp(\mathbb E\log X)=0 exp ( E log X ) = 0 ,它与 E X \mathbb EX E X 相等当且仅当 X = 0 X=0 X = 0 几乎处处成立。
对正数 x 1 , … , x n x_1,\ldots,x_n x 1 , … , x n 及总和为一的非负权重 w i w_i w i ,令 X X X 以概率 w i w_i w i 取 x i x_i x i 。则 E log X = ∑ i w i log x i \mathbb E\log X=\sum\limits_iw_i\log x_i E log X = i ∑ w i log x i ,而 (3) 给出 ∏ i x i w i ≤ ∑ i w i x i \prod\limits_i x_i^{w_i}\le\sum\limits_iw_ix_i i ∏ x i w i ≤ i ∑ w i x i ;等号成立当且仅当所有权重为正的取值相同。例如取 x 1 = 1 x_1=1 x 1 = 1 、x 2 = 8 x_2=8 x 2 = 8 、w 1 = 2 3 w_1=\tfrac23 w 1 = 3 2 、w 2 = 1 3 w_2=\tfrac13 w 2 = 3 1 :左侧为 1 2 / 3 8 1 / 3 = 2 1^{2/3}8^{1/3}=2 1 2/3 8 1/3 = 2 ,右侧为 2 3 + 8 3 = 10 3 \tfrac23+\tfrac83=\tfrac{10}3 3 2 + 3 8 = 3 10 ,不等式严格,这是因为 1 ≠ 8 1\ne8 1 = 8 。
即使 X X X 为正,E log X \mathbb E\log X E log X 也可以是 − ∞ -\infty − ∞ 。若 U U U 在 ( 0 , 1 ) (0,1) ( 0 , 1 ) 上服从均匀分布且 X = e − 1 / U X=e^{-1/U} X = e − 1/ U ,则 0 < X ≤ 1 0\lt X\le1 0 < X ≤ 1 ,且 E log X = − ∫ 0 1 d u / u = − ∞ \mathbb E\log X=-\int_0^1du/u=-\infty E log X = − ∫ 0 1 d u / u = − ∞ 。因此 exp ( E log X ) = 0 \exp(\mathbb E\log X)=0 exp ( E log X ) = 0 ,而 E X > 0 \mathbb EX>0 E X > 0 。在以 Φ = − log \Phi=-\log Φ = − log 代入的 (2) 中,这是右侧为无穷的情形:E [ − log X ] = + ∞ \mathbb E[-\log X]=+\infty E [ − log X ] = + ∞ ,不等式显然且严格地成立。
常见错误
(从 Jensen 不等式读出 E Φ ( X ) \mathbb E\Phi(X) E Φ ( X ) 有限)
X X X 可积并不保证 Φ ( X ) \Phi(X) Φ ( X ) 可积。在带密度 e − x e^{-x} e − x 的 ( 0 , ∞ ) (0,\infty) ( 0 , ∞ ) 上,X ( x ) = x X(x)=x X ( x ) = x 的平均值为一,但 E e X = ∫ 0 ∞ e x e − x d x = ∫ 0 ∞ 1 d x = ∞ \mathbb Ee^X=\int_0^\infty e^xe^{-x}\,dx=\int_0^\infty1\,dx=\infty E e X = ∫ 0 ∞ e x e − x d x = ∫ 0 ∞ 1 d x = ∞ 。Jensen 不等式仍说 e E X = e ≤ ∞ e^{\mathbb EX}=e\le\infty e E X = e ≤ ∞ ;它只给出 E Φ ( X ) \mathbb E\Phi(X) E Φ ( X ) 的下界,从不给出其有限性。
练习
快速检查
(某随机变量以各 1 / 2 1/2 1/2 的概率取 1 1 1 和 3 3 3 。比较 ( E X ) 2 (\mathbb EX)^2 ( E X ) 2 与 E X 2 \mathbb EX^2 E X 2 。)
解答 · 答案 E X = 2 \mathbb EX=2 E X = 2 ,故 ( E X ) 2 = 4 (\mathbb EX)^2=4 ( E X ) 2 = 4 ,而 E X 2 = 1 2 ( 1 + 9 ) = 5 \mathbb EX^2=\tfrac12(1+9)=5 E X 2 = 2 1 ( 1 + 9 ) = 5 。不等式严格,因为 x 2 x^2 x 2 严格凸而 X X X 不是常值。
快速检查
(以相等权重把 (3) 应用于取值 1 , 4 1,4 1 , 4 。等号是否成立?)
解答 · 答案 几何平均为 1 ⋅ 4 = 2 \sqrt{1\cdot4}=2 1 ⋅ 4 = 2 ,算术平均为 5 / 2 5/2 5/2 。由于 1 ≠ 4 1\ne4 1 = 4 ,− log -\log − log 的严格凸性说明不等式严格。
快速检查
(设 X X X 可积且非负。当 X X X 不是常值时,∣ E X ∣ ≤ E ∣ X ∣ |\mathbb EX|\le\mathbb E|X| ∣ E X ∣ ≤ E ∣ X ∣ 能否取等号?)
利用 x ≥ 0 x\ge0 x ≥ 0 时 ∣ x ∣ = x |x|=x ∣ x ∣ = x 。
解答 · 答案 能,而且总是如此:X ≥ 0 X\ge0 X ≥ 0 时两侧都等于 E X \mathbb EX E X 。例如 X X X 以相等概率取 0 0 0 或 1 1 1 ,虽非常值却取等号;∣ x ∣ |x| ∣ x ∣ 并非严格凸。
快速检查
(对 Φ ( x ) = x 2 \Phi(x)=x^2 Φ ( x ) = x 2 及任意平方可积的 X X X ,明确写出 Jensen 间隙。)
求 m = E X m=\mathbb EX m = E X 处的支撑直线。
解答 · 答案 令 m = E X m=\mathbb EX m = E X ,支撑直线斜率为 2 m 2m 2 m ,逐点间隙为 x 2 − m 2 − 2 m ( x − m ) = ( x − m ) 2 x^2-m^2-2m(x-m)=(x-m)^2 x 2 − m 2 − 2 m ( x − m ) = ( x − m ) 2 。因此间隙为 E X 2 − ( E X ) 2 = E ( X − m ) 2 = Var ( X ) \mathbb EX^2-(\mathbb EX)^2=\mathbb E(X-m)^2=\operatorname{Var}(X) E X 2 − ( E X ) 2 = E ( X − m ) 2 = Var ( X ) ,它为零当且仅当 X = m X=m X = m 几乎处处成立。