随机输入与一个常数可以有相同的平均值,但经过同一个函数后,平均输出却不同。例如,若耗能与负荷的平方成正比,在两个负荷之间交替,平均耗能通常比恒定在平均负荷时高。Jensen 不等式把这种现象说清楚,也提醒我们:不能随便把随机量换成其平均值,再放入非线性函数。
凸性与支撑直线
定义 26.1.1
(凸函数、严格凸函数与凹函数)
定义在区间 上的函数 称为凸函数,如果对任意 及 ,都有
若当 及 时不等式严格,则称 为严格凸。若 是凸(严格凸)函数,则称 为凹(严格凹)函数。
几何上,图像位于每条弦的下方或弦上。对二次可微函数,区间内 是凸性的充分条件; 是严格凸的充分条件。个别点的二阶导数为零并不妨碍严格凸: 在 上严格凸。
Jensen 不等式的证明只依赖一个几何事实:在内点处,凸函数的图像位于经过该点的某条直线之上。
引理 26.1.2
(内点处的支撑直线)
设 在区间 上是凸函数, 是 的内点。则存在实数 ,使得
若 在 可微,可取 ;因此内点处的每条切线都是整个图像的下界。
证明
(比较该点两侧的弦斜率)
取 中的 ,并写 ,其中 ,故 。凸性给出 。两边减去 ,另外再用 减去此不等式,得
因此 左侧的每个弦斜率都不超过右侧的每个弦斜率。由于 是内点,两组斜率都非空,所以 与 都有限,且 。任取 。当 时, 移项即为 ;当 时, 正是同一不等式; 时无须证明。
若 存在,它是左侧斜率的极限(每个都不超过 ),也是右侧斜率的极限(每个都不小于 )。故 ,可取 。
可微只是方便的条件,并非必要: 在 有尖角,而任何 都给出该点的支撑直线。相反,内点条件不可省去。函数 在 上是凸的,但从端点 出发的弦斜率 趋向 ,所以在 没有有限斜率的支撑直线。
Jensen 不等式
定理 26.1.3
(Jensen 不等式)
设 为取值于区间 的可积实随机变量, 为凸函数,并假设 可积。则 ,而且
若 为凹函数,方向相反。若 严格凸,等号成立当且仅当 几乎必然等于常数。
可积是指 ; 可积是另一个重要假设。例如,随机变量可以有有限均值却有无限二阶矩,这时不能把它的方差当成有限数。本定理只使用有限期望,无须约定无限值如何运算。
证明
(在均值处对支撑直线取期望)
设 。由于 几乎必然成立, 位于 的两端点之间。若 等于某个端点,例如左端点 ,则 几乎必然成立且 ,故 几乎必然成立;特别地 ,而不等式两边都等于 。右端点同理。
否则 是 的内点,支撑直线引理给出斜率 ,使得
两边均可积。取期望并用 ,得 。若 为凹函数,对 应用此结果即可。
至于等号,令 。Jensen 取等号即 ,故 几乎必然成立。若 严格凸,支撑直线只在 接触图像:若它也在 接触,则在 与 之间的每一点,图像既不高于连接两个接触点的弦(即支撑直线的一段),又不低于该直线,与严格凸矛盾。因此 迫使 几乎必然成立。反过来显然成立。
证明透视
每个假设在哪里用上
决定性的一步是把支撑直线选在均值处,而不是别处。仿射函数与期望可以交换,所以这条直线的期望正好是 ;若以其他点为基点,线性项不会消失,估计也无法收口。
与 的可积性只用了一次:对逐点不等式两边取期望,并相减有限数。内点条件是分情况的原因:引理在端点可能失效(如 ),但在端点处,均值已把 完全确定。严格凸对不等式本身毫无作用,只在等号情况出现,把直线与图像的接触集合缩成单点 。若函数只是凸,当它在包含 取值的区间上是仿射函数时,非常数的 也可取等号。
例题 26.1.4
(平方成本与 Jensen 差距)
设 以各 的概率取 或 。则 ,但 。更一般地,对任何平方可积的 ,
此时 Jensen 差距正是方差。这个解释适用于平方成本;对一般凸函数,差距并非只由方差决定。
例题 26.1.5
(函数有平直部分时,非常数变量也可取等号)
令 ,它是凸函数但不是严格凸。若 以各 的概率取 或 ,则 ,而 :不等式严格成立。
若改为 以各 的概率取 或 ,则 ,且 。虽然 不是常数,等号仍成立,因为两个取值都在 内,而 在那里是仿射函数。差距为正,当且仅当 在尖角 的两侧都有正概率。
概念视角几何
图像上各点的质心位于图像上方
把随机点 画出来。它的均值是 ,而 Jensen 不等式恰好说这个均值点位于上图(图像上方的区域) 之中;这个集合是凸集,正是因为 是凸函数。若 以概率 取值 ,均值点就是图像上各点的质心 ,而凸性经归纳推广到有限多个点之后,就把它放进上图之内。定理把这一图景推广到每个可积的 。
常用推论
推论 26.1.6
(矩与对数的上下界)
- 若 平方可积,则 ,等号当且仅当 几乎必然为常数。
- 若 可积,则 。
- 若 几乎必然成立、,且 可积,则
等号当且仅当 几乎必然为常数。
证明
(对三个具体函数应用 Jensen 不等式)
第 1 项是对 上严格凸函数 应用 Jensen 不等式。第 2 项是对凸函数 应用。第 3 项是对 上严格凹函数 应用;再取指数(递增函数)即得第二个形式。
绝对值函数是凸的但不是严格凸,所以第 2 项没有简单的等号条件:若 几乎必然非负,即使 是随机的,仍有等号。
若 等概率取有限个正数 ,后一式便是算术平均与几何平均不等式;等号要求所有 相等。正值及可积条件并非多余: 不是有限实数,而正随机变量的对数也可能不可积。
例题 26.1.7
(平均对数增长与平均因子的对数)
某乘法因子以各 的概率为 或 。其算术平均是 ,平均对数却是零,因此几何平均为 ,严格小于 。若各期因子独立且服从此分布, 期乘积的期望是 ;但由强大数定律,乘积的对数除以 几乎必然趋向零。两者描述不同的量:期望乘积很大,仍可与典型长期对数增长率为零并存。
反例模式
不能把非线性函数移进期望
诱人的说法是:对任何“合理”函数 ,都有 。对上例的 及 ,,但 。这并不违反 Jensen 不等式: 在 上严格凸,因此当两个期望有限时,正确方向是 ,而等号要求 几乎必然为常数。对仿射函数 ,交换总是成立;对其他函数则可能失效,正如此例。
常见错误
常见错误
(对凹函数用错方向)
对凹函数,Jensen 不等式给出期望的上界。若 以各 的概率取 或 ,则 ,而 。正确的结论是 ;以为“Jensen 总是这个方向”而写成 是错的。
常见错误
(使用只在分段上是凸的函数)
在 上是凸的,在 上是凹的,但在任何同时包含正负数的区间上都不是凸函数。若 以各 的概率取 或 ,则 ,而 ,所谓“Jensen 不等式” 不成立。所需假设是:函数在一个包含 所有取值的区间上是凸的。
练习
快速检查
( 以相同概率取 和 。求 、 及 Jensen 差距。)
把差距与方差比较。
解答 · 答案
,,故 。差距 正是方差。
快速检查
(设 几乎必然成立、、。可证得 有什么下界?何时有等号?)
先判断 在 上是凸还是凹。
解答 · 答案
因 在 上严格凸,Jensen 不等式给出 。等号恰在 几乎必然成立时成立。
快速检查
(设 以相同概率取 和 。验证 的 Jensen 不等式,并解释非常数的 是否一定没有等号。)
试一个不变号的非常数随机变量。
解答 · 答案
,这里没有等号。但并非每个非常数变量都没有等号:非常数但非负的随机变量会有等号,因为 几乎必然成立。能排除这种情况的假设是严格凸性,而 不具备。
练习 26.1.8
(设 之和为一,且 ()。证明 ,并说明正权重指标的等号条件。)
核心证明
提示(1)
把权重看成一个概率分布,然后取对数。
解答(3)
- 1
把权重视为分布
令 以概率 取值 。则 ,而 与 只取有限个值,故都可积。
- 2
对对数应用 Jensen 不等式
关键一步
依据: 在 上严格凹。
- 3
取指数并读出等号条件
∎取指数得 。等号当且仅当 几乎必然为常数,即所有 的 相等;零权重的数值没有影响。