隨機輸入與一個常數可以有相同的平均值,但經過同一個函數後,平均輸出卻不同。例如,若耗能與負荷的平方成正比,在兩個負荷之間交替,平均耗能通常比恆定在平均負荷時高。Jensen 不等式把這種現象說清楚,也提醒我們:不能隨便把隨機量換成其平均值,再放入非線性函數。
凸性與支撐直線
定義 26.1.1
(凸函數、嚴格凸函數與凹函數)
定義在區間 上的函數 稱為凸函數,如果對任意 及 ,都有
若當 及 時不等式嚴格,則稱 為嚴格凸。若 是凸(嚴格凸)函數,則稱 為凹(嚴格凹)函數。
幾何上,圖像位於每條弦的下方或弦上。對二次可微函數,區間內 是凸性的充分條件; 是嚴格凸的充分條件。個別點的二階導數為零並不妨礙嚴格凸: 在 上嚴格凸。
Jensen 不等式的證明只依賴一個幾何事實:在內點處,凸函數的圖像位於經過該點的某條直線之上。
引理 26.1.2
(內點處的支撐直線)
設 在區間 上是凸函數, 是 的內點。則存在實數 ,使得
若 在 可微,可取 ;因此內點處的每條切線都是整個圖像的下界。
證明
(比較該點兩側的弦斜率)
取 中的 ,並寫 ,其中 ,故 。凸性給出 。兩邊減去 ,另外再用 減去此不等式,得
因此 左側的每個弦斜率都不超過右側的每個弦斜率。由於 是內點,兩組斜率都非空,所以 與 都有限,且 。任取 。當 時, 移項即為 ;當 時, 正是同一不等式; 時無須證明。
若 存在,它是左側斜率的極限(每個都不超過 ),也是右側斜率的極限(每個都不小於 )。故 ,可取 。
可微只是方便的條件,並非必要: 在 有尖角,而任何 都給出該點的支撐直線。相反,內點條件不可省去。函數 在 上是凸的,但從端點 出發的弦斜率 趨向 ,所以在 沒有有限斜率的支撐直線。
Jensen 不等式
定理 26.1.3
(Jensen 不等式)
設 為取值於區間 的可積實隨機變量, 為凸函數,並假設 可積。則 ,而且
若 為凹函數,方向相反。若 嚴格凸,等號成立當且僅當 幾乎必然等於常數。
可積是指 ; 可積是另一個重要假設。例如,隨機變量可以有有限均值卻有無限二階矩,這時不能把它的方差當成有限數。本定理只使用有限期望,無須約定無限值如何運算。
證明
(在均值處對支撐直線取期望)
設 。由於 幾乎必然成立, 位於 的兩端點之間。若 等於某個端點,例如左端點 ,則 幾乎必然成立且 ,故 幾乎必然成立;特別地 ,而不等式兩邊都等於 。右端點同理。
否則 是 的內點,支撐直線引理給出斜率 ,使得
兩邊均可積。取期望並用 ,得 。若 為凹函數,對 應用此結果即可。
至於等號,令 。Jensen 取等號即 ,故 幾乎必然成立。若 嚴格凸,支撐直線只在 接觸圖像:若它也在 接觸,則在 與 之間的每一點,圖像既不高於連接兩個接觸點的弦(即支撐直線的一段),又不低於該直線,與嚴格凸矛盾。因此 迫使 幾乎必然成立。反過來顯然成立。
證明透視
每個假設在哪裏用上
決定性的一步是把支撐直線選在均值處,而不是別處。仿射函數與期望可以交換,所以這條直線的期望正好是 ;若以其他點為基點,線性項不會消失,估計也無法收口。
與 的可積性只用了一次:對逐點不等式兩邊取期望,並相減有限數。內點條件是分情況的原因:引理在端點可能失效(如 ),但在端點處,均值已把 完全確定。嚴格凸對不等式本身毫無作用,只在等號情況出現,把直線與圖像的接觸集合縮成單點 。若函數只是凸,當它在包含 取值的區間上是仿射函數時,非常數的 也可取等號。
例題 26.1.4
(平方成本與 Jensen 差距)
設 以各 的概率取 或 。則 ,但 。更一般地,對任何平方可積的 ,
此時 Jensen 差距正是方差。這個解釋適用於平方成本;對一般凸函數,差距並非只由方差決定。
例題 26.1.5
(函數有平直部分時,非常數變量也可取等號)
令 ,它是凸函數但不是嚴格凸。若 以各 的概率取 或 ,則 ,而 :不等式嚴格成立。
若改為 以各 的概率取 或 ,則 ,且 。雖然 不是常數,等號仍成立,因為兩個取值都在 內,而 在那裏是仿射函數。差距為正,當且僅當 在尖角 的兩側都有正概率。
概念視角幾何
圖像上各點的質心位於圖像上方
把隨機點 畫出來。它的平均是 ,而 Jensen 不等式正好說這個平均點位於上境圖(圖像上方的區域) 之內;這個集合是凸集,恰恰因為 是凸函數。若 以概率 取值 ,平均點就是圖像上各點的質心 ,而凸性經歸納推廣到有限多個點後,便把它放在上境圖內。定理把這個圖像推廣到每個可積的 。
常用推論
推論 26.1.6
(矩與對數的上下界)
- 若 平方可積,則 ,等號當且僅當 幾乎必然為常數。
- 若 可積,則 。
- 若 幾乎必然成立、,且 可積,則
等號當且僅當 幾乎必然為常數。
證明
(對三個具體函數應用 Jensen 不等式)
第 1 項是對 上嚴格凸函數 應用 Jensen 不等式。第 2 項是對凸函數 應用。第 3 項是對 上嚴格凹函數 應用;再取指數(遞增函數)即得第二個形式。
絕對值函數是凸的但不是嚴格凸,所以第 2 項沒有簡單的等號條件:若 幾乎必然非負,即使 是隨機的,仍有等號。
若 等概率取有限個正數 ,後一式便是算術平均與幾何平均不等式;等號要求所有 相等。正值及可積條件並非多餘: 不是有限實數,而正隨機變量的對數也可能不可積。
例題 26.1.7
(平均對數增長與平均因子的對數)
某乘法因子以各 的概率為 或 。其算術平均是 ,平均對數卻是零,因此幾何平均為 ,嚴格小於 。若各期因子獨立且服從此分佈, 期乘積的期望是 ;但由強大數定律,乘積的對數除以 幾乎必然趨向零。兩者描述不同的量:期望乘積很大,仍可與典型長期對數增長率為零並存。
反例模式
不能把非線性函數移進期望
誘人的說法是:對任何「合理」函數 ,都有 。對上例的 及 ,,但 。這並不違反 Jensen 不等式: 在 上嚴格凸,因此當兩個期望有限時,正確方向是 ,而等號要求 幾乎必然為常數。對仿射函數 ,交換總是成立;對其他函數則可能失效,正如此例。
常見錯誤
常見錯誤
(對凹函數用錯方向)
對凹函數,Jensen 不等式給出期望的上界。若 以各 的概率取 或 ,則 ,而 。正確的結論是 ;以為「Jensen 總是這個方向」而寫成 是錯的。
常見錯誤
(使用只在分段上是凸的函數)
在 上是凸的,在 上是凹的,但在任何同時包含正負數的區間上都不是凸函數。若 以各 的概率取 或 ,則 ,而 ,所謂「Jensen 不等式」 不成立。所需假設是:函數在一個包含 所有取值的區間上是凸的。
練習
快速檢查
( 以相同概率取 和 。求 、 及 Jensen 差距。)
把差距與方差比較。
解答 · 答案
,,故 。差距 正是方差。
快速檢查
(設 幾乎必然成立、、。可證得 有甚麼下界?何時有等號?)
先判斷 在 上是凸還是凹。
解答 · 答案
因 在 上嚴格凸,Jensen 不等式給出 。等號恰在 幾乎必然成立時成立。
快速檢查
(設 以相同概率取 和 。驗證 的 Jensen 不等式,並解釋非常數的 是否一定沒有等號。)
試一個不變號的非常數隨機變量。
解答 · 答案
,這裏沒有等號。但並非每個非常數變量都沒有等號:非常數但非負的隨機變量會有等號,因為 幾乎必然成立。能排除這情況的假設是嚴格凸性,而 不具備。
練習 26.1.8
(設 之和為一,且 ()。證明 ,並說明正權重指標的等號條件。)
核心證明
提示(1)
把權重看成一個概率分佈,然後取對數。
解答(3)
- 1
把權重視為分佈
令 以概率 取值 。則 ,而 與 只取有限個值,故都可積。
- 2
對對數應用 Jensen 不等式
關鍵一步
依據: 在 上嚴格凹。
- 3
取指數並讀出等號條件
∎取指數得 。等號當且僅當 幾乎必然為常數,即所有 的 相等;零權重的數值沒有影響。