Jensen不等式及其应用

Jensen不等式的形式有很多种，这里重点关注有关于随机变量期望的形式。

Jensen不等式：已知函数 ϕ : R → R \phi: \mathbb{R}\to\mathbb{R} ϕ:R→R为凸函数，则有 ϕ [ E ( X ) ] ≤ E [ ϕ ( X ) ] \phi[\text{E}(X)]\leq \text{E}[\phi(X)] ϕ[E(X)]≤E[ϕ(X)]。

有时候，需要用到离散形式的Jensen不等式： { a j } \{a_j\} { aj​}是一系列非负权重，满足 ∑ j = 1 m a j = 1 \sum_{j=1}^m a_j=1 ∑j=1m​aj​=1， { x j } \{x_j\} { xj​}是一系列任意实数，对于凸函数 ϕ : R → R \phi: \mathbb{R}\to\mathbb{R} ϕ:R→R，有 ϕ ( ∑ j = 1 m a j x j ) ≤ ∑ j = 1 m a j ϕ ( x j ) \phi\left(\sum_{j=1}^m a_j x_j\right) \leq \sum_{j=1}^m a_j \phi(x_j) ϕ(j=1∑m​aj​xj​)≤j=1∑m​aj​ϕ(xj​) 只需将原期望形式的Jensen不等式中的随机变量取成离散的，并令 P ( X = x j ) = a j P(X=x_j)=a_j P(X=xj​)=aj​，即可得到上式。

将不等式两边的期望都取为条件期望的形式，不等式依然成立。

条件Jensen不等式：已知函数 ϕ : R → R \phi: \mathbb{R}\to\mathbb{R} ϕ:R→R为凸函数，则有 ϕ [ E ( X ∣ Y ) ] ≤ E [ ϕ ( X ) ∣ Y ] \phi[\text{E}(X|Y)]\leq \text{E}[\phi(X)|Y] ϕ[E(X∣Y)]≤E[ϕ(X)∣Y]。

来看一个应用：在 Var ( X ) < ∞ \text{Var}(X)