イェンセンの不等式

$\sum p_i f(x_i) \geq f (\sum p_i x_i)$

ここで $\sum p_i=1$ を満たし、 $f(x)$ は凸関数であるとする。

イェンセンの不等式と期待値

$E [ f(y) ] \geq f(E [ y ])$
　凸関数 $f(x)$ に対して上が成立する。 $E [f(y) ] =\sum p(y_i)f(y_i)$ であり、 $f(E [ y ])=f( \sum p(y_i)y_i)$ であるから、 $\sum p(y_i)=1$ に注目するとイェンセンの不等式が適用できて、 $E [f(y) ] =\sum p(y_i)f(y_i) \geq f( \sum p(y_i)y_i)=f(E [ y ])$ である。

上に凸な関数についての補足

$f(x)$ が凸関数のとき（下に凸な関数）は $\sum p_i f(x_i) \geq f (\sum p_i x_i)$ だが上に凸な関数のときは $\sum p_i f(x_i) \leq f (\sum p_i x_i)$ が成り立つ。特に $f(x)=\log (x)$ の場合がよく用いられる。