イェンセンの不等式

イェンセンの不等式（いぇんせんのふとうしき、英語: Jensen's inequality）は、凸関数を使った不等式である。

f(x) を実数上の凸関数とする。

離散の場合：

$p_{1},\,p_{2},\,\ldots$ を、 $p_{1}+p_{2}+\cdots =1$ を満たす正の実数の列とする。また、 $x_{1},\,x_{2},\,\ldots$ を、実数の列とする。そのとき、次が成り立つ。

\sum _{i=1}^{\infty }p_{i}f(x_{i})\geq f\left(\sum _{i=1}^{\infty }p_{i}x_{i}\right)

連続値の場合：

$p(x)(>0)$ を、 $\int p(x)dx=1$ を満たす実数上の可積分関数とする。また、 $y(x)$ を実数上の可積分関数とする。そのとき、次が成り立つ。

\int _{-\infty }^{\infty }f(y(x))p(x)dx\geq f\left(\int _{-\infty }^{\infty }y(x)p(x)dx\right)

ルベーグ積分論の観点では、離散の場合も連続の場合も同一に見倣せる。

証明は、f の $\int _{-\infty }^{\infty }y(x)p(x)dx$ における接線を g とおいて、常に g(x) が f(x) よりも小さいことを使えばよい。

統計学において、式の下限を評価する際に、一定の役割を担っている。例えば、カルバック・ライブラー・ダイバージェンスが常に 0 より大きいことを証明するときに用いられる。p(x) が確率密度関数の場合を考えると、イェンセンの不等式は次のように書ける。

E[f(y)]\geq f(E[y])

なお、イェンセンの不等式から、相加相乗平均の関係式などを導くこともできる。

参考文献

David Chandler (1987). Introduction to Modern Statistical Mechanics. Oxford. ISBN 0-19-504277-8
Tristan Needham (1993) "A Visual Explanation of Jensen's Inequality", American Mathematical Monthly 100(8):768-71.
Walter Rudin (1987). Real and Complex Analysis. McGraw-Hill. ISBN 0-07-054234-1