情報量

確率 $p$ で起こる事象の情報量は $- \log p(x)$ で表現される。(底は2)

f:id:python_beginner:20201110203921p:plain — 情報量

情報量は「ある事象が起こった」という情報のインパクトを定量的に表す。
$-\log p$ の形は事象 $x$ が起きる確率が高ければ小さく、低ければ非常に大きくなるように設計されている。起こる確率0の事象 $x$ が起こる確率 $p(x)$ は0であり、そんなレアな事象がもし仮に起こるとすれば、とんでもなく驚くべきことだから情報量は無限大に発散する。
また、情報量の別の解釈として、確率 $p$ で起こる事象を二進数で符号化するときの、最小の符号長と等価である。( $-\log p$ のコードを割り当てる)