情報量 - malibu-bulldogの日記

情報理論では確率Pを用いて情報量というのもを次のように定義する
$\log(\frac{1}{P})$

底数はなにをとっても構わないが，だいたい基数である2を取る。(ここらへんはデータ量に関係が)

次に情報理論のエントロピーは情報量と確率のかけ算で表す
$P \times \log(\frac{1}{P})$

ちなみに上記をエントロピーと名付けたのはシャノン氏だが，アドバイスを送ったのはあの天才ノイマン氏。
現代社会にノイマンほど大きく影響を及ぼす人もいないだろうと思う。

さてさて情報量の特徴としてはまず根本にあるのが

なかなか起こらない事が起きた場合の情報は質が高いとする。

つまりよく起きることは情報としてそれほど価値がないよということ。

で上式からわかるように　なかなか起きない＝確率の値が小さい　ということにより情報量が大きくなるのがわかる。

情報量の性質をもうすこり掘り下げてみる。

情報量は足し算ができますという事。

具体的にはトランプから一枚カードを引いたとき，それがハートである確率は1/4。
取り出したカードが10である確率は1/13。

上記の情報量は
ハートである情報量　 $\log(4)$
10である情報量　　 $\log(13)$

和の情報量 $\log(4) + \log(13) = \log(52)$ はハートの10である情報量となる。

対数関数だと上記のような $f(pq) = f(p) + f(q)$ が成り立ち足し算で考えることができるのはうれしい事。

情報量の期待値つまり情報量とそれが起こる確率の積
$H = \sum P \log(\frac{1}{P})$
（和をとるのは事象を考えることが前提なので）

エントロピーは対象とする事象の情報量を表すのに必要な一番多いビット数を表すことになる。

例えば，等確率なコインの裏表に関するエントロピーは

$H = \frac{1}{2}\log{2} + \frac{1}{2}\log{2} = 1$

となるので，コインの裏表は1bitあれば表す事ができるということになる。