情報源

情報を生成する過程を数学的にモデル化したものを情報源と呼ぶ。

数学的に扱いやすくするため，生成される情報を情報源記号と呼ぶ。
　情報＝記号
と考える。

この記号は文字だったり数値だったりする。

以降，情報源記号の集合を次のように表す

　

例えばアルファベットを考えるとsはそれぞれa,b,c...となりMは26となる。

M個の記号を順次生成する情報源にたいして，生成順に並べた記号列の生成確率は，当然その記号を生成する情報源の統計的な性質に依存する。

無記憶情報源

独立情報源とも。
発生する記号間に何の関係もないもの。

この情報源から作られる情報のエントロピーは単純に

マルコフ情報源

無記憶情報源とは異なり，生成された記号が前後となんらかの相関関係があるもの。
例えば，英語の文章。これはアルファベット同士でtの後にhが続きやすいなど関係がある。