10進法で有効桁数が12桁は2進法を基数とするビットでは何ビットになる？まず，話を簡単にするために逆に考えてみる。 単精度の浮動小数点データは仮数部が23bit。 つまり2の23乗までの数値を表せる。このxが10進法でいったら10の何乗？というのが問題になる…

情報を生成する過程を数学的にモデル化したものを情報源と呼ぶ。数学的に扱いやすくするため，生成される情報を情報源記号と呼ぶ。 情報＝記号 と考える。この記号は文字だったり数値だったりする。以降，情報源記号の集合を次のように表す 例えばアルファベ…

情報理論では確率Pを用いて情報量というのもを次のように定義する 底数はなにをとっても構わないが，だいたい基数である2を取る。(ここらへんはデータ量に関係が)次に情報理論のエントロピーは情報量と確率のかけ算で表す ちなみに上記をエントロピーと名付…

浪人時代，とある問題にであって確率がとけるようになりました。 その問題は確率という分野の起源でもある問題で，カルダノが考えたとされる。どんな問題かというと，二人の男がお互いに同量の金を出し合いそれを賭けて勝負をする。 確か鉄砲で的を射つみた…

確率変数とか，いわゆる業界用語がわからないと教科書を読み進めてもあれなので（情報量とかエントロピーがわからないってことになってしまうので）いろいろまとめてみた。 標本空間 確率を考える上で対象とする試行の結果全てを標本空間とよぶ。6面体のサイ…