2009-10-07から1日間の記事一覧
10進法で有効桁数が12桁は2進法を基数とするビットでは何ビットになる?まず,話を簡単にするために逆に考えてみる。 単精度の浮動小数点データは仮数部が23bit。 つまり2の23乗までの数値を表せる。このxが10進法でいったら10の何乗?というのが問題になる…
10進法で有効桁数が12桁は2進法を基数とするビットでは何ビットになる?まず,話を簡単にするために逆に考えてみる。 単精度の浮動小数点データは仮数部が23bit。 つまり2の23乗までの数値を表せる。このxが10進法でいったら10の何乗?というのが問題になる…