N進数と10進,8進,16進,小数点を含む2進数,double型の範囲と誤差
浮動小数点の説明のために、N進数と10進変換より小数点を含む2進数を説明する。 その後、浮動小数点の扱いの考え方を説明し、扱えるデータの範囲を解説する。 最後に浮動小数点の誤差として、丸め誤差、桁落ちまで説明。 桁落ちの […]
浮動小数点の説明のために、N進数と10進変換より小数点を含む2進数を説明する。 その後、浮動小数点の扱いの考え方を説明し、扱えるデータの範囲を解説する。 最後に浮動小数点の誤差として、丸め誤差、桁落ちまで説明。 桁落ちの […]