ホーム » スタッフ » 斉藤徹 » N進数と10進,8進,16進,小数点を含む2進数,double型の範囲と誤差

2007年5月
« 4月   6月 »
 12345
6789101112
13141516171819
20212223242526
2728293031  

最近の投稿(電子情報)

アーカイブ

カテゴリー

N進数と10進,8進,16進,小数点を含む2進数,double型の範囲と誤差

浮動小数点の説明のために、N進数と10進変換より小数点を含む2進数を説明する。 その後、浮動小数点の扱いの考え方を説明し、扱えるデータの範囲を解説する。 最後に浮動小数点の誤差として、丸め誤差、桁落ちまで説明。

桁落ちの話しで、誤差の有効数字を例にとって説明するが、 「誤差の計算ってどうすれば?」と聞かれる。

プログラムと桁落ち、情報落ちの話しは次回に…

3年で抜けていそうなネタ

昨日実験のレポート提出でも、正しい電気の回路図の書き方 FN 例えば、抵抗のクネクネを大量に書く学生さんやら、GND 記号などの「正式な」書き方を知らない。 /FN や、桁落ちや有効数字などの知識が乏しい学生が多い。 数学的な座学をしている時には、わざわざ時間をとって説明すると、 講義時間がもったいないけど、『常識』としてきちんと話しをしていないとやばいかも。