【VBA研究】浮点数计算总是有误差的

作者:iamlaosong

数字有两种表达方式,一种是整数,一种是浮点数。浮点数是属于有理数中某特定子集的数的数字表示,在计算机中用以近似表示任意某个实数。具体的说,这个实数由一个整数或定点数(即尾数)乘以某个基数(计算机中通常是2)的整数次幂得到,这种表示方法类似于基数为10的科学计数法。

计算机中存储浮点数的方式决定了浮点数往往是个近似值,因为日常生活中我们用的是十进制,而计算机用的是二进制,二进制很难精确的表达十进制的小数,这里不想讨论计算机是如何存储浮点数的,那会是很长的一篇枯燥文字,这里仅以实验来验证,请看下面程序:

Sub tt1()
    For i = 0 To 1000 Step 0.1
        Debug.Print i
    Next
End Sub

运行上面你会发现,前面可以正确显示的数值,只有一位小数,加到6以后,小数点后就暴增到了十几位,结果如下:

。。。

5.3

5.4

5.5

5.6

5.7

5.8

5.9

6

6.1

6.19999999999999

6.29999999999999

6.39999999999999

6.49999999999999

6.59999999999999

6.69999999999999

。。。

这就是浮点数的累积误差,因为计算机的二进制存储无法精确的存储0.1这个数字。把上述程序的步长换成0.125,再运行上述程序,则不再出现误差,这是因为二进制可以精确的存储0.125这个数字。

这样的误差可能导致比较失误,比如上面的值,你觉得应该等于6.2的,但实际值却是小于6.2,所以,在一些需要精确计算、精确比较的场合,最好不要用浮点数。如果原始数据是浮点数,可以先化成整数计算、比较,然后再还原成浮点数。比如上述程序可以写成如下:

Sub tt1()
    For i = 0 To 1000 Step 1
        Debug.Print   i / 10
    Next
End Sub

这样就可以避免浮点数计算造成的累积误差。此外,浮点数应尽量避免精确比较,一般采取大于、小于这样的比较,以免产生逻辑错误。

版权声明:本文为博主原创文章,未经博主允许不得转载。

时间: 2024-07-31 02:11:48

【VBA研究】浮点数计算总是有误差的的相关文章

Java浮点数float和double精确计算的精度误差问题总结

1.float整数计算误差 案例:会员积分字段采用float类型,导致计算会员积分时,7位整数的数据计算结果出现误差. 原因:超出float精度范围,无法精确计算. float和double的精度是由尾数的位数来决定的.浮点数在内存中是按科学计数法来存储的,其整数部分始终是一个隐含着的“1”,由于它是不变的,故不能对精度造成影响. float:2^23 = 8388608,一共七位,这意味着最多能有7位有效数字,但绝对能保证的为6位,也即float的精度为6~7位有效数字: double:2^5

关于js浮点数计算精度不准确问题的解决办法

今天在计算商品价格的时候再次遇到js浮点数计算出现误差的问题,以前就一直碰到这个问题,都是简单的使用tofixed方法进行处理一下,这对于一个程序员来说是及其不严谨的.因此在网上收集了一些处理浮点数精度的文章.觉得别人写的挺好了,我在简单的总结一下,以方便后续查阅. 浮点数误差产生的原因: 先看一个实例: 0.1 + 0.2 =? 0.1 + 0.2 = 0.3? 我们先来看一段 JS. console.log( 0.1+ 0.2); 输出为 0.30000000000000004.是不是很奇葩

js浮点数计算问题 + 金额大写转换

一 js浮点数计算问题解决方案: 1.使用 NumberObject.toFixed(num) 方法 toFixed() 方法可把 Number 四舍五入为指定小数位数的数字. 2.较精度计算浮点数 //说明:javascript的加法结果会有误差,在两个浮点数相加的时候会比较明显.这个函数返回较为精确的加法结果. //调用:accAdd(arg1,arg2) //返回值:arg1加上arg2的精确结果 function accAdd(arg1, arg2) { var r1, r2, m; t

javascript浮点数计算的问题

在使用javascript进行浮点数计算的时候经常会出现各种怪异的问题, 比如7*0.4 js计算结果为:2.8000000000000003. 所以在使用js计算的时候就需要一些特殊处理,思路就是先把js中的数 值扩大到相应的倍数,去掉小数部分再进行计算. var SysRf = SysRf || {}; SysRf.strNum = {}; //浮点数加法运算 SysRf.strNum.add = function(arg1, arg2) { var r1,r2,m; try{r1=arg1

Python3.2官方文档翻译-列表工具和十进制浮点数计算

Disk Schedule Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 32768/32768 K (Java/Others) Total Submission(s): 2368    Accepted Submission(s): 333 Problem Description 有很多从磁盘读取数据的需求,包括顺序读取.随机读取.为了提高效率,需要人为安排磁盘读取.然而,在现实中,这种做法很复杂.我们考虑一个相对简单的场景.磁

js float浮点数计算精度问题

/** * floatObj 包含加减乘除四个方法,能确保浮点数运算不丢失精度 * * 我们知道计算机编程语言里浮点数计算会存在精度丢失问题(或称舍入误差),其根本原因是二进制和实现位数限制有些数无法有限表示 * 以下是十进制小数对应的二进制表示 * 0.1 >> 0.0001 1001 1001 1001…(1001无限循环) * 0.2 >> 0.0011 0011 0011 0011…(0011无限循环) * 计算机里每种数据类型的存储是一个有限宽度,比如 JavaScrip

php浮点数计算比较及取整不准确解决方法

php有意思的现象,应该是很多编程语言都会有这样的现象.这个是因为计算机的本身对浮点数识别的问题..... [php] view plaincopy $f = 0.58; var_dump(intval($f * 100 *100)); //结果5799 var_dump((float)($f * 100 *100)); //结果5800 echo (int)((0.1+0.7)*10);  //结果7 echo (float)((0.1+0.7)*10);  //结果8 [php] view

【VBA研究】VBA产生不重复随机数

作者:iamlasong VBA编程实现不重复随机数输出.VBA里的随机函数是RND,在工作表中随机函数是RAND,一字之差,可要记好了.RND取值范围是[0,1),意思是0和1之间的一个随机数,包含0,但不包含1. 1.用法 语法:Rnd[(number)] 如果 number 的值是 Randomize 生成 小于 0 ,每次都使用 number 作为随机数种子得到的相同结果. 大于 0 ,以上一个随机数为种子产生下一个随机数. 等于 0 ,产生与最近生成的随机数相同的随机数. 省略, 以上

JAVA调用C++ dll文件之JNI接口研究——分布函数计算

分别对VS平台运行GNU库和JAVA调用VS2010 x64位系统做过一定研究,接下来将试图生成一个调用概率统计函数的dll,将其嵌入JAVA程序中运行. 当准备生成带有正态分布函数的dll文件时,出现如下错误: 1>     正在创建库 d:\documents\visual studio 2010\Projects\GetNrompdf\x64\Debug\GetNrompdf.lib 和对象 d:\documents\visual studio 2010\Projects\GetNromp