修复小数计算精度不准确方法

Number.prototype.mul = function (arg) {
        var m = 0, s1 = this.toString(), s2 = arg.toString();
        try {
            m += s1.split(‘.‘)[1].length
        } catch (e) {
        }
        try {
            m += s2.split(‘.‘)[1].length // m是累加结果
        } catch (e) {
        }
        return Number(s1.replace(‘.‘, ‘‘)) * Number(s2.replace(‘.‘, ‘‘)) / Math.pow(10, m) // 直接去掉小数点,转为整型计算,最后缩小n倍
    };

function louis(arg){
    var m=0, s1 = arg.toString();
    try {
      m = s1.split(‘.‘)[1].length;
    } catch (e) {
    }
    return Number(s1.replace(‘.‘,‘‘))/Math.pow(10,m-2)
};

原文地址:https://www.cnblogs.com/qdjl/p/12572624.html

时间: 2024-10-19 16:15:58

修复小数计算精度不准确方法的相关文章

java用double和float进行小数计算精度不准确

java用double和float进行小数计算精度不准确 大多数情况下,使用double和float计算的结果是准确的,但是在一些精度要求很高的系统中或者已知的小数计算得到的结果会不准确,这种问题是非常严重的. <Effective Java>中提到一个原则,那就是float和double只能用来作科学计算或者是工程计算,但在商业计算中我们要用java.math.BigDecimal,通过使用BigDecimal类可以解决上述问题,java的设计者给编程人员提供了一个很有用的类BigDecim

javascript避免数字计算精度误差的方法详解

本篇文章主要是对javascript避免数字计算精度误差的方法进行了介绍,需要的朋友可以过来参考下,希望对大家有所帮助 如果我问你 0.1 + 0.2 等于几?你可能会送我一个白眼,0.1 + 0.2 = 0.3 啊,那还用问吗?连幼儿园的小朋友都会回答这么小儿科的问题了.但是你知道吗,同样的问题放在编程语言中,或许就不是想象中那么简单的事儿了.不信?我们先来看一段 JS. var numA = 0.1; var numB = 0.2; alert( (numA + numB) === 0.3

关于js浮点数计算精度不准确问题的解决办法

今天在计算商品价格的时候再次遇到js浮点数计算出现误差的问题,以前就一直碰到这个问题,都是简单的使用tofixed方法进行处理一下,这对于一个程序员来说是及其不严谨的.因此在网上收集了一些处理浮点数精度的文章.觉得别人写的挺好了,我在简单的总结一下,以方便后续查阅. 浮点数误差产生的原因: 先看一个实例: 0.1 + 0.2 =? 0.1 + 0.2 = 0.3? 我们先来看一段 JS. console.log( 0.1+ 0.2); 输出为 0.30000000000000004.是不是很奇葩

js 浮点小数计算精度问题 parseFloat 精度问题

在js中进行以元为单位进行金额计算时 使用parseFloat会产生精度问题var price = 10.99;var quantity = 7;var needPay = parseFloat(price * quantity); needPay的正确结果应该是76.93元  但是运行后发现needPay为76.93000000000001 此情况可通过 toFixed(n)  方法修正 但是这个方法对 js版本要求较高 不能兼容ie5 另一个解决方案是: 将元为单位的金额乘以100换算为分进

double和float进行小数计算精度不够

1.float和double只能用来作科学计算或者是工程计算,但在商业计算中我们要用java.math.BigDecimal 2.注意:double 和float转换为字符串类型造成进度丢失:直接用字符串表示double 和float 3.案例: package com.zhangwl.pg1113; import org.junit.Test; import java.math.BigDecimal; /** * @ClassName RunMain * @Description 演示小案例

JS数字计算精度误差的解决方法

本篇文章主要是对javascript避免数字计算精度误差的方法进行了介绍,需要的朋友可以过来参考下,希望对大家有所帮助. 如果我问你 0.1 + 0.2 等于几?你可能会送我一个白眼,0.1 + 0.2 = 0.3 啊,那还用问吗?连幼儿园的小朋友都会回答这么小儿科的问题了.但是你知道吗,同样的问题放在编程语言中,或许就不是想象中那么简单的事儿了. 不信?我们可以做个试验. 先来看一段 JS. var num1 = 0.1; var num2 = 0.2; alert(num1+num2 ===

(Jquery)避免数据相加小数点后产生多位数和计算精度损失

/** * 加法运算,避免数据相加小数点后产生多位数和计算精度损失. * * @param num1加数1 | num2加数2 */ function numAdd(num1, num2) { var baseNum, baseNum1, baseNum2; try { baseNum1 = num1.toString().split(".")[1].length; } catch (e) { baseNum1 = 0; } try { baseNum2 = num2.toString

Android5.0 计算器计算结果不准确和结果末尾的多余的‘0’没有省略的解决方法

Android5.0 计算器计算结果不准确和结果末尾的多余的'0'没有省略 一.问题的描述: [测试步骤] 1.进入计算器 2.输入 100-99.9 3.查看计算结果 [测试结果] 1.结果为: 0.0999999999 [预期结果] 1.结果应为: 0.1 [测试步骤] 1.进入计算器 2.输入1000-999.9,查看结果是否为: 0.1 [测试结果] 1.结果显示为: 0.10000000 [预期结果] 1.计算结果小数点后多余的零应该省略. 二.解决方案:path: <span sty

js 小数计算失去精度

原因:小数计算会转化为二进制 精度丢失 举个例子:4.02*10的N次方 怎么算都是错的; 常见问题 0.1+0.2 !=0.3 ... 处理:转化为小数进行计算 //加法 function addNum (a,b){  var c,d,e; try {       c = a.toString().split(".")[1].length; } catch (f) {       c = 0; }   try {       d = b.toString().split("