文章来自我的 github 博客,包括技术输出和学习笔记,欢迎star。

一道题

0.1 + 0.2 = ?

在浏览器中测试下计算结果,得到的结果是 0.30000000000000004,并不是理想中的 0.3 结果值。为什么会存在这样的误差呢?

存在的问题

数值运算会存在精度丢失的问题

为什么

想要弄清这个问题,得先了解计算机是何如存储数值的。

  1. Number数值会被转换成对应的二进制数值,并用科学计数法表示
  2. 把数值通过 IEEE754 的格式表示成存储的计算机内存中的值

javascript 中的 Number 类型值可以是十进制,八进制以及十六进制的数值,在进行算数运算时,所有的八进制和十六进制的数值最终都将会被转换成十进制数值。而对于编程语言来说,所有的程序都会经过解释,编译等操作转换成 CPU 所能识别的语言才能运行,对于 CPU 来说只能识别二进制的数值,所以所有的数值都将会被转换成二进制数值存储的计算机内存中。所以,javascript 在算数运算过程中的顺序应该是这样的,如果存在八进制或者十六进制数值 -> 转换成十进制数值 -> 转换成二进制数值 -> 表示成 IEEE754形式的值存储的内存 中 -> 运算 -> 将结果转成十进制数值。

IEEE754 标准

IEEE754 标准规定了32位单精度浮点数在计算机存储中表示用1位表示数字的符号,用8位表示指数,用23位来表示尾数,而64位双精度浮点数则是用1位表示数字的符号,用11位表示指数,用52位表示尾数。

在 javascript 中,Number 类型的数值都是双精度64位浮点数,那么就符合 IEEE754 标准的双精度浮点数规则,结构如下:

从结构图中可以看出,存储的尾数的长度是52位有效数字,二进制的第一位有效数字必定是1,所以这个值不会被存储在64位中,节省了一个存储空间,所以尾数的最长长度应该是53位有效数字。

精度丢失

回到刚才的问题,按照正常的流程是会先将 0.1 和 0.2 转换成二进制数值。

十进制的 0.1 和 0.2 转换成二进制数值都会是无限循环的值

0.1 -> 0.0001100110011001...(无限)
0.2 -> 0.0011001100110011...(无限)

而根据 IEEE754 标准,尾数最多能存储53位有效数字,那么就必须在特定的位置进行四舍五入处理,得到的结果分别是:

0.1 -> 0.0001100110011001100110011001100110011001100110011001101
0.2 -> 0.001100110011001100110011001100110011001100110011001101

所以,相加得到的二进制结果为:

0.0001100110011001100110011001100110011001100110011001101 +
0.001100110011001100110011001100110011001100110011001101
= 0.0100110011001100110011001100110011001100110011001100111

二进制结果转换成十进制就是 0.30000000000000004。

小结

数值运算会存在精度丢失的问题的原因是,十进制的数值会先转成二进制数值存储在内存中,但是大多数十进制浮点数转换成二进制是一个无限循环的值,而计算机中存储的二进制值的尾数最多只能53位,那么就会进行四舍五入处理,这样处理的结果就会导致精度丢失。

解决方案

既然知道在运算过程中会存在精度丢失的情况导致计算不准确,那么应该如何处理这种问题?

可以在网上搜索一些成熟完善的插件,例如 mathjs。当然在简单的场景下,也可以自己来处理这类问题。

研究过 iview 和 element UI 的 InputNumber 计数器组件源码,大致的解决思路就是,两个数进行相加或者相减运算时,如果两个数中至少一个是小数值,那么就先将这两个数扩大10的n次方倍数进行运算,再将运算结果去除以扩大的倍数,得到最终的结果值,扩大的倍数由小数值的小数位数决定。如果只存在一个小数值,那么n的值就是小数的小数位长度,如果两个值都是小数,那么就先比较下哪个值的小数位长度较长,n的值就取较长的小数位长度。

用 Vue 来实现下这种解决方案。

<div id="app" class="demo">
<div class="add-main">
<input type="number" v-model="add_num1"></input> +
<input type="number" v-model="add_num2"></input>
<i-button type="primary" @click="getReault">计算结果</i-button>
= {{ result }}
</div>
</div>
new Vue({
el: '#app',
data: {
add_num1: 0,
add_num2: 0,
result: 0
},
methods: {
toPrecision: function(data, maxPrecision) {
if (maxPrecision === undefined) maxPrecision = 0;
return parseFloat(parseFloat(Number(data).toFixed(maxPrecision)));
},
getDecimalLen: function(val) {
return val.toString().split(".")[1] ? val.toString().split(".")[1].length : 0;
},
getReault: function() {
var vm = this;
var expandPrecision = null;
var decimal_num1 = vm.getDecimalLen(parseFloat(vm.add_num1));
var decimal_num2 = vm.getDecimalLen(parseFloat(vm.add_num2));
let maxPrecision = Math.max(decimal_num1, decimal_num2);
expandPrecision = Math.pow(10, maxPrecision);
//简单写法
// vm.result = (vm.add_num1 * expandPrecision + vm.add_num2 * expandPrecision) / expandPrecision; //严谨写法
vm.result = vm.toPrecision((vm.add_num1 * expandPrecision + vm.add_num2 * expandPrecision) / expandPrecision, maxPrecision);
}
}
})

这种方案只适用于简单的运用场景,在涉及金额等复杂的运算场景中,最好是选择第三方完善的插件。

参考资料

Number浮点数运算详解的更多相关文章

  1. Opencv中Mat矩阵相乘——点乘、dot、mul运算详解

    Opencv中Mat矩阵相乘——点乘.dot.mul运算详解 2016年09月02日 00:00:36 -牧野- 阅读数:59593 标签: Opencv矩阵相乘点乘dotmul 更多 个人分类: O ...

  2. C#中缓存的使用 ajax请求基于restFul的WebApi(post、get、delete、put) 让 .NET 更方便的导入导出 Excel .net core api +swagger(一个简单的入门demo 使用codefirst+mysql) C# 位运算详解 c# 交错数组 c# 数组协变 C# 添加Excel表单控件(Form Controls) C#串口通信程序

    C#中缓存的使用   缓存的概念及优缺点在这里就不多做介绍,主要介绍一下使用的方法. 1.在ASP.NET中页面缓存的使用方法简单,只需要在aspx页的顶部加上一句声明即可:  <%@ Outp ...

  3. <转>C++位运算详解

    原文转自:http://www.crazycpp.com/?p=82 前言 以前收藏过一篇讲C++位操作的文章,这次博客搬家,以前的数据都没有保留,整理谷歌网站管理后台的时候,发现不时的还有网友有在查 ...

  4. shell基本计算、逻辑运算、位运算详解

    转:http://blog.chinaunix.net/uid-8504518-id-3918531.html Shell 提供大量的基本运算操作,在脚本中非常有用.Shell 对您提供的算术表达式求 ...

  5. C语言位运算详解[转]

    作者:911 说明:本文参考了http://www2.tsu.edu.cn/www/cjc/online/cyuyan/,算是对其的修正,在此将本文列为原创,实有抄袭之嫌疑.甚是惭愧! 位运算是指按二 ...

  6. C语言位运算详解

    位运算是指按二进制进行的运算.在系统软件中,常常需要处理二进制位的问题.C语言提供了6个位操作运算符.这些运算符只能用于整形操作数,即只能用于带符号或无符号的char.short.int与long类型 ...

  7. C语言位运算详解(转载)

    转载自:http://www.cnblogs.com/911/archive/2008/05/20/1203477.html 位运算是指按二进制进行的运算.在系统软件中,常常需要处理二进制位的问题.C ...

  8. javascript的数值转换 number()详解

    ---恢复内容开始--- number() parseInt() parseFloat()这三个函都可以把数非数值转换为数值,我们看看他们的区别在哪里 一 Number() 转型函数Number()是 ...

  9. C# 位运算详解

    运算符 描述 &(位与) 当两个二进制操作位都为1时,结果就为1 |(位或) 当两个二进制操作位有1个为1时,结果就为1 ^(位异或) 当两个二进制操作位只有1个为1时,结果为1 ~(位非) ...

随机推荐

  1. vbs 之 解决打开Excel文件格式与扩展名指定格式不一致的问题

    ' Q:解决打开Excel文件格式与扩展名指定格式不一致的问题' A: 使用工作簿saveAs时,往往忽略掉它的第二个参数FileFormat,添加即可. 比如: set bookDiff = oEx ...

  2. Django框架(十)—— 多表操作:一对一、一对多、多对多的增删改,基于对象/双下划线的跨表查询、聚合查询、分组查询、F查询与Q查询

    目录 多表操作:增删改,基于对象/双下划线的跨表查询.聚合查询.分组查询.F查询与Q查询 一.创建多表模型 二.一对多增删改表记录 1.一对多添加记录 2.一对多删除记录 3.一对多修改记录 三.一对 ...

  3. springMvc请求路径解析

    一开始我的代码是: //index.jsp<%@ page contentType="text/html;charset=UTF-8" language="java ...

  4. Navicat for MySQL使用手记

    摘要 在管理MySQL数据库的图形化工具中,最为熟知的就是phpMyAdmin和Mysql-Front了,今天跟大家分享另外一个管理mysql数据库的另外一个利器---Navicat MySQL. N ...

  5. 【一】Jmeter接口自动化测试系列之参数化方法

    Jmeter作为虽然作为一款和LoadRunner相媲美的性能测试工具,但参数化功能实在不咋地,这里我大概总结了一下Jmeter的参数化方法! 至于参数化的用途,我这里就不多说了,做测试的都明白吧!本 ...

  6. VS2013 蛋疼的“AJAX Control Toolkit”安装过程

    1.AJAX Control Toolkit 下载问题 方法一. 在vs2013中 工具->NuGet程序包管理器->管理解决方案的NuGet程序包 搜索 ajax z找到 AjaxCon ...

  7. eclipse打包jar及第三方jar包一起导出(生成SDK)

    一.前言: 因公司需求,需要将某个工具类供外部使用,所以需要生成jar文件.但是jar内还包含了第三方的jar,普通的打包方式无法将lib下的第三方jar包提取. 这将会导致工具jar无法运行,或Ex ...

  8. struts2注解方式的验证

    struts2的验证分为分编程式验证.声明式验证.注解式验证.因现在的人越来越懒,都追求零配置,所以本文介绍下注解式验证. 一.hello world 参考javaeye的这篇文章,按着做一次,起码有 ...

  9. easyui datagrid 绑定从后台得到的复杂的特殊数据结构

    由于项目需要,从后台得到的数据统一为了类似{state:xxx,data:xxx,message:xxx}类型 但是easyui datagrid却只认{total:xxx,rows:xxx}...所 ...

  10. Mybatis枚举转换

    自定义mybatis枚举转换,原理是如果用户没有定义自己的枚举转换工具,mybatis在解析枚举类时会自动获取mybatis的BaseTypeHandler,来转换枚举类,我们只需要重写这个枚举转换器 ...