浮点数格式：FP64, FP32, FP16, BFLOAT16, TF32之间的相互区别

浮点数格式 （参考1，参考2）

浮点数是一种用二进制表示的实数，它由三个部分组成：sign（符号位）、exponent（指数位）和fraction（小数位）。不同的浮点数格式有不同的位数分配给这三个部分，从而影响了它们能表示的数值范围和精度。例如：

下面是一些常见的浮点数格式的介绍：

• FP64（双精度浮点数）：用64位二进制表示，其中1位用于sign，11位用于exponent，52位用于fraction。它的数值范围大约是2.23e-308到1.80e308，精度大约是15到17位有效数字。它通常用于科学计算中对精度要求较高的场合，但在深度学习中不常用，因为它占用的内存和计算资源较多。

• FP32（单精度浮点数）：用32位二进制表示，其中1位用于sign，8位用于exponent，23位用于fraction。它的数值范围大约是1.18e-38到3.40e38，精度大约是6到9位有效数字。它是深度学习中长期使用的标准格式，因为它能平衡数值范围和精度，同时也有较好的硬件支持。

• FP16（半精度浮点数）：用16位二进制表示，其中1位用于sign，5位用于exponent，10位用于fraction。它的数值范围大约是6.10e-5到6.55e4，精度大约是3到4位有效数字。它是近年来在深度学习中越来越流行的格式，因为它能节省内存和计算资源，同时也有张量核心（Tensor Core）等专门的硬件加速器。但它的缺点是数值范围和精度较低，可能导致数值溢出或下溢的问题。

• BFLOAT16（Brain Floating Point 16）：用16位二进制表示，其中1位用于sign，8位用于exponent，7位用于fraction。它的数值范围和FP32相同，但精度只有2位有效数字。它是由Google提出的一种针对深度学习优化的格式，它的优点是能保持和FP32相同的数值范围，从而避免数值溢出或下溢的问题，同时也能节省内存和计算资源，提高训练速度。它的缺点是精度较低，可能导致数值不稳定或精度损失的问题。

• TF32（TensorFloat 32）：用32位二进制表示，其中1位用于sign，8位用于exponent，10位用于fraction，剩余的13位被忽略。它的数值范围和FP32相同，但精度只有3到4位有效数字。它是由NVIDIA在Ampere架构中推出的一种专为深度学习设计的格式，它的优点是能保持和FP32相同的数值范围，同时也能利用张量核心（Tensor Core）等专门的硬件加速器，提高训练速度。它的缺点是精度较低，可能导致数值不稳定或精度损失的问题。

浮点数的计算方式 （详细）：

　　浮点数是一种用二进制表示的实数，它由三个部分组成：sign（符号位）、exponent（指数位）和fraction（小数位）。不同的浮点数格式有不同的位数分配给这三个部分，从而影响了它们能表示的数值范围和精度。

例如：FP16:

• Sign(符号位): 1 位，0表示整数；1表示负数。
• Exponent(指数位)：5位，简单地来说就是表示整数部分，范围为00001(1)到11110(30)，正常来说整数范围就是 $2^{1}−2^{30}$  ，但其实为了指数位能够表示负数，引入了一个偏置值，偏置值是一个固定的数，它被加到实际的指数上，在二进制16位浮点数中，偏置值是 15。这个偏置值确保了指数位可以表示从-14到+15的范围即 $2^{−14}−2^{15}$ ，而不是1到30，注：当指数位都为00000和11111时，它表示的是一种特殊情况，在IEEE 754标准中叫做非规范化情况，后面可以看到这种特殊情况怎么表示的。
• Fraction(尾数位)：10位，简单地来说就是表示小数部分，存储的尾数位数为10位，但其隐含了首位的1，实际的尾数精度为11位，这里的隐含位可能有点难以理解，简单通俗来说，假设尾数部分为1001000000，为默认在其前面加一个1，最后变成1.1001000000然后换成10进制就是:

# 第一种计算方式
1.1001000000 = 1 * 2^0 + 1 * 2^(-1) + 0 * 2^(-2) + 0 * 2^(-3) + 1 * 2^(-4) + 0 * 2^(-5) + 0 * 2^(-6) + 0 * 2^(-7) + 0 * 2^(-8) + 0 * 2^(-9) = 1.5625
# 第二种计算方式
1.1001000000 = 1 + 576(1001000000变成10进制)/1024 = 1.5625