近日,TensorFlow模型优化工具包又添一员大将,训练后的半精度浮点量化(float16 quantization)工具. 有了它,就能在几乎不损失模型精度的情况下,将模型压缩至一半大小,还能改善CPU和硬件加速器延迟. 这一套工具囊括混合量化,全整数量化和修剪. 如何量化模型,尽可任君挑选. 压缩大小,不减精度 双精度是64位,单精度是32位,所谓的半精度浮点数就是使用2个字节(16位)来存储. 比起8位或16位整数,半精度浮点数具有动态范围高的优点:而与单精度浮点数相比,它能节省一半的储