AMP:Automatic mixed precision,自动混合精度,可以在神经网络推理过程中,针对不同的层,采用不同的数据精度进行计算,从而实现节省显存和加快速度的目的. 在Pytorch 1.5版本及以前,通过NVIDIA出品的插件apex,可以实现amp功能. 从Pytorch 1.6版本以后,Pytorch将amp的功能吸收入官方库,位于torch.cuda.amp模块下. 本文为针对官方文档主要内容的简要翻译和自己的理解. 1. Introduction torch.cuda.am…