MindSpore模型精度调优实践

MindSpore模型精度调优实践

引论：在模型的开发过程中，精度达不到预期常常让人头疼。为了帮助用户解决模型调试调优的问题，为MindSpore量身定做了可视化调试调优组件：MindInsight。还梳理了针对常见精度问题的调试调优指南，将以“MindSpore模型精度调优实战”系列文章的形式分享出来，希望能帮助用户轻松定位精度问题，快速优化模型精度。

本文将分析精度问题的常见现象和原因，并给出一个整体的调优思路。本文分享假设脚本已经能够运行并算出loss值。如果脚本还不能运行，请先参考相关报错提示进行修改。

精度问题的常见现象和原因

模型精度问题和一般的软件问题不同，定位周期一般也更长。在通常的程序中，程序输出和预期不符意味着存在bug（编码错误）。但是对一个深度学习模型来说，模型精度达不到预期，有着更复杂的原因和更多的可能性。由于模型精度要经过长时间的训练才能看到最终结果，定位精度问题通常会花费更长的时间。

常见现象

精度问题的直接现象一般体现在loss（模型损失值）和metrics（模型度量指标）上。loss现象一般表现为（1）loss跑飞，出现NAN，+/- INF，极大值（2）loss不收敛、收敛慢（3）loss为0等。模型metrics一般表现为模型的accuracy、precision等metric达不到预期。

精度问题的直接现象较容易观察，借助MindInsight等可视化工具，还可以在梯度、权重、激活值等张量上观察到更多现象。常见现象如：（1）梯度消失（2）梯度爆炸（3）权重不更新（4）权重变化过小（5）权重变化过大（6）激活值饱和等。

常见原因

有果必有因，在现象的背后，是精度问题的原因，可以简单分为超参问题、模型结构问题、数据问题、算法设计问题等类别：

超参问题

例如

学习率设置不合理，

loss_scale参数不合理，

权重初始化参数不合理等。

模型结构问题

例如

算子使用错误（使用的算子不适用于目标场景），

权重共享错误（共享了不应共享的权重），

权重冻结错误（冻结了不应冻结的权重），

节点连接错误（应该连接到计算图中的block未连接），

loss函数错误，

优化器算法错误（如果自行实现了优化器）等。

数据问题

例如

数据缺失值过多，

每个类别中的样本数目不均衡，

数据中存在异常值，

未对数据进行归一化，

数据处理参数不正确等。

算法设计问题

算法本身设计有缺陷导致精度无法达到预期。

相同现象存在多个可能原因导致精度问题定位难

以loss不收敛为例（下图），任何可能导致激活值饱和、梯度消失、权重更新不正确的问题都可能导致loss不收敛。例如错误地冻结了部分权重，使用的激活函数和数据不匹配（使用relu激活函数，输入值全部小于0），学习率过小等原因都是loss不收敛的可能原因。

图 1 相同现象存在多个可能原因导致精度问题定位难

调优思路概述

图 2精度问题调优思路概述

针对上述精度问题的现象和原因，常用的几个调优思路如下：检查代码和超参、检查模型结构、检查输入数据、检查loss曲线。若上述思路都未发现问题，可以让训练执行到最后，检查精度（主要是模型metrics）是否达到预期。

其中，检查模型结构和超参重在检查模型的静态特征；检查输入数据和loss曲线则是将静态特征和动态训练现象结合检查；检查精度是否达到预期则是对整体精度调优过程重新审视，并考虑调整超参、解释模型、优化算法等调优手段。

为了帮助用户高效实施上述的精度调优思路，MindInsight提供了配套的能力，如下图。后面会展开介绍精度调优的准备工作，每个调优思路的细节，以及如何使用MindInsight的功能实践这些调优思路。

图 3精度问题定位思路及MindInsight对应能力