深度学习调参笔记（trick）

1. Adam 学习率0.00035真香；

2. SGD + Momentum 学习率应当找到合适区间，一般远大于Adam (取1,2,5,10这类数据)；

3. 提前终止，防止过拟合;

4. Ensemble可以显著提高模型性能，对两个模型而言，适当增加性能较好的模型权重可能会取得更好的结果；

5. 随机擦除 https://www.ctolib.com/albumentations-team-albumentations.html#articleHeader7 ；

class albumentations.augmentations.transforms.CoarseDropout(max_holes=8, max_height=8, max_width=8, min_holes=None, min_height=None, min_width=None, fill_value=0, always_apply=False, p=0.5)

6. 测试时取原图与数据增强图片（如翻转）的均值；

7. Ranger优化器(RAdam+LookAhead)；

Ranger: https://github.com/lessw2020/Ranger-Deep-Learning-Optimizer

RAdam: https://github.com/LiyuanLucasLiu/RAdam

8. 加入BN层，可以防止过拟合；

9. ResNet系列，将最后一个block步长（stride）改成1可以提高性能（识别任务等）；

10. warm up一般用于Adam，可以基于batch与epoch进行warm up；

11. 惩罚高置信度错误分类（0.999 >>> 0.9, 0.001 >>> 0.1）；