权重衰减是应对过拟合问题的常用方法. \(L_2\)范数正则化 在深度学习中,我们常使用L2范数正则化,也就是在模型原先损失函数基础上添加L2范数惩罚项,从而得到训练所需要最小化的函数. L2范数惩罚项指的是模型权重参数每个元素的平方和与一个超参数的乘积.如:\(w_1\),\(w_2\)是权重参数,b是偏差参数,带\(L_2\)范数惩罚项的新损失函数为: \[\ell(w_1, w_2, b) + \frac{\lambda}{2}(w_1^2 + w_2^2),\] \(\lambda\)调…