神经网络中损失函数后一般会加一个额外的正则项L1或L2,也成为L1范数和L2范数.正则项可以看做是损失函数的惩罚项,用来对损失函数中的系数做一些限制. 正则化描述: L1正则化是指权值向量w中各个元素的绝对值之和; L2正则化是指权值向量w中各个元素的平方和然后再求平方根; 一般都会在正则化项之前添加一个系数,这个系数需要用户设定,系数越大,正则化作用越明显. 正则化作用: L1正则化可以产生稀疏权值矩阵,即产生一个稀疏模型,可以用于特征选择,一定程度上,L1也可以防止过拟合;L2正则化可以防止