吴恩达老师机器学习课程chapter03——过拟合与正则化

吴恩达老师机器学习课程chapter03——过拟合与正则化

本文是非计算机专业新手的自学笔记，欢迎指正与其他任何合理交流。

本文仅作速查备忘之用，对应吴恩达(AndrewNg)老师的机器学期课程第七章。

---

目录

• 吴恩达老师机器学习课程chapter03——过拟合与正则化
  • 基本概念
  • 正则化
    • 线性回归中的正则化
    • 分类中的正则化

---

基本概念

特征选取过多，hθ(x)会对训练集学习得过好，以至于对新的样本的判断结果很差。

解决方法有二：

- 减少特征数目
	- 手动选择
	- 模型选择算法
- 正则化
	- 减少某些特征的参数θ，即降低其权重。

正则化

线性回归中的正则化

修改代价函数：

\[J(\theta)=\frac{1}{2 m}\left[\sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right)^{2}
+\lambda \sum_{}^{} \theta_{j}^{2}\right]
\]

于是，进行梯度下降法时候，对于需要参与正则化的θj，其迭代也要做相对的修改，改为：

\[\theta_{j}=\theta_{j}-\alpha\left[\frac{1}{m}
\sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right) x_{j}^{(i)}+
\frac{\lambda}{m} \theta_{j}\right]
\]

进行正规方程法时候，需要作出修改如下:

\[\theta =(X^TX+\lambda diag(a_{1}\cdots a_{m} ))^{-1}X^Ty
\]

其中diag表示对角矩阵，若第j个参数不参与正则化，则aj=0；否则，aj=1。

分类中的正则化

与线性中的同理：