【dlbook】机器学习基础

【机器学习基础】

模型的 vc dimension 如何衡量？

如何根据网络结构衡量模型容量？有效容量和模型容量之间的关系？

统计学习理论中边界不用于深度学习之中，原因？

　　1、边界通常比较松，

　　2、深度网络的容量估计非常困难，主要原因是受优化算法的能力限制！

深度学习中正则化：偏向于范数较小的权重！原因？

validation集必要的原因！超参数的存在。

超参数的必要性：

　　1、很难优化（情况少见）

　　2、是控制模型容量的参数，不能放入train set优化，否则结论一定是模型越复杂越好。

验证集存在的意义在于挑选超参数。

偏差和方差：

最小化的是均方误差，也就是偏差 + 方差，在欠拟合阶段，偏差比较高，在过拟合截断，方差比较高。

监督学习：

大部分基于估计概率分布 p(y|X)，

例如，对于线性回归来说，p(y|X; theta) =  N(y: theta . x, I)

支持向量机：重要创新 核技巧。

深度学习的挑战：

1、维数灾难：随着X维数的增长，在一些高维区域中没有点。

2、先验：复杂任务先验不一定平滑，可能引入不平滑的先验来解决统计问题。

3、流形学习：