deeplearning.ai 神经网络和深度学习 week1 深度学习概论 听课笔记

1. 预测房价、广告点击率：典型的神经网络，standard NN。

图像：卷积神经网络，CNN。

一维序列数据，如音频，翻译：循环神经网络，RNN。

无人驾驶，涉及到图像、雷达等更多的数据类型：混合的神经网络。

2. 结构化数据：数据的数据库，每一种特征都有明确的定义，如预测房价、广告点击率。目前主要的营收来源还是处理结构化数据。

非结构化数据：如音频、图像、文本，特征不明显。人类和你擅长处理非结构化数据。

3. 为什么近期神经网络一下子变这么厉害？一个神经网络牛逼的条件：1）神经网络的规模足够大；2）足够多的数据，这个数据往往要求是带标签的。

对于少量的训练数据，各种算法孰优孰劣不太明显，更依赖人手工设计的特征。

之前神经网络的进步主要依靠1）数据量的增加；2）硬件计算能力的提高。这些年算法方面也有了极大的创新，很多算法的创新点都是加速计算。比如，算法上很大的一个进步是从sigmoid激活函数转换到ReLU函数。sigmoid函数的问题是在左右两个方向都会饱和，梯度很小，导致学习变得非常慢。仅仅把sigmoid换成ReLU，就可以使得梯度下降法运行的快非常多。加快运算的另一个好处是，可以帮助我们更快的实现想法。神经网络的搭建很多时候是很依赖直觉的，所以快速实现想法实验验证，非常重要。