[1天搞懂深度学习] 读书笔记 lecture I:Introduction of deep learning

- 通常机器学习，目的是，找到一个函数，针对任何输入：语音，图片，文字，都能够自动输出正确的结果。

- 而我们可以弄一个函数集合，这个集合针对同一个猫的图片的输入，可能有多种输出，比如猫，狗，猴子等，而我们通过提供大量的training data给这个函数集合，对集合里的各种函数组合的输出进行比对，最后选出一个能输出最佳结果(结果是猫)的组合，那么因为这个组合已经很能够很准确的识别猫，所以这个组合就能用来检测图片里是否是猫。

- 具体来说，下面第一张图，某一个点为一个函数，而整个网络机构为函数集合，一个集合里存在非常多的可能，任何函数都可以相互组合进行计算。

下面第2张图的第一列为输入，第二列为第1层，每个输入都作为layer1的输入，输出后又分别作为layer2的输入，这样用穷举法，遍历针对每一个输入的每一种计算可能而那么多layer就定义了一个函数集。

- 上面提到的大量的training data，是训练的素材，而如何判断针对这些输入的输出是否正确呢？我理解就是根据label来的

-. 函数集里的每种函数组合，针对每一个training data产生的结果与 target之间的差称为LOSS，针对所有training data产生的LOSS之和，就是考察某一个函数组合的goodness的数据指标。目标当然是LOSS越小越好，而关键就是找到那个network parameters（即下图中的b和w，因为这个函数里就这些参数是变化的）让LOSS最小。所以这个问题，最终成为，针对Loss=f(training data, w，b, 函数组合)，找到合适的network parameters让LOSS最小的问题，通过对这个函数求导就能得到结论：

求导为负数，说明L在减小，就增加w，增加L减小的趋势。
求导为正，说明L在增加，则减小W，向L增加的方向走。
反复操作，直到求导为0
而每次计算求导时，w前进/后退多少，称之为learning rate

找到合适的network parameters，就找到了针对这些training data的正确的函数组合了！这样学习模型就建立成功，可以实现正确的识别同类型的输入了！