batch、随机、Mini-batch梯度下降

• batch梯度下降：

1. 对所有m个训练样本执行一次梯度下降，每一次迭代时间较长；
2. Cost function 总是向减小的方向下降。

• 随机梯度下降：

1. 对每一个训练样本执行一次梯度下降，但是丢失了向量化带来的计算加速；
2. Cost function总体的趋势向最小值的方向下降，但是无法到达全局最小值点，呈现波动的形式。

• Mini-batch梯度下降：

1. 选择一个1<size<m 的合适的size进行Mini-batch梯度下降，可以实现快速学习，也应用了向量化带来的好处。
2. Cost function的下降处于前两者之间。