反向传播(Back Propagation) 通常在设计好一个神经网络后,参数的数量可能会达到百万级别.而我们利用梯度下降去跟新参数的过程如(1).但是在计算百万级别的参数时,需要一种有效计算梯度的方法,这种方法就是反向传播(简称BP), 因此BP并不是一种新的算法,使用BP就是能够使计算梯度时更加有效率. 其中θ为神经网络的参数,为梯度. 链式法则 设有两个函数为y=g(x),z=h(y),那么要计算z对x导数,则计算过程如(2) 设有三个函数为x=g(s),y=h(s),z=k(x,y),那…