之前一直对BP的理解不透彻,这可不行,这个可是超经典的广泛应用在ML中的求偏导的方法.本博来自<神经网络与机器学习>P86页. 在用到bp的地方我们都是为了使用梯度下降法,并求出他的偏导数,如图:(图 1 来自ng的ufldl),但是如何求得J(W,b)关于W和b的导数确实比较难,所以才有了BP的出现.下面都是讲解如何求得alpha后面的那项,当求出了后面的,我们就很容易的进行权值的更新了. 首先,考虑一个单独的神经元,此时没有隐藏层.只是为了说明BP的数学原理,务必搞懂之后才能看下面的,不然…