大家都清楚神经网络在上个世纪七八十年代是着实火过一回的,尤其是后向传播BP算法出来之后,但90年代后被SVM之类抢了风头,再后来大家更熟悉的是SVM.AdaBoost.随机森林.GBDT.LR.FTRL这些概念.究其原因,主要是神经网络很难解决训练的问题,比如梯度消失.当时的神经网络研究进入一个低潮期,不过Hinton老人家坚持下来了. 功夫不负有心人,2006年Hinton和学生发表了利用RBM编码的深层神经网络的Science Paper:Reducing the Dimensionalit…