个core可以有不同的代码路径.对于反向传播算法来说,基本计算就是矩阵向量乘法,对一个向量应用激活函数这样的向量化指令,而不像在传统的代码里会有很多if-else这样的逻辑判断,所以使用GPU加速非常有用. 但即使这样,单机的计算能力还是相对有限的. 深度学习开源工具 从数学上来讲,深度神经网络其实不复杂,我们定义不同的网络结构,比如层次之间怎么连接,每层有多少神经元,每层的激活函数是什么.前向算法非常简单,根据网络的定义计算就好了. 而反向传播算法就比较复杂了,所以现在有很多深度学习的开源框架…