CNN学习笔记:激活函数 激活函数 激活函数又称非线性映射,顾名思义,激活函数的引入是为了增加整个网络的表达能力(即非线性).若干线性操作层的堆叠仍然只能起到线性映射的作用,无法形成复杂的函数.常用的函数有sigmoid.双曲正切.线性修正单元函数等等. 使用一个神经网络时,需要决定使用哪种激活函数用隐藏层上,哪种用在输出节点上. 比如,在神经网路的前向传播中,这两步会使用到sigmoid函数.sigmoid函数在这里被称为激活函数. sigmoid函数 之前在线性回归中,我们用过这个函数,使我