My blog in AI ---神经网络，神经元（neural network，nervecell）

尽管我们有很多经验丰富的软件开发人员，但是利用hard code的方法，要解决一些问题，我们的程序员还是优点捉襟见肘，这些问题包括，识别手写数字照片上的数字；分辨一张彩色照片上是否有一只猫咪；准确理解老婆说的“男人说话要是算数，母猪也会上树”这句话的真实含义，等等。这些我们人类处理起来得心应手的问题，计算机程序处理起来却显得很笨拙。

当然，有问题就要去寻找解决方案。其实在很早的时候，我们的计算机科学家前辈们就开始做了这方面的研究，提出的理论和算法有SVM，神经网络等。但是在那个GPU还没有发明，移动互联网还没有普及的年代，相关的算法并不能取得很好的效果，这方面的研究也就没有引起业界的重视。近年来，随着计算机计算能力的增强和大数据时代数据的爆发性增长，神经网络在解决上述问题的过程中取得了非常出色的成绩，例如，像google alpha战胜李世石这样的标志性事件。神经网络在向未来的AI时代开进的过程中，可谓是出尽了风头，前景一片光明。

对于神经网络，全称应该是人工神经网络，是对生物神经网络的模拟。大概的，对生物神经网络的模拟主要分为3个部分，即结构，神经元和突触。首先，我们从神经元聊起。

1神经元

1.1 感知器

要理解一个事物，我感觉最好的办法就是理解他的发展过程。从他的发展历史来看，就能更加深入的理解他为什么是这个样子。

对神经元，我想从感知器聊起。感知器是早期神经网络中的神经元的模型，用来模拟神经元对事件的决策。感知器在上个世纪60年代由Frank Rosenblatt发明，虽然现在使用更为广泛的是S型神经元、ReLU等，但是了解感知器，能够对这门技术的发展有一个更好的理解。

感知器是这样一个简单的模型，如下图所示：

感知器接受若干个输入，产生一个输出，输出的计算方式如下：

， 这是一个向量的形式，表示对所有的输入给不同的权重，输入到感知器中；b是一个阈值（偏置），可以用来表示感知器输出0或者1的难易程度。

例如，我们要用感知器来决策周末要不要去爬山，输入有这么3项，分别为周末的天气晴朗（x1），女朋友想去(x2)，有基友相约开黑(x3)。输出1表示要去爬山。

如果我们觉得天气晴朗是最关键的因素，那么我们可以设置w1 = 5, w2=1, w3=-1， b= -1

如果我们觉得有基友约开黑这种事情千万不能错过的话，可以设置权重和偏置为 w1 = 1 w2=1, w3=-5， b= -1

总的来说，通过感知器，设置不同的权重和偏置，我们可以对不同的事情做出不同的决策。通过修改权重和偏置，我们可以找到最适合我们应用的感知器模型，用来解决现实的问题。

但是感知器有它的问题，因为训练神经网络的核心在于得到网络中合适的权重和偏置，通常我们需要不断的调整权重和偏置，使得训练样本的结果不断的接近正确的结果。这就需要一个对权重和偏置的微小调整对输出的影响也是微小的（是不是感觉有点懵，没关系，先跳过，后面介绍了梯度下降和反向传播算法你就豁然开朗了）。我们把输入Z=wx+b, 画出输入与输出的曲线，如图：

从图中可以看出，感知器的曲线是非连续的，在Z=0时有一个阶跃。当我们改变权重和偏置使得Z从正数变成负数或者从负数变成正数时，会对输出造成一个反转。这样会使得神经网络的训练变得非常困难。由此，S型神经元随之提出。

1.2  S型神经元

S型神经元其实与感知器非常的相似，模型也大致如下：

区别在于，S型神经元引入了一个激活函数，sigmoid function， 该函数的定义为：

对S型神经元，可以更为清晰的表示其输出为：

我们先看看S型神经元的曲线：

从图中可以看出，S型神经元是连续的，比感知器要平滑。

S型神经元有很多的优势：