转--脉络清晰的BP神经网络讲解,赞
http://www.cnblogs.com/wengzilin/archive/2013/04/24/3041019.html
学 习是神经网络一种最重要也最令人注目的特点。在神经网络的发展进程中,学习算法的研究有着十分重要的地位。目前,人们所提出的神经网络模型都是和学习算 法相应的。所以,有时人们并不去祈求对模型和算法进行严格的定义或区分。有的模型可以有多种算法.而有的算法可能可用于多种模型。不过,有时人们也称算法 为模型。 自从40年代Hebb提出的学习规则以来,人们相继提出了各种各样的学习算法。其中以在1986年Rumelhart等提出的误差反向传播法,即 BP(error BackPropagation)法影响最为广泛。直到今天,BP算法仍然是自动控制上最重要、应用最多的有效算法。 1.2.1 神经网络的学习机理和机构 在神经网络中,对外部环境提供的模式样本进行学习训练,并能存储这种模式,则称为感知器;对外部环境有适应能力,能自动提取外部环境变化特征,则称为认知器。 神经网络在学习中,一般分为有教师和无教师学习两种。感知器采用有教师信号进行学习,而认知器则采用无教师信号学习的。在主要神经网络如BP网 络,Hopfield网络,ART网络和Kohonen网络中;BP网络和Hopfield网络是需要教师信号才能进行学习的;而ART网络和 Kohonen网络则无需教师信号就可以学习。所谓教师信号,就是在神经网络学习中由外部提供的模式样本信号。 一、感知器的学习结构 感知器的学习是神经网络最典型的学习。 目前,在控制上应用的是多层前馈网络,这是一种感知器模型,学习算法是BP法,故是有教师学习算法。 一个有教师的学习系统可以用图1—7表示。这种学习系统分成三个部分:输入部,训练部和输出部。 |
||||||||||||||||||||||||
图1-7 神经网络学习系统框图 |
||||||||||||||||||||||||
输入部接收外来的输入样本X,由训练部进行网络的权系数W调整,然后由输出部输出结果。在这个过程中,期望的输出信号可以作为教师信号输入,由该教师信号与实际输出进行比较,产生的误差去控制修改权系数W。 学习机构可用图1—8所示的结构表示。 在图中,Xl ,X2 ,…,Xn ,是输入样本信号,W1 ,W2 ,…,Wn 是权系数。输入样本信号Xi 可以取离散值“0”或“1”。输入样本信号通过权系数作用,在u产生输出结果 ∑Wi Xi ,即有: u=∑Wi Xi =W1 X1 +W2 X2 +…+Wn Xn 再把期望输出信号Y(t)和u进行比较,从而产生误差信号e。即权值调整机构根据误差e去对学习系统的权系数进行修改,修改方向应使误差e变小,不断进行下去,使到误差e为零,这时实际输出值u和期望输出值Y(t)完全一样,则学习过程结束。 |
||||||||||||||||||||||||
神经网络的学习一般需要多次重复训练,使误差值逐渐向零趋近,最后到达零。则这时才会使输出与期望一致。故而神经网络的学习是消耗一定时期的,有的学习过程要重复很多次,甚至达万次级。原因在于神经网络的权系数W有很多分量W1 ,W2 ,----Wn ;也即是一个多参数修改系统。系统的参数的调整就必定耗时耗量。目前,提高神经网络的学习速度,减少学习重复次数是十分重要的研究课题,也是实时控制中的关键问题。 二、感知器的学习算法 感知器是有单层计算单元的神经网络,由线性元件及阀值元件组成。感知器如图1-9所示。 |
||||||||||||||||||||||||
图1-9 感知器结构 感知器的数学模型:
|
||||||||||||||||||||||||
其中:f[.]是阶跃函数,并且有
|
||||||||||||||||||||||||
θ是阀值。 感知器的最大作用就是可以对输入的样本分类,故它可作分类器,感知器对输入信号的分类如下:
|
||||||||||||||||||||||||
即是,当感知器的输出为1时,输入样本称为A类;输出为-1时,输入样本称为B类。从上可知感知器的分类边界是:
|
||||||||||||||||||||||||
在输入样本只有两个分量X1,X2时,则有分类边界条件:
|
||||||||||||||||||||||||
即 W1 X1 +W2 X2 -θ=0 (1-17) 也可写成
|
||||||||||||||||||||||||
这时的分类情况如固1—10所示。 感知器的学习算法目的在于找寻恰当的权系数w=(w1.w2,…,Wn),使系统对一个特 定的样本x=(xt,x2,…,xn)熊产生期望值d。当x分类为A类时,期望值d=1;X为B类 时,d=-1。为了方便说明感知器学习算法,把阀值θ 并人权系数w中,同时,样本x也相应增加一 个分量xn+1 。故令: Wn+1 =-θ,Xn+1 =1 (1-19) 则感知器的输出可表示为:
|
||||||||||||||||||||||||
感知器学习算法步骤如下: |
||||||||||||||||||||||||
图1-10 感知器的分类例子 |
||||||||||||||||||||||||
2.输入一样本X=(X1 ,X2 ,…,Xn+1 )以及它的期望输出d。 期望输出值d在样本的类属不同时取值不同。如果x是A类,则取d=1,如果x是B类,则取-1。期望输出d也即是教师信号。 3.计算实际输出值Y 4.根据实际输出求误差e e=d—Y(t) (1-21) 5.用误差e去修改权系数 i=1,2,…,n,n+1 (1-22) 其中,η称为权重变化率,0<η≤1 在式(1—22)中,η的取值不能太大.如果1取值太大则会影响wi (t)的稳定;的取值也不能太小,太小则会使Wi (t)的求取过程收敛速度太慢。 当实际输出和期望值d相同时有: Wi (t+1)=Wi (t) 6.转到第2点,一直执行到一切样本均稳定为止。 从上面式(1—14)可知,感知器实质是一个分类器,它的这种分类是和二值逻辑相应的。因此,感知器可以用于实现逻辑函数。下面对感知器实现逻辑函数的情况作一些介绍。 例:用感知器实现逻辑函数X1 VX2 的真值:
|
||||||||||||||||||||||||
以X1VX2=1为A类,以X1VX2=0为B类,则有方程组
|
||||||||||||||||||||||||
即有:
|
||||||||||||||||||||||||
从式(1—24)有: W1 ≥θ,W2 ≥θ 令 W1 =1,W2 =2 则有: θ ≤1 取 θ=0.5 则有:X1+X2-0.5=0,分类情况如图1—11所示。 |
||||||||||||||||||||||||
图1-11 逻辑函数X1 VX2 的分类 1.2.2 神经网络学习的梯度算法 从感如器的学习算法可知,学习的目的是在于修改网络中的权系数,使到网络对于所输入的模式样本能正确分类。当学习结束时,也即神经网络能正确分类 前面的感知器的传递函数是阶跃函数,所以,它可以用作分类器。前面一节所讲的感知器学习算法因其传递函数的简单而存在局限性。 感知器学习算法相当简单,并且当函数线性可分时保证收敛。但它也存在问题:即函数不是线性可分时,则求不出结果;另外,不能推广到一般前馈网络中。 为了克服存在的问题,所以人们提出另一种算法——梯度算法(也即是LMS法)。 为了能实现梯度算法,故把神经元的激发函数改为可微分函数,例如Sigmoid函数,非对称Sigmoid函数为f(X)=1/(1+e-x ),对称Sigmoid函数f(X)=(1-e-x )/(1+e-x );而不采用式(1—13)的阶跃函数。 对于给定的样本集Xi (i=1,2,,n),梯度法的目的是寻找权系数W* ,使得f[W*. Xi ]与期望输出Yi尽可能接近。 设误差e采用下式表示:
|
||||||||||||||||||||||||
其中,Yi =f〔W* ·Xi ]是对应第i个样本Xi 的实时输出 Yi 是对应第i个样本Xi 的期望输出。 要使误差e最小,可先求取e的梯度:
|
||||||||||||||||||||||||
|
||||||||||||||||||||||||
令 Uk =W. Xk ,则有:
|
||||||||||||||||||||||||
即有:
|
||||||||||||||||||||||||
最后有按负梯度方向修改权系数W的修改规则:
|
||||||||||||||||||||||||
也可写成:
|
||||||||||||||||||||||||
在上式(1—30),式(1—31)中,μ 是权重变化率,它视情况不同而取值不同,一般取0-1之间的小数。 1.神经元的传递函数采用连续的s型函数,而不是阶跃函数; 2.对权系数的修改采用误差的梯度去控制,而不是采用误差去控制。故而有更好的动态特能,即加强了收敛进程。 但是梯度法对于实际学习来说,仍然是感觉太慢;所以,这种算法仍然是不理想的。 1.2.3 反向传播学习的BP算法 反向传播算法也称BP算法。由于这种算法在本质上是一种神经网络学习的数学模型,所以,有时也称为BP模型。 BP算法是为了解决多层前向神经网络的权系数优化而提出来的;所以,BP算法也通常暗示着神经网络的拓扑结构是一种无反馈的多层前向网络。故而.有时也称无反馈多层前向网络为BP模型。 在这里,并不要求过于严格去争论和区分算法和模型两者的有关异同。感知机学习算法是一种单层网络的学习算法。在多层网络中.它只能改变最后权系数。 一、BP算法的原理 BP算法是用于前馈多层网络的学习算法,前馈多层网络的结构一般如图1—12所示 |
||||||||||||||||||||||||
图1-12 网络学习结构 它含有输人层、输出层以及处于输入输出层之间的中间层。中间层有单层或多层,由于它们和外界没有直接的联系,故也称为隐层。在隐层中的神经元也称隐 设有一个m层的神经网络,并在输入层加有样本X;设第k层的i神经元的输入总和表示为Ui k ,输出Xi k ;从第k—1层的第j个神经元到第k层的第i个神经元的权系数为Wij 各个神经元的激发函数为f,则各个变量的关系可用下面有关数学式表示:
|
||||||||||||||||||||||||
反向传播算法分二步进行,即正向传播和反向传播。这两个过程的工作简述如下。 1.正向传播 输入的样本从输入层经过隐单元一层一层进行处理,通过所有的隐层之后,则传向输出层;在逐层处理的过程中,每一层神经元的状态只对下一层神经元的状态产生影响。在输出层把现行输出和期望输出进行比较,如果现行输出不等于期望输出,则进入反向传播过程。 2.反向传播 反向传播时,把误差信号按原来正向传播的通路反向传回,并对每个隐层的各个神经元的权系数进行修改,以望误差信号趋向最小。 二、BP算法的数学表达 BP算法实质是求取误差函数的最小值问题。这种算法采用非线性规划中的最速下降方法,按误差函数的负梯度方向修改权系数。 为了说明BP算法,首先定义误差函数e。取期望输出和实际输出之差的平方和为误差函数,则有:
|
||||||||||||||||||||||||
其中:Yi 是输出单元的期望值;它也在这里用作教师信号; Xi m 是实际输出;因为第m层是输出层。 由于BP算法按误差函数e的负梯度方向修改权系数,故权系数Wij 的修改量Awij ,和e
|
||||||||||||||||||||||||
其中:η 为学习速率,即步长。 很明显,根据BP算法原则,求ae/aWij 最关键的。下面求ae/aWij ;有
|
||||||||||||||||||||||||
其中:η 为学习速率,即步长,一般取0-1间的数。 从上面可知,di k 实际仍末给出明显的算法公式,下面求di k 的计算公式。
|
||||||||||||||||||||||||
为了方便进行求导,取f为连续函数。一般取非线性连续函数,例如Sigmoid函数。当取f为非对称Sigmoid函数时,有: 则有:f'(Ui k )=f'(Ui k )(1-f(Ui k )) 再考虑式(1—43)中的偏微分项ae/aXi k ,有两种情况需考虑的: 如果k=m,则是输出层,这时有Yi 是输出期望值,它是常数。从式(1-34)有
|
||||||||||||||||||||||||
从上述过程可知:多层网络的训练方法是把一个样本加到输入层,并根据向前传播的规则: Xi k =f(Ui k ) 不断一层一层向输出层传递,最终在输出层可以得到输出Xi m 。 把Xim和期望输出Yi进行比较.如果两者不等,则产生误差信号e,接着则按下面公式反向传播修改权系数:
|
||||||||||||||||||||||||
上面公式中,求取本层di k 时,要用到高一层的di k+1 ;可见,误差函数的求取是从输出层开始,到输入层的反向传播过程。在这个过程中不断进行递归求误差。 通过多个样本的反复训练,同时向误差渐渐减小的方向对权系数进行修正,以达最终消除误差。从上面公式也可以知道,如果网络的层数较多时,所用的计算量就相当可观,故而收敛速度不快。 为了加快收敛速度,一般考虑上一次的权系数,并以它作为本次修正的依据之一,故而有修正公式:
|
||||||||||||||||||||||||
其中:η 为学习速率,即步长,η =0.1—0.4左右 ɑ 为权系数修正常数,取0.7—0.9左右。 在上面,式(1—53)也称为一般化的Delta法则。对于没有隐层的神经网络,可取
|
||||||||||||||||||||||||
其中:,Yi 为期望输出; Xj 为输出层的实际输出; Xi 为输入层的输入。 这显然是一种十分简单的情况,式(1—55)也称为简单Delta法则。 在实际应用中,只有一般化的Delta法则式(1—53)或式(1—54)才有意义。简单Delta法则式(1—55)只在理论推导上有用。 三、BP算法的执行步骤 在反向传播算法应用于前馈多层网络时,采用Sigmoid为激发面数时,可用下列步骤对网络的权系数Wij 进行递归求取。注意对于每层有n个神经元的时候,即有i=1,2,…,n;j=1,2,…,n。对于第k层的第i个神经元,则有n个权系数Wi1 ,Wi2 ,…,Win ,另外取多—个Win+1 用于表示阀值θi ;并且在输入样本X时,取x=(X1 ,X2 ,…,Xn ,1)。 算法的执行的步骤如下: 1.对权系数Wij 置初值。 对各层的权系数Wij 置一个较小的非零随机数,但其中Wi ,n+1=-θ 。 2.输入一个样本X=(xl ,x2 ,…,xn ,1),以及对应期望输出Y=(Y1 ,Y2 ,…,Yn )。 3.计算各层的输出 对于第k层第i个神经元的输出Xi k ,有:
|
||||||||||||||||||||||||
4.求各层的学习误差di k 对于输出层有k=m,有 di m =Xi m (1-Xi m )(Xi m -Yi ) 对于其他各层,有 5.修正权系数Wij和阀值θ 用式(1—54)时有: 其中: 6.当求出了各层各个权系数之后,可按给定品质指标判别是否满足要求。如果满足要求,则算法结束;如果未满足要求,则返回(3)执行。 这个学习过程,对于任一给定的样本Xp =(Xp1 ,Xp2 ,…Xpn ,1)和期望输出Yp =(Yp1 ,Yp2 ,…,Ypn )都要执行,直到满足所有输入输出要求为止。 |
转--脉络清晰的BP神经网络讲解,赞的更多相关文章
- 脉络清晰的BP神经网络讲解,赞
学习是神经网络一种最重要也最令人注目的特点.在神经网络的发展进程中,学习算法的研究有着十分重要的地位.目前,人们所提出的神经网络模型都是和学习算 法相应的.所以,有时人们并不去祈求对模型和算法进行严格 ...
- BP神经网络
秋招刚结束,这俩月没事就学习下斯坦福大学公开课,想学习一下深度学习(这年头不会DL,都不敢说自己懂机器学习),目前学到了神经网络部分,学习起来有点吃力,把之前学的BP(back-progagation ...
- 神经网络中的BP神经网络和贝叶斯
1 贝叶斯网络在地学中的应用 1 1.1基本原理及发展过程 1 1.2 具体的研究与应用 4 2 BP神经网络在地学中的应用 6 2.1BP神经网络简介 6 2.2基本原理 7 2.3 在地学中的具体 ...
- 使用HOG特征+BP神经网络进行车标识别
先挖个坑,快期末考试了,有空填上w 好了,今晚刚好有点闲,就把坑填上吧. //-------------------------------开篇---------------------------- ...
- BP神经网络及其在教学质量评价中 的应用
本文学习笔记是自己的理解,如有错误的地方,请大家指正批评.共同进步.谢谢! 之前的教学质量评价,仅仅是通过对教学指标的简单处理.如求平均值或人为的给出各指标的权值来加权求和,其评价结果带有非常大主观性 ...
- BP神经网络公式推导及实现(MNIST)
BP神经网络的基础介绍见:http://blog.csdn.net/fengbingchun/article/details/50274471,这里主要以公式推导为主. BP神经网络又称为误差反向传播 ...
- BP神经网络原理及在Matlab中的应用
一.人工神经网络 关于对神经网络的介绍和应用,请看如下文章 神经网络潜讲 如何简单形象又有趣地讲解神经网络是什么 二.人工神经网络分类 按照连接方式--前向神经网络.反馈(递归)神经网络 按照 ...
- 感知机算法及BP神经网络
简介:感知机在1957年就已经提出,可以说是最为古老的分类方法之一了.是很多算法的鼻祖,比如说BP神经网络.虽然在今天看来它的分类模型在很多数时候泛化能力不强,但是它的原理却值得好好研究.先学好感知机 ...
- 练习推导一个最简单的BP神经网络训练过程【个人作业/数学推导】
写在前面 各式资料中关于BP神经网络的讲解已经足够全面详尽,故不在此过多赘述.本文重点在于由一个"最简单"的神经网络练习推导其训练过程,和大家一起在练习中一起更好理解神经网络训 ...
随机推荐
- gulp复制整个文件夹或文件到指定目录(包括拷贝单个文件)
整个目录: gulp.task('copy', function() { return gulp.src('src/**/*') .pipe(gulp.dest('dist')) }); gulp拷贝 ...
- MySQL索引背后的数据结构及算法原理
摘要 本文以MySQL数据库为研究对象,讨论与数据库索引相关的一些话题.特别需要说明的是,MySQL支持诸多存储引擎,而各种存储引擎对索引的支持也各不相同,因此MySQL数据库支持多种索引类型,如BT ...
- 【原创】风讯DotNetCMS V1.0~V2.0 SQL注入漏洞
文章作者:rebeyond 注:文章首发I.S.T.O信息安全团队,后由原创作者友情提交到乌云-漏洞报告平台.I.S.T.O版权所有,转载需注明作者. 受影响版本:貌似都受影响. 漏洞文件:use ...
- 分享一个.NET实现的简单高效WEB压力测试工具
在Linux下对Web进行压力测试的小工具有很多,比较出名的有AB.虽然AB可以运行在windows下,但对于想简单界面操作的朋友有点不太习惯.其实vs.net也提供压力测试功能但显然显得太重了,在测 ...
- PHP常用数据库代码汇总
连接MYSQL //MYSQL数据库配置 define(DB_HOST, '127.0.0.1'); define(DB_USER, 'user'); define(DB_PASS, 'pass'); ...
- centos7 没有iptables服务 file or directory? 用secureCRT登录centos?
cenetos7 采用systemd来管理服务 centos7 没有采用传统的iptables服务, 而是采用的firewalld 服务, 以及firewall-cmd 命令; 也可以采用传统的 ip ...
- 使用count结合nvl函数时碰到的问题
count()函数功能:统计表中中某个字段或所有记录个数,字段值为null的不做统计. 手册中解释: COUNT returns the number of rows returned by the ...
- ERROR 2002 (HY000): Can’t connect to local MySQL server through socket ‘/var mysql 启动不了(转载)
ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var mysql 启动不了 ps -A | gr ...
- [Network] HTML、XML和JSON学习汇总
写在前面:楼主也是刚刚接触这方面的知识,之前完全是零基础,后来经朋友推荐了几个不错的博文,看完以后豁然开朗.但是此博文更加偏重于基础知识介绍(其实更深的楼主也还不了解,这方面的大神请绕道),只是分享个 ...
- 1·3 对 git 的认识
我可以诚实的说:这是我第一次听见这个名词 GIT.老师您发的关于git链接我下载了,只是还没看完.所以以下只是片面的理解,在后期我会单独再发一次. 一·GIT的简单介绍 1·Git是一款免费.开源的分 ...