传统神经网络ANN训练算法总结 参考 。 以后研究
http://blog.163.com/yuyang_tech/blog/static/21605008320146451352506/
传统神经网络ANN训练算法总结
2014-07-04 17:13:52| 分类: deeplearning | 标签:ann |举报|字号 订阅
学习/训练算法分类
神经网络类型的不同,对应了不同类型的训练/学习算法。因而根据神经网络的分类,总结起来,传统神经网络的学习算法也可以主要分为以下三类:
1)前馈型神经网络学习算法-----(前馈型神经网络)
2)反馈型神经网络学习算法------(反馈型神经网络)
3)自组织神经网络学习算法------(自组织神经网络)
以下我们将通过三类典型的神经网络模型分别阐述这三类不同的学习算法其区别与相似点。
虽然针对不同的网络模型,这里产生了三类不同类型的训练算法,但是总结起来,这三类训练算法都可以归属到两种类型的机器训练方法中,即监督型学习算法和非监督型
学习算法。在20-30年的神经网络学习算法研究过程中,科学家往往都通过将监督型学习算法和非监督型学习算法进行单独或混合使用,提出并构建出了不同类型的训练算法及
其改进算法。因而总结起来现今的神经网络训练算法都可以归类到监督型学习算法和非监督型学习算法中,这在后续讲解的Deep Learning中的DBNs网络学习中也会体现出
来。当然目前也提出一种半监督学习方法,其定义为。
半监督学习(Semi-supervised Learning)是模式识别和机器学习领域研究的重点问题,是监督学习与无监督学习相结合的一种学习方法。它主要考虑如何利用少量的标注样本和大量的未标注样本进行训练和分类的问题。半监督学习对于减少标注代价,提高学习机器性能具有非常重大的实际意义。
半监督学习是监督学习算法和非监督学习算法的结合体,可以认为是两种方法的结合型算法,其根源也归属为两类本质的学习算法,因而也逃不脱监督学习和非监督学习领域圈,这里我们就不再进一步深入讨论半监督学习算法了。
在以下传统神经网络训练算法的总结中我们也将具体指明具体的训练算法和监督型学习算法和非监督型学习算法的关系。
BP神经网络训练算法
1、初始化网络权值和神经元的阈值(最简单的办法就是随机初始化)
2、前向传播:按照公式一层一层的计算隐层神经元和输出层神经元的输入和输出。
3、后向传播:根据公式修正权值和阈值
直到满足终止条件。
算法通过一定的判定函数,对前向传播结果进行判定,并通过后向传播过程对网络参数进行修正,起到监督学习的作用,因而传统的BP经网络训练过程可以归纳为一类典型的监督学习过程。
BP是后向传播的英文缩写,那么传播对象是什么?传播的目的是什么?传播的方式是后向,可这又是什么意思呢。
传播的对象是误差,传播的目的是得到所有层的估计误差,后向是说由后层误差推导前层误差:
即BP的思想可以总结为
- “BP神经网络模型拓扑结构包括输入层(input)、隐层(hide layer)和输出层(output layer)”
我们来看一个最简单的三层BP:
- “BP网络能学习和存贮大量的输入-输出模式映射关系,而无需事前揭示描述这种映射关系的数学方程。”
BP利用一种称为激活函数来描述层与层输出之间的关系,从而模拟各层神经元之间的交互反应。
激活函数必须满足处处可导的条件。那么比较常用的是一种称为S型函数的激活函数:
那么上面的函数为什么称为是S型函数呢:
我们来看它的形态和它导数的形态:
p.s. S型函数的导数:
神经网络的学习目的:
学习的核心:
权值调整规则,即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。
二,有监督的BP模型训练过程
1. 思想
有监督的BP模型训练表示我们有一个训练集,它包括了: input X 和它被期望拥有的输出 output Y
所以对于当前的一个BP模型,我们能够获得它针对于训练集的误差
所以BP的核心思想就是:将输出误差以某种形式通过隐层向输入层逐层反传,这里的某种形式其实就是:
也就是一种 "信号的正向传播 ----> 误差的反向传播"的过程:
2.具体
这里解释下根据误差对权值的偏导数来修订权值:
References
http://www.360doc.com/content/13/1217/13/9282836_337854682.shtml
传统神经网络ANN训练算法总结 参考 。 以后研究的更多相关文章
- 传统神经网络ANN训练算法总结
传统神经网络ANN训练算法总结 学习/训练算法分类 神经网络类型的不同,对应了不同类型的训练/学习算法.因而根据神经网络的分类,总结起来,传统神经网络的学习算法也可以主要分为以下三类: 1)前馈型神经 ...
- 人工神经网络--ANN
神经网络是一门重要的机器学习技术.它是目前最为火热的研究方向--深度学习的基础.学习神经网络不仅可以让你掌握一门强大的机器学习方法,同时也可以更好地帮助你理解深度学习技术. 本文以一种简单的,循序的方 ...
- 人工神经网络反向传播算法(BP算法)证明推导
为了搞明白这个没少在网上搜,但是结果不尽人意,最后找到了一篇很好很详细的证明过程,摘抄整理为 latex 如下. (原文:https://blog.csdn.net/weixin_41718085/a ...
- [DL学习笔记]从人工神经网络到卷积神经网络_1_神经网络和BP算法
前言:这只是我的一个学习笔记,里边肯定有不少错误,还希望有大神能帮帮找找,由于是从小白的视角来看问题的,所以对于初学者或多或少会有点帮助吧. 1:人工全连接神经网络和BP算法 <1>:人工 ...
- 神经网络和BP算法推导
注意:绘画太难了,因为他们画,本文中的所有插图来自基本算法饺子机类.请勿转载 1.习模型: 事实上,基本上全部的基本机器学习模型都能够概括为下面的特征:依据某个函数,将输入计算并输出. 图形化表示为下 ...
- 【原创 深度学习与TensorFlow 动手实践系列 - 2】第二课:传统神经网络
第二课 传统神经网络 <深度学习>整体结构: 线性回归 -> 神经网络 -> 卷积神经网络(CNN)-> 循环神经网络(RNN)- LSTM 目标分类(人脸识别,物品识别 ...
- 具体knn算法概念参考knn代码python实现
具体knn算法概念参考knn代码python实现上面是参考<机器学习实战>的代码,和knn的思想 # _*_ encoding=utf8 _*_ import numpy as npimp ...
- 神经网络反向传播算法&&卷积神经网络
听一遍课程之后,我并不太明白这个算法的奇妙之处?? 为啥? 神经网络反向传播算法 神经网络的训练依靠反向传播算法,最开始输入层输入特征向量,网络层计算获得输出,输出层发现输出和正确的类号不一样,这时就 ...
- 从 0 开始机器学习 - 神经网络反向 BP 算法!
最近一个月项目好忙,终于挤出时间把这篇 BP 算法基本思想写完了,公式的推导放到下一篇讲吧. 一.神经网络的代价函数 神经网络可以看做是复杂逻辑回归的组合,因此与其类似,我们训练神经网络也要定义代价函 ...
随机推荐
- iptables防火墙常用命令
iptables防火墙启动停止和基本操作 iptables是centos7之前常用的防火墙,在centos7上使用了firewall 防火墙基本操作: # 查询防火墙状态 service iptabl ...
- Codeforces 1163D Mysterious Code(AC自动机+DP)
用 AC自动机 来做有点想不到,捞一手就是学一手. 设 dp[ i ][ j ] 表示字符串 c 中的第 i 位到字典树上节点 j 的最大值是多少, word[ j ] 表示在节点 j 下对答案修改的 ...
- 2019 Multi-University Training Contest 7 - 1006 - Snowy Smile - 线段树
http://acm.hdu.edu.cn/showproblem.php?pid=6638 偷学一波潘哥的二维离散化和线段树维护最大子段和. 思路是枚举上下边界,但是不需要从左到右用最大子段和dp. ...
- js+css实现点击回到顶部的效果(最低兼容至ie7)
<!DOCTYPE html> <html> <head> <meta http-equiv="Content-Type" content ...
- 开发chrome插件(扩展)
官方文档 https://developer.chrome.com/extensions/getstarted.html [干货]Chrome插件(扩展)开发全攻略 http://blog.haoji ...
- C#开发 WinForm如何在选项卡中集成加载多个窗体 实现窗体复用
http://blog.csdn.net/upi2u/article/details/37914909 最近需要做的一个项目,为了避免从菜单中选择的麻烦,需要把几个窗体集成到一起,通过TabContr ...
- 输入某人出生日期(以字符串方式输入,如1987-4-1)使用DateTime和TimeSpan类,(1)计算其人的年龄;(2)计算从现在到其60周岁期间,总共多少天。
http://blog.csdn.net/w92a01n19g/article/details/8764116 using System;using System.Collections.Generi ...
- ASE Alpha Sprint - backend scrum 8
本次scrum于2019.11.13再sky garden进行,持续30分钟. 参与人: Zhikai Chen, Jia Ning, Hao Wang 请假: Xin Kang, Lihao Ran ...
- Uedit32_17.00 修改某一语言背景色-修改后续名后语法着色及某语言的大括号{}对齐
修改UE的背景色:高级-配置-编辑器显示-其它-设置颜色 新增扩展名语法着色:如以tpl为后缀的html代码格式着色高级-配置-编辑器显示-语法着色-语言选言[选中要着色的语言html]-打开-在'F ...
- 【杂记】mysql 左右连接查询中的NULL的数据筛选问题,查询NULL设置默认值,DATE_FORMAT函数
MySQL左右连接查询中的NULL的数据筛选问题 xpression 为 Null,则 IsNull 将返回 True:否则 IsNull 将返回 False. 如果 expression 由多个变量 ...