1. ELM 是什么

ELM的个人理解： 单隐层的前馈人工神经网络，特别之处在于训练权值的算法: 在单隐层的前馈神经网络中，输入层到隐藏层的权值根据某种分布随机赋予，当我们有了输入层到隐藏层的权值之后，可以根据最小二乘法得到隐藏层到输出层的权值，这也就是ELM的训练模型过程。

与BP算法不同，BP算法（后向传播算法），输入层到隐藏层的权值，和隐藏层到输出层的权值全部需要迭代求解（梯度下降法）

用一张老图来说明，也就是说上图中的Wi1,Wi2,Wi3 在超限学习机中，是随机的，固定的，不需要迭代求解的。我们的目标只需要求解从隐藏层到输出层的权值。毫无疑问，相对于BP算法，训练速度大大提高了。

2. ELM 的训练过程

在上述公式中，wi 表示输入层到隐藏层的权值， bi表示系统偏置(bias)，ß   则是我们的目标：隐藏层到输出层的权值，N 表示训练集的大小，oj 表示分类结果。为了无限逼近训练数据的真实结果，我们希望分类结果与真实结果t一致，那么也就是所以上式可以表示为 (懒了，不想用公式编辑器，TAT)

用矩阵表示，则 

其中N 表示训练集的大小，N~ 表示隐藏层结点的数量，g(x)表示active function（激活函数？），g(x)要求无限可微。

怎么求解这个方程就成为了ELM的训练过程，恩。

求解方法：1. 传统的梯度下降法 （不说了，就是BP算法）

2.  LS 最小二乘法方法

目标：最小化误差

根据 Hß = T， 如果H 是一个方阵的话，ß可以直接求解为H-1T。

如果H不是， 最小误差的ß 为 ，其中H+ 为H的Moore-Penrose 广义逆。

先写到这里了，基本训练过程已经搞清楚了，可是一个这么简单的算法为什么可以work，还有待研究。。。

超限学习机 (Extreme Learning Machine, ELM) 学习笔记 (一)的更多相关文章

  1. 极限学习机（Extreme Learning Machine）学习笔记

    最近研究上了这个一个东西--极限学习机. 在很多问题中,我大多会碰到两个问题,一个是分类,另一个就是回归.简单来说,分类是给一串数打个标签,回归是把一串数变为一个数. 在这里我们需要处理的数据一般维度 ...

  2. Extreme Learning Machine(ELM)的工程哲学

    Extreme Learning Machine(ELM)的工程哲学 David_Wang2015 发布于2015年5月6日 11:29 工程问题往往需要的是一定精度范围内的结果,而不是“真正的”结果 ...

  3. 使用Cross-validation （CV） 调整Extreme learning Machine (ELM) 最优参数的实现（matlab）

    ELM算法模型是最近几年得到广泛重视的模型,它不同于现在广为火热的DNN. ELM使用传统的三层神经网络,只包含一个隐含层,但又不同于传统的神经网络.ELM是一种简单易用.有效的单隐层前馈神经网络SL ...

  4. paper 102：极限学习机（Extreme Learning Machine）

    原文地址:http://blog.csdn.net/google19890102/article/details/18222103   极限学习机(Extreme Learning Machine) ...

  5. Extreme Learning Machine

    Extreme Learning Machine 作者:凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/ 1. ELM 2004年南洋理工大学黄广斌提出了ELM ...

  6. Deep learning with Python 学习笔记（11）

    总结 机器学习(machine learning)是人工智能的一个特殊子领域,其目标是仅靠观察训练数据来自动开发程序［即模型(model)］.将数据转换为程序的这个过程叫作学习(learning) 深 ...

  7. 阅读《LEARNING HARD C#学习笔记》知识点总结与摘要系列文章索引

    从发表第一篇文章到最后一篇文章,时间间隔有整整一个月,虽只有5篇文章,但每一篇文章都是我吸收<LEARNING HARD C#学习笔记>这本书的内容要点及网上各位大牛们的经验,没有半点废话 ...

  8. 阅读《LEARNING HARD C#学习笔记》知识点总结与摘要三

    最近工作较忙,手上有几个项目等着我独立开发设计,所以平时工作日的时候没有太多时间,下班累了就不想动,也就周末有点时间,今天我花了一个下午的时间来继续总结与整理书中要点,在整理的过程中,发现了书中的一些 ...

  9. 阅读《LEARNING HARD C#学习笔记》知识点总结与摘要二

    今天继续分享我的阅读<LEARNING HARD C#学习笔记>知识点总结与摘要二,仍然是基础知识,但可温故而知新. 七．面向对象 三大基本特性: 封装:把客观事物封装成类,并隐藏类的内部 ...

随机推荐

  1. Autolayout 01

    Auto Layout Concepts auto layout的基本概念是constraint(约束).表示了你interface中的layout元素.例如,你可以创建一个约束来指定元素的宽度或者距 ...

  2. 【java】Map、Set、List不同数据结构的各种不同循环迭代的效率对比，使用场景

    Map.Set.List不同数据结构的各种不同循环迭代的效率对比,使用场景 引申一个地址:Map迭代的使用keySet和entitySet的效率

  3. mac 安装 mysql-python

    1 首先安装mysql 要那种纯净,独立的mysql,不是xampp里附带的 2 下载 mysql-python压缩包,解压,找到里面的site.cfg里的 mysql_config = /usr/l ...

  4. 九度oj题目&amp;吉大考研10年机试题全解

    吉大考研机试2010年题目 题目一(jobdu1478:三角形的边).    http://ac.jobdu.com/problem.php?pid=1478 给出三个正整数,计算最小的数加上次小的数 ...

  5. perl的几个小tips

    1.字符串比较 if($str eq "hello"){ ... } 字符串比较必须用eq,用==只适合标量 2.字符串连接 $str3=$str1."-".$ ...

  6. 路飞学城Python爬虫课第一章笔记

    前言 原创文章,转载引用务必注明链接.水平有限,如有疏漏,欢迎指正. 之前看阮一峰的博客文章,介绍到路飞学城爬虫课程限免,看了眼内容还不错,就兴冲冲报了名,99块钱满足以下条件会返还并送书送视频. 缴 ...

  7. 微信小程序 - 考试前三排名实现

    实现原理:利用背景图片以及nth-child实现

  8. Windows：小技巧

    点击右键,选择打开方式的时候,列表修改:单击“开始→运行”,输入Regedit,打开注册表编辑器,定位到如下分支: HKEY_CURRENT_USER\Software\ Microsoft\Wind ...

  9. VueJS条件语句：v-if、v-else、v-else-if

    HTML:if-else <!DOCTYPE html> <html> <head> <meta charset="utf-8"> ...

  10. 【转载】关于 .Net 逆向的那些工具：反编译篇

    在项目开发过程中,估计也有人和我遇到过同样的经历:生产环境出现了重大Bug亟需解决,而偏偏就在这时仓库中的代码却不是最新的.在这种情况下,我们不能直接在当前的代码中修改这个Bug然后发布,这会导致更严 ...