coursera机器学习笔记-神经网络,初识篇
#对coursera上Andrew Ng老师开的机器学习课程的笔记和心得;
#注:此笔记是我自己认为本节课里比较重要、难理解或容易忘记的内容并做了些补充,并非是课堂详细笔记和要点;
#标记为<补充>的是我自己加的内容而非课堂内容,参考文献列于文末。博主能力有限,若有错误,恳请指正;
#---------------------------------------------------------------------------------#
神经网络的类型:感知机(单层),多层神经网络;
<补充>:感知机(perceptron)是神经网络和支持向量机的基础,基本模型为:f(x)= sign(g(X)),sign为符号函数, x为输入向量,w为权值向量,b为bias;
;
g(X)可以是线性函数,也可以是sigmoid函数等;
#---------------------------------------------------------------------------------#
神经网络基本模型:
,
每一个单元有一定数量的实值输入,产生单一的实值输出(可以是其他很多单元的输入);
神经网络的符号标记:ai(j) - activation of unit i in layer j ;Ɵ(j) - matrix of parameters controlling the function mapping from layer j to layer j + 1;
j是指第几层,i指第几个节点,ai(j)指由前一层得到的输出值,并作为下一层的输入值;Ɵ(j)是这一层通往为下一层的ai(j)的系数;
每个节点的计算公式:
;
;
- Ɵ = means
- - we're mapping to node 1 in layer l+1
- - we're mapping from node 3 in layer l
- - we're mapping from layer 1
)+a2(3)+a3(3) != 1.
#---------------------------------------------------------------------------------#
<补充>:适合神经网络学习的问题需满足下列条件
1,实例是用很多“属性-值”对表示的;
2,目标函数的输出可能是离散值、实数值或若干值组成的向量;
3,训练数据可能包含错误(ANN有很好的健壮性);
4,可容忍长时间的训练(ANN需要较长的训练时间);
5,可能需要快速秋初目标函数值(ANN训练时间长,但预测所需时间很短,如无人驾驶);
6,人类能否理解学到的目标函数是不重要的(ANN学习到的权值经常是人难以理解的);
#---------------------------------------------------------------------------------#
神经网络实例:用神经网络来表征某些函数。
注!两层深度(两个隐藏层)的神经网络就可以表示所有的布尔函数。
<补充>:每个有界的连续函数可以有一个两层的网络以任意小误差逼近;
<补充>:任意函数可以被一个有三层单元的网络以任意精度逼近;
一个好例子:如何用NN来表示XOR函数?
#---------------------------------------------------------------------------------#
参考文献:
《统计学习方法》,李航著;
《machine learning》, by Tom Mitchell;
couresra课程: standford machine learning, by Andrew Ng;
coursera机器学习笔记-神经网络,初识篇的更多相关文章
- coursera机器学习笔记-神经网络,学习篇
#对coursera上Andrew Ng老师开的机器学习课程的笔记和心得: #注:此笔记是我自己认为本节课里比较重要.难理解或容易忘记的内容并做了些补充,并非是课堂详细笔记和要点: #标记为<补 ...
- Coursera ML笔记 - 神经网络(Representation)
前言 机器学习栏目记录我在学习Machine Learning过程的一些心得笔记,涵盖线性回归.逻辑回归.Softmax回归.神经网络和SVM等等,主要学习资料来自Standford Andrew N ...
- coursera机器学习笔记-建议,系统设计
#对coursera上Andrew Ng老师开的机器学习课程的笔记和心得: #注:此笔记是我自己认为本节课里比较重要.难理解或容易忘记的内容并做了些补充,并非是课堂详细笔记和要点: #标记为<补 ...
- coursera机器学习笔记-多元线性回归,normal equation
#对coursera上Andrew Ng老师开的机器学习课程的笔记和心得: #注:此笔记是我自己认为本节课里比较重要.难理解或容易忘记的内容并做了些补充,并非是课堂详细笔记和要点: #标记为<补 ...
- coursera机器学习笔记-机器学习概论,梯度下降法
#对coursera上Andrew Ng老师开的机器学习课程的笔记和心得: #注:此笔记是我自己认为本节课里比较重要.难理解或容易忘记的内容并做了些补充,并非是课堂详细笔记和要点: #标记为<补 ...
- Coursera 机器学习笔记(四)
主要为第六周内容机器学习应用建议以及系统设计. 下一步做什么 当训练好一个模型,预测未知数据,发现结果不如人意,该如何提高呢? 1.获得更多的训练实例 2.尝试减少特征的数量 3.尝试获得更多的特征 ...
- Coursera 机器学习笔记(三)
主要为第四周.第五周课程内容:神经网络 神经网络模型引入 之前学习的线性回归还是逻辑回归都有个相同缺点就是:特征太多会导致计算量太大.如100个变量,来构建一个非线性模型.即使只采用两两特征组合,都会 ...
- Coursera 机器学习笔记(八)
主要为第十周内容:大规模机器学习.案例.总结 (一)随机梯度下降法 如果有一个大规模的训练集,普通的批量梯度下降法需要计算整个训练集的误差的平方和,如果学习方法需要迭代20次,这已经是非常大的计算代价 ...
- Coursera 机器学习笔记(七)
主要为第九周内容:异常检测.推荐系统 (一)异常检测(DENSITY ESTIMATION) 核密度估计(kernel density estimation)是在概率论中用来估计未知的密度函数,属于非 ...
随机推荐
- 【C语言学习趣事】_32_平胸的尴尬,嫁不出去的姑娘
为什么写这篇文章呢? 为什么要弄这么个题目呢? 首先解释为什么用这个题目.这一切都要从那天在QQ群中的讨论说起,那天在群中,一个哥们问了一个关于(void)0 的问题.然后大家说到了 (void)0和 ...
- 容器--HashMap
一.前言 看了下上一篇博客已经是半个月前,将近20天前了,很惭愧没有坚持下来,这期间主要是受奥运会和王宝强事件的影响,另外加上HashMap中关于rehash的实现比较不好理解,所以就一拖再拖.如果能 ...
- 【转】MyEclipse快捷键大全
常用快捷键 -------------------------------------MyEclipse 快捷键1(CTRL)------------------------------------- ...
- Webform(邮箱模式)
<asp:Repeater ID="Repeater1" runat="server"> <HeaderTemplate> <ta ...
- 控制器层(Controllers)
本章译者:@freewind 业务逻辑代码通常位于模型(model)层.客户端(比如浏览器)无法直接调用其中的代码,所以模型对象提供的功能,必须作为资源以URI方式暴露给外部. 客户端使用HTTP协议 ...
- Nodejs与ES6系列4:ES6中的类
ES6中的类 4.1.class基本语法 在之前的javascript语法中是不存在class这样的概念,如果要通过构造函数生成一个新对象代码 function Shape(width,height) ...
- 7个你可能不认识的CSS单位
众所周知CSS技术我们虽然很熟悉,在使用的过程却很容易被困住,这让我们在新问题出现的时候变得很不利.随着web继续不断地发展,对于新技术新解决方案的要求也会不断增长.因此,作为网页设计师和前端开发人员 ...
- 如何将List<string>转化为string
Convert List, string. A List can be converted to a string. This is possible with the ToArray method ...
- SharePoint 2010 匿名访问开启后不能访问Allitems.aspx或DisplayForm.aspx
Body: Full Credit goes to Pet Stilgoe: http://www.petestilgoe.com/2010/02/allowed-anonymous-access-o ...
- Day Tips:ForceDeleteSite
最近遇到一个奇怪的问题,如下图: 试了各种删除方式都不行. 谷歌了一下发现需要使用如下代码删除. SPWebApplication w = SPWebApplication.L ...