【Neural Network】林轩田机器学习技法
首先从单层神经网络开始介绍
最简单的单层神经网络可以看成是多个Perception的线性组合,这种简单的组合可以达到一些复杂的boundary。
比如,最简单的逻辑运算AND OR NOT都可以由多个perception构成的单层神经网络模拟。
但是,单层感知器神经网络能力再强也是有限的,有些逻辑也无法完成。比如,XOR异或运算。
这个时候,就很自然地引出了多层神经网络。
通过这个例子,可以看到多层的神经网络的表达能力要比单层的要强。
上面给出了看待神经网络的一种方式:
1)从原始输入开始一直到OUTPUT之前的那一层,可以看做是对输入x做各种transform
2)与OUTPUT紧挨着的那一层,可以看做是隐层输出做线性组合
并且,在这里规定了神经网络'regression'类型用sqaure error来衡量。
这里有个环节值得说道一下,我们来比较集中transform的方式:
1)如果是sign的:是表达力很强,但是由于是离散的,不好优化
2)如果是linear的:好优化,但整个网络也都相当于是个线性的了,失去了较强的学习能力
3)popular choice 是一种tanh(S)的转换器:
a. 这种转换器介于sign和linear之间,相当于是模拟化的sign
b. 同时这个转换函数的导数的性质又很好(与逻辑回归类似)
这样,神经网络的各个环节是啥已经搞清楚了。林接下来给出了神经网络各个部分的符号表示:
这里有个地方需要注意:每个隐层都有一个bias神经元,它与下一层的每个神经元都有权重连线(为了简便,bias设为常数1,对下一层每个神经元的偏置影响体现在权重连线上)
到此,可以给出神经网络的一个物理解释:前一层的输出作为厚一层的输入,每两个隐层之间的权重相当于两个隐层之间的匹配模式。
模型构造完成了,接下来就是如何学习模型的参数。
gradient boosting方法对于多层神经网络来说,有些太困难。
在这里,还是采用前人的梯度下降的思路来求解。问题的关键就是如何高效地计算出错误对于每个权重的导数。
这里先从最后一层的权重开始求解:这个求解利用了求导链式法则,讲每个神经元的输入分数s作为中间连接,就可以直观求解了。
林在这里将error与每个神经元的输入分数s的导数抽象出来,记为一个特殊符号delta。这样,就可以表示出来任意的error对于权重w的导数了。
每个神经元的输出x是很好求的(只要给定w,带入就可以求得了);因此,下面只需要关注,如何把error对于权重w的导数求解出来。
这里求解delta采用了递归的思路:
1)sl经过tanh的计算→xl
2)xl经过下一层的权重→sl+1
沿着这两个思路,就把sl与sl+1给联系起来了,因此也获得了delta的递推关系。
又因为最后一层的delta是可以直接算出来的,因此,delta的计算思路也出来了,可以backwards的思路算出来。
上面就是伟大的BP神经网络求解算法,的原型。。。
1)S:选点
2)forward:(initial w)求x
3)backward:利用反向递推关系,求解delta
4)GD:对每个隐层权重更新
若干轮之后,返回整个神经网络的‘权重+偏置’参数
1)3)可以同步去做,获得若干个x*delta,然后average的动作后作用于4)(一周前面试的时候还被面试官问到了这个问题,现在看来就是取个平均,就可以获得mini-batch的效果了)
下面再补充一些NN的其他问题:
1)神经网络由于太太复杂了,因此GD的方法难免落入local minimum
2)有关初始化选取W的问题,无外乎两种选择:
a. 如果W选的很大,wx就会很大,优化作用不明显(联想tanh的函数图像,如果wx的绝对值很大,wx下一轮即使有比较大的变化,神经元的输出也变化不大了)
b. 因此,通常的做法是w取相对小一些,随机一些的值,这样貌似能好一些
有关VC Dimension的问题:神经网络越复杂,VC就越大。
只要神经网络的层数一旦多起来,神经元一旦多起来,VC Dimension自然就起来了。因此,regularization自然不可避免。
最常规的做法是损失函数中加一个L2 regularizer惩罚项。
但:
1)L2惩罚项的作用效果是不让每个权重分量太大,但确实成比例变化的(Large的shrink large, small的shrink small),总的来说没啥改变
2)L1惩罚项倒是可以让某些项目为0了,但是not differentiable,所以不好求解
因此,林介绍了一种新的regularizer:weight-elimination regularizer:
1)无论是原来是大的还是小的w分量,都会有同等效果的shrink(大的减小了,小的可能减没了)
2)differentiable,求解比L1容易一些
在这一节课的问题中,给出了weight-elimination的求导结果:
通过这个结果分析,其实我TM啥也分析不出来。。。有功夫再看原始的论文吧:http://papers.nips.cc/paper/323-generalization-by-weight-elimination-with-application-to-forecasting.pdf
另外,还有一种stop early的方法防止过拟合:
这个方法的背后思想史:
1)有理论保证:迭代的次数愈多,dvc就越大
2)联合VC Dimension理论,early stopping有助于防治过拟合
【Neural Network】林轩田机器学习技法的更多相关文章
- 【Radial Basis Function Network】林轩田机器学习技法
这节课主要讲述了RBF这类的神经网络+Kmeans聚类算法,以及二者的结合使用. 首先回归的了Gaussian SVM这个模型: 其中的Gaussian kernel又叫做Radial Basis F ...
- 【Matrix Factorization】林轩田机器学习技法
在NNet这个系列中讲了Matrix Factorization感觉上怪怪的,但是听完第一小节课程就明白了. 林首先介绍了机器学习里面比较困难的一种问题:categorical features 这种 ...
- 【Deep Learning】林轩田机器学习技法
这节课的题目是Deep learning,个人以为说的跟Deep learning比较浅,跟autoencoder和PCA这块内容比较紧密. 林介绍了deep learning近年来受到了很大的关注: ...
- 【Random Forest】林轩田机器学习技法
总体来说,林对于random forest的讲解主要是算法概况上的:某种程度上说,更注重insights. 林分别列举了Bagging和Decision Tree的各自特点: Random Fores ...
- 【Decision Tree】林轩田机器学习技法
首先沿着上节课的AdaBoost-Stump的思路,介绍了Decision Tree的路数: AdaBoost和Decision Tree都是对弱分类器的组合: 1)AdaBoost是分类的时候,让所 ...
- 【Adaptive Boosting】林轩田机器学习技法
首先用一个形象的例子来说明AdaBoost的过程: 1. 每次产生一个弱的分类器,把本轮错的样本增加权重丢入下一轮 2. 下一轮对上一轮分错的样本再加重学习,获得另一个弱分类器 经过T轮之后,学得了T ...
- 【Linear Support Vector Machine】林轩田机器学习技法
首先从介绍了Large_margin Separating Hyperplane的概念. (在linear separable的前提下)找到largest-margin的分界面,即最胖的那条分界线.下 ...
- 【Support Vector Regression】林轩田机器学习技法
上节课讲了Kernel的技巧如何应用到Logistic Regression中.核心是L2 regularized的error形式的linear model是可以应用Kernel技巧的. 这一节,继续 ...
- 【Dual Support Vector Machine】林轩田机器学习技法
这节课内容介绍了SVM的核心. 首先,既然SVM都可以转化为二次规划问题了,为啥还有有Dual啥的呢?原因如下: 如果x进行non-linear transform后,二次规划算法需要面对的是d`+1 ...
随机推荐
- LA 2965 中途相遇法
题目链接:https://vjudge.net/problem/UVALive-2965 题意: 有很多字符串(24),选出一些字符串,要求这些字符串的字母都是偶数次: 分析: 暴力2^24也很大了, ...
- 使用taobao cnpm 源解决npm无法安装module问题
npm 安装nativescript时出现异常,一直停着不动.应该是源被墙了的问题可以使用淘宝仓库,执行下面的命令: alias cnpm="npm --registry=https://r ...
- sz 命令
sz命令 下载文件命令 sz 文件名
- 旧文备份:在CANopen网络中通过LSS服务设置节点地址和网络波特率
CANopen专有个子协议用来描述怎样去通过网络设置节点地址和波特率,就是CiA DSP-305,大伙都叫LSS协议,是Layer Setting Services的缩写,不太好翻译,可以叫底层设置服 ...
- jQuery与Aiax应用
Ajax(一部JavaScript和XML) 优势: ①不需要插件支持 ②优秀的用户体验:能在不刷新整个页面的前提下更新数据,这使得web应用程序能更为迅速地回应用户的操作. ③提高web程序的性能: ...
- Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-9enuqi/MySQL-python/
hu@hu-VirtualBox:/home/newdisk/telnet-scanner$ sudo pip install MySQL-python[sudo] hu 的密码: The direc ...
- C# grid控件用数据库分页后台怎么写?
C#grid控件使用数据库分页的写法如下: mySystem.GetDataa(gridName.PageIndex *gridName.PageSize + 1, (gridName.PageInd ...
- 【学时总结】◆学时·VII◆ 高维DP
◆学时·VII◆ 高维DP 自学之余,偶遇DP…… ◇ 算法概述 顾名思义——一种处理多方面状态的DP,这种DP特点是……每一维的大小都不算太大(不然用dp数组存储下来内存会炸),而且枚举时容易超时… ...
- mariadb源码编译安装及多实例
准备文件源文件/app/mariadb-10.2.12.tar.gz cd /app/ tar xf mariadb-10.2.12.tar.gz cd mariadb-10.2.12 mkdir ...
- Servlet学习笔记04——什么是重定向,servlet生命周期?
1.重定向 (1)什么是重定向? 服务器通知浏览器访问一个新的地址. 注: 服务器可以通过发送一个302状态码及一个 Location消息头(该消息头的值是一个地址,一般 称之为重定向地址)给浏览器, ...