关于ML的思考讲座-周zh-11.30日
1.深度神经网络
1.以往神经网络采用单或双隐层结构,虽然参照了生物上的神经元,但是从本质上来说还是数学,以函数嵌套形成。
2.通常使用的激活函数是连续可微(differentiable)的,sigmoid函数或者是右侧的,本质上是减少梯度的降低速度。
3.现在神经网络的层数在逐级增加,几千层的也比较常见。
4.机器学习普遍存在的问题就是过拟合,如果没有过拟合,那么就非常简单了。
2.为什么要使用深度的?
增加学习复杂度->增强学习能力:
①增加隐藏层数的节点,即增加模型宽度;
②增加隐藏层的层数,即增加模型深度。
事实上,增加模型层数比增加单元数更加有效。
同时,增加模型的复杂度也是增加过拟合的风险,增加训练的困难:
①对于过拟合,使用大数据训练
②对于训练,使用更好的设备
当在很多层里传播时,误差函数梯度会分散,很难去使用BP算法,因为BP算法是要求梯度的。
3.表示学习
以前的学习方法中,对于图片或者其他都有特征提取,特征是人为规定的,所以有特征工程,提取特征之后进行分类学习。
在深度学习中,特征提取是表示学习种自动进行的,就是输入图片直接出来结果,称为端到端的学习。
4.模型复杂度与数据
层到层的处理,特征转换,用到深度模型,深度模型又容易过拟合,难以训练,计算代价高。
所以针对上述三点:大数据,训练技巧,强有力的计算工具(GPU)。
那么对于上一点的大数据又eat big data,那么只能是足够的模型复杂度,对于线性模型来说,三千个数据和三千万个数据效果可能是一样的,所以就需要提高模型复杂度。
而复杂的模型就又回到了deep model上面。
5.对于深度模型重要的点
1.层到层的处理
2.特征转换
3.足够的模型复杂度
从应用角度来说,在视频图像语音之外的很多任务上,深度神经网络并非最佳选择,甚至表现不佳,比如在很多Kaggle上,随机森林后者XGBoost表表现更好。
最后周老师还提到,现在随机森林这个方面刚刚开始还是有许多问题可以研究的。
6.重新审视深度模型
1.目前的深度模型就是深度神经网络,深度学习也是指深度神经网络。
2.现在很多规律性质并非可微,通过可微构件建模最优。
3.机器学习中有很多不可微构建,无法通过BP训练。
所以目前寻找不需要梯度的算法来训练神经网络是需要的。
7.新探索
深度森林:
1.使用不可微的数模型,不通过BP训练。
2.超参数数目远少于DNN,易于训练
3.模型复杂度可以根据数目自定义确定,小数据也适用
4.在很多任务上性能接近或者超过DNN
8.关于深度森林
可微是模型的根本弱点;放弃BP。
新型深度学习模型,例如基于非可微构建的、非神经网络深度模型的探索,可望成为新兴研究方向
9.深度森林效果
关于这个支付套现的系统设计,发现深度森林比其他更好。
10.思考1
打破垄断。如果有DNN替代方案,那么垄断消失。
11.弱监督学习缺点
监督信息不完全:半监督学习、主动学习;
监督信息不具体:多示例学习、MIML
监督信息不精确:带噪学习、众包学习...
12.openAI
关于游戏模拟的,只给出部分关卡,对于未知的关卡进行比赛。
多样激励模型能自己主动去寻找,好奇心模型。
13.老师的观点
对于开放环境学习:阿尔法勾是因为环境不变,也就是围棋规则不变,如果改变那是赢不了的。
现在还出现了薪工作,信息标注岗位。
关于ML的思考讲座-周zh-11.30日的更多相关文章
- Android面试题《思考与解答》11月刊
又来更新啦,Android面试题<思考与解答>11月刊奉上. 说说View/ViewGroup的绘制流程 View的绘制流程是从ViewRoot的performTraversals开始的, ...
- 11月30日《奥威Power-BI智能分析报表制作方法》腾讯课堂开课啦
这么快一周就过去了,奥威公开课又要与大家见面咯,上节课老师教的三种报表集成方法你们都掌握了吗?大家都知道,学习的结果在于实际应用,想要熟练掌握新内容的要点就在于去应用它.正是基于这一要点,每一期的课程 ...
- 2016年11月30日 星期三 --出埃及记 Exodus 20:21
2016年11月30日 星期三 --出埃及记 Exodus 20:21 The people remained at a distance, while Moses approached the th ...
- 黑盒测试实践--Day6 11.30
黑盒测试实践--Day6 11.30 今天完成任务情况: 应用设计的场景用例,完成测试用例的编写 完成测试用例在自动化测试工具QTP上的测试 分析测试结果得到缺陷报告 小靳 软件测试 今天主要钻研了q ...
- 2021.11.30 eleveni的水省选题的记录
2021.11.30 eleveni的水省选题的记录 因为eleveni比较菜,eleveni决定先刷图论,再刷数据结构,同时每天都要刷dp.当然,对于擅长的图论,eleveni决定从蓝题开始刷.当然 ...
- 第十一周(11.24-12.01)----final评论II
1. Nice 项目:约跑软件 这款app非常实用.从性能上讲,这款软件基于Android开发.使用者只要注册就能实用,操作简便.在功能上,这款软件不仅为两个有意愿同时跑步的人牵线,为跑步的人提供跑 ...
- 第十一周(11.24-12.01)----WBS功能分解
功能 子功能 二级子功能 预计花费时间(小时) 游戏基础功能 显示首界面 绘制产产品主logo及不同难度下的布局 4 游戏 难度选择(初级.中级.高级) 4 退出整个程序 1 放弃 ...
- 第十一周(11.24-12.01)----ptim测试程序运行速度
我在dos下用ptime指令对分数运算(http://www.cnblogs.com/YangXiaomoo/p/6095583.html)的运行时间进行了测试.测试结果一般都在0.212-0.217 ...
- 第十周(11.18-11.24)----个人项目----学习java总结2
一.获取随机数 方法1 (数据类型)(最小值+Math.random()*(最大值-最小值+1)) ,注意这里的每一个括号最好都不要省略掉. 例: public static void main(S ...
随机推荐
- 常用帝国cms标签收录
帝国网站管理系统V6.6版-数据字典 : http://www.phome.net/doc/manual/extend/html/dbdoc/index.html 帝国模板网:http://www. ...
- NYOJ467 中缀式变后缀式 【栈】
中缀式变后缀式 时间限制:1000 ms | 内存限制:65535 KB 难度:3 描写叙述 人们的日常习惯是把算术表达式写成中缀式,但对于机器来说更"习惯于"后缀式.关于算术 ...
- Java集合----Map集合
Map Map 用于保存具有映射关系的数据,因此 Map 集合里保存着两组值,一组值用于保存 Map 里的 Key,另外一组用于保存 Map 里的 Value Map 中的 key 和 value 都 ...
- Java精选笔记_集合【Map(映射)接口】
Map(映射)接口 简介 该集合存储键值对,一对一对的往里存,并且键是唯一的.要保证map集合中键的唯一性. 从Map集合中访问元素时,只要指定了Key,就能找到对应的Value. 关键字是以后用于检 ...
- 【RF库Collections测试】Dictionary Should Not Contain Key
Name:Dictionary Should Not Contain KeySource:Collections <test library>Arguments:[ dictionary ...
- NUC972学习历程之NUWRITER使用说明以及烧录模式的说明
3.1 簡介Nu-Writer 工具能幫助使用者透過 USB ISP模式, 將Image檔案放入儲存體中, 例如:SPI Flash設備或 NAND Flash設備.3.2 驅動程式安裝Nu-Writ ...
- ceph 存储安装部署
环境准备 1.三台服务器 cephnode01 192.168.254.83 cephnode02 192.168.254.84 cephnode03 192.168.254.85 2.基本环境配置 ...
- 在fedora 18中将普通用户设置为sudo权限
将一般的用户加入sudo组is not in the sudoers file. This incident will be reported 解决方法 在一般用户下执行sudo命令提示xxx is ...
- LeetCode——Consecutive Numbers
Description: Write a SQL query to find all numbers that appear at least three times consecutively. + ...
- Elasticsearch 常用基本查询
安装启动很简单,参考官网步骤:https://www.elastic.co/downloads/elasticsearch 为了介绍Elasticsearch中的不同查询类型,我们将对带有下列字段的文 ...