1.深度神经网络

1.以往神经网络采用单或双隐层结构,虽然参照了生物上的神经元,但是从本质上来说还是数学,以函数嵌套形成。

2.通常使用的激活函数是连续可微(differentiable)的,sigmoid函数或者是右侧的,本质上是减少梯度的降低速度。

3.现在神经网络的层数在逐级增加,几千层的也比较常见。

4.机器学习普遍存在的问题就是过拟合,如果没有过拟合,那么就非常简单了。

2.为什么要使用深度的?

增加学习复杂度->增强学习能力:

①增加隐藏层数的节点,即增加模型宽度;

②增加隐藏层的层数,即增加模型深度。

事实上,增加模型层数比增加单元数更加有效。

同时,增加模型的复杂度也是增加过拟合的风险,增加训练的困难:

①对于过拟合,使用大数据训练

②对于训练,使用更好的设备

当在很多层里传播时,误差函数梯度会分散,很难去使用BP算法,因为BP算法是要求梯度的。

3.表示学习

以前的学习方法中,对于图片或者其他都有特征提取,特征是人为规定的,所以有特征工程,提取特征之后进行分类学习。

在深度学习中,特征提取是表示学习种自动进行的,就是输入图片直接出来结果,称为端到端的学习。

4.模型复杂度与数据

层到层的处理,特征转换,用到深度模型,深度模型又容易过拟合,难以训练,计算代价高。

所以针对上述三点:大数据,训练技巧,强有力的计算工具(GPU)。

那么对于上一点的大数据又eat big data,那么只能是足够的模型复杂度,对于线性模型来说,三千个数据和三千万个数据效果可能是一样的,所以就需要提高模型复杂度。

而复杂的模型就又回到了deep model上面。

5.对于深度模型重要的点

1.层到层的处理

2.特征转换

3.足够的模型复杂度

从应用角度来说,在视频图像语音之外的很多任务上,深度神经网络并非最佳选择,甚至表现不佳,比如在很多Kaggle上,随机森林后者XGBoost表表现更好。

最后周老师还提到,现在随机森林这个方面刚刚开始还是有许多问题可以研究的。

6.重新审视深度模型

1.目前的深度模型就是深度神经网络,深度学习也是指深度神经网络。

2.现在很多规律性质并非可微,通过可微构件建模最优。

3.机器学习中有很多不可微构建,无法通过BP训练。

所以目前寻找不需要梯度的算法来训练神经网络是需要的。

7.新探索

深度森林:

1.使用不可微的数模型,不通过BP训练。

2.超参数数目远少于DNN,易于训练

3.模型复杂度可以根据数目自定义确定,小数据也适用

4.在很多任务上性能接近或者超过DNN

8.关于深度森林

可微是模型的根本弱点;放弃BP。

新型深度学习模型,例如基于非可微构建的、非神经网络深度模型的探索,可望成为新兴研究方向

9.深度森林效果

关于这个支付套现的系统设计,发现深度森林比其他更好。

10.思考1

打破垄断。如果有DNN替代方案,那么垄断消失。

11.弱监督学习缺点

监督信息不完全:半监督学习、主动学习;

监督信息不具体:多示例学习、MIML

监督信息不精确:带噪学习、众包学习...

12.openAI

关于游戏模拟的,只给出部分关卡,对于未知的关卡进行比赛。

多样激励模型能自己主动去寻找,好奇心模型。

13.老师的观点

对于开放环境学习:阿尔法勾是因为环境不变,也就是围棋规则不变,如果改变那是赢不了的。

现在还出现了薪工作,信息标注岗位。

关于ML的思考讲座-周zh-11.30日的更多相关文章

  1. Android面试题《思考与解答》11月刊

    又来更新啦,Android面试题<思考与解答>11月刊奉上. 说说View/ViewGroup的绘制流程 View的绘制流程是从ViewRoot的performTraversals开始的, ...

  2. 11月30日《奥威Power-BI智能分析报表制作方法》腾讯课堂开课啦

    这么快一周就过去了,奥威公开课又要与大家见面咯,上节课老师教的三种报表集成方法你们都掌握了吗?大家都知道,学习的结果在于实际应用,想要熟练掌握新内容的要点就在于去应用它.正是基于这一要点,每一期的课程 ...

  3. 2016年11月30日 星期三 --出埃及记 Exodus 20:21

    2016年11月30日 星期三 --出埃及记 Exodus 20:21 The people remained at a distance, while Moses approached the th ...

  4. 黑盒测试实践--Day6 11.30

    黑盒测试实践--Day6 11.30 今天完成任务情况: 应用设计的场景用例,完成测试用例的编写 完成测试用例在自动化测试工具QTP上的测试 分析测试结果得到缺陷报告 小靳 软件测试 今天主要钻研了q ...

  5. 2021.11.30 eleveni的水省选题的记录

    2021.11.30 eleveni的水省选题的记录 因为eleveni比较菜,eleveni决定先刷图论,再刷数据结构,同时每天都要刷dp.当然,对于擅长的图论,eleveni决定从蓝题开始刷.当然 ...

  6. 第十一周(11.24-12.01)----final评论II

    1.  Nice 项目:约跑软件 这款app非常实用.从性能上讲,这款软件基于Android开发.使用者只要注册就能实用,操作简便.在功能上,这款软件不仅为两个有意愿同时跑步的人牵线,为跑步的人提供跑 ...

  7. 第十一周(11.24-12.01)----WBS功能分解

    功能 子功能 二级子功能 预计花费时间(小时) 游戏基础功能 显示首界面 绘制产产品主logo及不同难度下的布局 4   游戏 难度选择(初级.中级.高级) 4     退出整个程序 1     放弃 ...

  8. 第十一周(11.24-12.01)----ptim测试程序运行速度

    我在dos下用ptime指令对分数运算(http://www.cnblogs.com/YangXiaomoo/p/6095583.html)的运行时间进行了测试.测试结果一般都在0.212-0.217 ...

  9. 第十周(11.18-11.24)----个人项目----学习java总结2

    一.获取随机数 方法1  (数据类型)(最小值+Math.random()*(最大值-最小值+1)) ,注意这里的每一个括号最好都不要省略掉. 例: public static void main(S ...

随机推荐

  1. 常用帝国cms标签收录

    帝国网站管理系统V6.6版-数据字典 :  http://www.phome.net/doc/manual/extend/html/dbdoc/index.html 帝国模板网:http://www. ...

  2. NYOJ467 中缀式变后缀式 【栈】

    中缀式变后缀式 时间限制:1000 ms  |  内存限制:65535 KB 难度:3 描写叙述 人们的日常习惯是把算术表达式写成中缀式,但对于机器来说更"习惯于"后缀式.关于算术 ...

  3. Java集合----Map集合

    Map Map 用于保存具有映射关系的数据,因此 Map 集合里保存着两组值,一组值用于保存 Map 里的 Key,另外一组用于保存 Map 里的 Value Map 中的 key 和 value 都 ...

  4. Java精选笔记_集合【Map(映射)接口】

    Map(映射)接口 简介 该集合存储键值对,一对一对的往里存,并且键是唯一的.要保证map集合中键的唯一性. 从Map集合中访问元素时,只要指定了Key,就能找到对应的Value. 关键字是以后用于检 ...

  5. 【RF库Collections测试】Dictionary Should Not Contain Key

    Name:Dictionary Should Not Contain KeySource:Collections <test library>Arguments:[ dictionary ...

  6. NUC972学习历程之NUWRITER使用说明以及烧录模式的说明

    3.1 簡介Nu-Writer 工具能幫助使用者透過 USB ISP模式, 將Image檔案放入儲存體中, 例如:SPI Flash設備或 NAND Flash設備.3.2 驅動程式安裝Nu-Writ ...

  7. ceph 存储安装部署

    环境准备 1.三台服务器 cephnode01 192.168.254.83 cephnode02 192.168.254.84 cephnode03 192.168.254.85 2.基本环境配置 ...

  8. 在fedora 18中将普通用户设置为sudo权限

    将一般的用户加入sudo组is not in the sudoers file. This incident will be reported 解决方法 在一般用户下执行sudo命令提示xxx is ...

  9. LeetCode——Consecutive Numbers

    Description: Write a SQL query to find all numbers that appear at least three times consecutively. + ...

  10. Elasticsearch 常用基本查询

    安装启动很简单,参考官网步骤:https://www.elastic.co/downloads/elasticsearch 为了介绍Elasticsearch中的不同查询类型,我们将对带有下列字段的文 ...