【深度强化学习】Curriculum-guided Hindsight Experience Replay读后感
导读
看任何一个领域的文章,一定要看第一手资料。学习他们的思考方式,论述逻辑,得出一点自己的感悟。因此,通过阅读paper,来提升自己对于这个领域的感性和理性认识。如少年时,玩war3电子竞技一般。练习一个种族,找寻突破点。
文章原文:https://ai.tencent.com/ailab/zh/paper/detial?id=329
看到这篇文章的title是:Curriculum-guided Hindsight Experience Replay
。可能一下会犯晕,但是
要想到一点,万事万物是"简易"的,是一步步由简单到复杂的。"天下难事必作于易"。
Curriculum-guided
是某些前辈提出来了。paper中也有如下的引用:
curriculum learning [Bengio et al., 2009] and its applications [Khanet al., 2011, Basu and Christensen, 2013, Spitkovsky et al., 2009]
他是借鉴人类的思想方式。如果有一个精心设计的课程可以
显著提高强化学习的质量和效率。Hindsight Experience Replay
事后经验复盘(个人翻译,只为个人理解,不权威)。就像人类一样,从失败的经历中得到教训和经验,从而去修正自己
的行为。这个概念也是有前辈已经提出来的,引用HER [Andrychowicz et al., 2017]
作者,是把这两种思路,进行了融合。然后加入了一些参数因子goal-proximity
和diversity-based curiosity
,这个可以说是作者思考的核心要点。采取像人类一般的思考策略(human-like learning strategy),对一件事物,你前期对于它的兴趣越大,那么你接近目标的可能性概率也就越高。通过这些思考,作者提出了Curriculum-guided HER (CHER)
。
以上是个人分析,但我觉得事物的发展,是通过思考而来的。如果我们也可以站在"巨人的肩膀之上",把A和B的思路合为一体,再加一点点C因素。构成自己的D理论。我们也可能写出顶会的paper。
目录
继续分析,paper的目录结构:
- Abstract
- Introduction
- Related Work
- Methodology
- Experiments
- Conclusion
Acknowledgements
References
可以看到,一篇paper的目录结构还是很简单易懂的。介绍一些前人的工作和算法,他们有哪些事情是可以值得借鉴的;他们有哪些是不足的;我(这里不是指我,而是作者)可以做哪些工作取弥补他们。然后我提出来的算法,在某个领域的应用比前辈们有哪些优势。通过基准测试的数据证明我的有效性。最后,得出一定的结论。
全文可以看出,作者任何一句话都不是顺便说的,没有那么多主观论断,都是有客观的引用。循序渐进,最终提出自己的思路和想法。
因此,我(这里指我)可以学到的是什么?他的逻辑思维,思考逻辑和运用的一些方法。如果我要去写的话,也得找出这些前辈们的算法中的优势和不足在哪里。
正文
我不是翻译的,而是,喜欢个人分析。转为自己的思路。如果想看原文请点击最上方。
Abstract【摘要】
提出现象:在off-policy的深入强化学习框架之下,很难在稀疏奖励(sparse matrix)之下获得有效和成功的经验。
那怎么办呢?
前人提出来了HER ,能解决一部分。但是无法把所有的失败案例做有效的复盘和统一整理。
这篇paper,提出的解决思路:
1)利用好奇心多样性驱动,来自适应性的选择这些失败的经验进行复盘。
2)选择想人类一般的思考策略,在前期阶段强制投入过多的好奇心,这样后期阶段达到goal-proximity
的可能性就越大。
而这个算法作者取名为:CHER
,并在具有挑战性的机器人环境中证明它这种算法有一定的提升性。
什么是
off-policy
?on-policy:相当于,古时候的皇帝,想了解百姓生活,要眼见为实。所以微服私访,自己去调查民情。而off-policy:就是皇帝自己待在宫中,派百官去了解百姓的民情,然后通过百官的论述做决策。这里就有百官是否可靠的问题了,和RL算法中提到的agent
有异曲同工之妙。
Introduction【介绍】
- Deep reinforcement Learning(RL)是一个有效的框架,可以解决很多复杂的控制问题。在模拟(simulated)领域中,它可以驱动代理(这里可以比喻为皇帝的百官)去执行各种各样的有挑战性的任务。引用来自:[Mnih et al., 2015, Lillicrap et al., 2015, Duan et al., 2016].(其中括弧中的话,是我说的。主要是为了让人们理解)
- 为了训练可靠的代理(判断百官是否忠诚),就要设立奖惩制度(design a reward)。引用来自: [Ng et al., 1999].通过这些代理密集型的反馈(百官们积极反映社会问题),有效指导了算法的决策(皇帝做决策的时候,更符合民情)。因此,在特定环境下特定场景内效果还是不错滴。
------------------------先写到这里,九层之台始于垒土,慢慢来,后面更新----------------------------------
【深度强化学习】Curriculum-guided Hindsight Experience Replay读后感的更多相关文章
- (转) 深度强化学习综述:从AlphaGo背后的力量到学习资源分享(附论文)
本文转自:http://mp.weixin.qq.com/s/aAHbybdbs_GtY8OyU6h5WA 专题 | 深度强化学习综述:从AlphaGo背后的力量到学习资源分享(附论文) 原创 201 ...
- 一文读懂 深度强化学习算法 A3C (Actor-Critic Algorithm)
一文读懂 深度强化学习算法 A3C (Actor-Critic Algorithm) 2017-12-25 16:29:19 对于 A3C 算法感觉自己总是一知半解,现将其梳理一下,记录在此,也 ...
- 深度强化学习(Deep Reinforcement Learning)入门:RL base & DQN-DDPG-A3C introduction
转自https://zhuanlan.zhihu.com/p/25239682 过去的一段时间在深度强化学习领域投入了不少精力,工作中也在应用DRL解决业务问题.子曰:温故而知新,在进一步深入研究和应 ...
- 深度强化学习(DQN-Deep Q Network)之应用-Flappy Bird
深度强化学习(DQN-Deep Q Network)之应用-Flappy Bird 本文系作者原创,转载请注明出处:https://www.cnblogs.com/further-further-fu ...
- 深度强化学习中稀疏奖励问题Sparse Reward
Sparse Reward 推荐资料 <深度强化学习中稀疏奖励问题研究综述>1 李宏毅深度强化学习Sparse Reward4 强化学习算法在被引入深度神经网络后,对大量样本的需求更加 ...
- 【资料总结】| Deep Reinforcement Learning 深度强化学习
在机器学习中,我们经常会分类为有监督学习和无监督学习,但是尝尝会忽略一个重要的分支,强化学习.有监督学习和无监督学习非常好去区分,学习的目标,有无标签等都是区分标准.如果说监督学习的目标是预测,那么强 ...
- 深度学习课程笔记(十四)深度强化学习 --- Proximal Policy Optimization (PPO)
深度学习课程笔记(十四)深度强化学习 --- Proximal Policy Optimization (PPO) 2018-07-17 16:54:51 Reference: https://b ...
- 深度学习课程笔记(十三)深度强化学习 --- 策略梯度方法(Policy Gradient Methods)
深度学习课程笔记(十三)深度强化学习 --- 策略梯度方法(Policy Gradient Methods) 2018-07-17 16:50:12 Reference:https://www.you ...
- 深度强化学习——连续动作控制DDPG、NAF
一.存在的问题 DQN是一个面向离散控制的算法,即输出的动作是离散的.对应到Atari 游戏中,只需要几个离散的键盘或手柄按键进行控制. 然而在实际中,控制问题则是连续的,高维的,比如一个具有6个关节 ...
随机推荐
- AI:拿来主义——预训练网络(一)
我们已经训练过几个神经网络了,识别手写数字,房价预测或者是区分猫和狗,那随之而来就有一个问题,这些训练出的网络怎么用,每个问题我都需要重新去训练网络吗?因为程序员都不太喜欢做重复的事情,因此答案肯定是 ...
- 如何用Postman做接口自动化测试
目录 前言 什么是自动化测试 自动测试测试分类 为什么需要自动化测试 Postman自动化测试演示 1.新建集合 2.新建接口 3.填写自动化测试脚本 4.录入所有接口 5.执行自动化测试 前言 什么 ...
- Angular 从入坑到挖坑 - 表单控件概览
一.Overview angular 入坑记录的笔记第三篇,介绍 angular 中表单控件的相关概念,了解如何在 angular 中创建一个表单,以及如何针对表单控件进行数据校验. 对应官方文档地址 ...
- vue项目按需加载的3种方式
本文重要是路由打包优化: 原理:利用webpack对代码进行分割是懒加载的前提,懒加载就是异步调用组件,需要时候才下载. 1.vue异步组件技术 vue-router配置路由,使用vue的异步组件技术 ...
- .NET Core 获取主机运行资源的库
简介 CZGL.SystemInfo 是一个支持 Windows 和 Linux 的资源信息获取库,用于获取系统环境.机器资源信息.系统资源使用情况. Nuget 搜索 CZGL.SystemInfo ...
- Ubuntu几秒钟没有任何操作自动黑屏
在鼠标或键盘30秒内没有做任何操作以后,显示器自动黑屏. 重新点击鼠标或键盘,屏幕唤醒. 设置中心各种设置方式都已经尝试过.无效. $xset -q // 执行该命令 Keyboard Control ...
- JZOJ 5329. 【NOIP2017提高A组模拟8.22】时间机器
5329. [NOIP2017提高A组模拟8.22]时间机器 (File IO): input:machine.in output:machine.out Time Limits: 2000 ms M ...
- SSM动态切换数据源
有需求就要想办法解决,最近参与的项目其涉及的三个数据表分别在三台不同的服务器上,这就有点突兀了,第一次遇到这种情况,可这难不倒笔者,资料一查,代码一打,回头看看源码,万事大吉 1. 预备知识 这里默认 ...
- Python入门的三大问题和三大谎言
Python广告,铺天盖地,小白们雾里看花,Python无限美好.作为会20几种语言(BASIC Foxbase/pro VB VC C C++ c# js typescript HTML Ardui ...
- 大型Java进阶专题(三) 软件架构设计原则(下)
前言 今天开始我们专题的第二课了,本章节继续分享软件架构设计原则的下篇,将介绍:接口隔离原则.迪米特原则.里氏替换原则和合成复用原则.本章节参考资料书籍<Spring 5核心原理>中的 ...