【深度强化学习】Curriculum-guided Hindsight Experience Replay读后感
导读
看任何一个领域的文章,一定要看第一手资料。学习他们的思考方式,论述逻辑,得出一点自己的感悟。因此,通过阅读paper,来提升自己对于这个领域的感性和理性认识。如少年时,玩war3电子竞技一般。练习一个种族,找寻突破点。
文章原文:https://ai.tencent.com/ailab/zh/paper/detial?id=329
看到这篇文章的title是:Curriculum-guided Hindsight Experience Replay
。可能一下会犯晕,但是
要想到一点,万事万物是"简易"的,是一步步由简单到复杂的。"天下难事必作于易"。
Curriculum-guided
是某些前辈提出来了。paper中也有如下的引用:
curriculum learning [Bengio et al., 2009] and its applications [Khanet al., 2011, Basu and Christensen, 2013, Spitkovsky et al., 2009]
他是借鉴人类的思想方式。如果有一个精心设计的课程可以
显著提高强化学习的质量和效率。Hindsight Experience Replay
事后经验复盘(个人翻译,只为个人理解,不权威)。就像人类一样,从失败的经历中得到教训和经验,从而去修正自己
的行为。这个概念也是有前辈已经提出来的,引用HER [Andrychowicz et al., 2017]
作者,是把这两种思路,进行了融合。然后加入了一些参数因子goal-proximity
和diversity-based curiosity
,这个可以说是作者思考的核心要点。采取像人类一般的思考策略(human-like learning strategy),对一件事物,你前期对于它的兴趣越大,那么你接近目标的可能性概率也就越高。通过这些思考,作者提出了Curriculum-guided HER (CHER)
。
以上是个人分析,但我觉得事物的发展,是通过思考而来的。如果我们也可以站在"巨人的肩膀之上",把A和B的思路合为一体,再加一点点C因素。构成自己的D理论。我们也可能写出顶会的paper。
目录
继续分析,paper的目录结构:
- Abstract
- Introduction
- Related Work
- Methodology
- Experiments
- Conclusion
Acknowledgements
References
可以看到,一篇paper的目录结构还是很简单易懂的。介绍一些前人的工作和算法,他们有哪些事情是可以值得借鉴的;他们有哪些是不足的;我(这里不是指我,而是作者)可以做哪些工作取弥补他们。然后我提出来的算法,在某个领域的应用比前辈们有哪些优势。通过基准测试的数据证明我的有效性。最后,得出一定的结论。
全文可以看出,作者任何一句话都不是顺便说的,没有那么多主观论断,都是有客观的引用。循序渐进,最终提出自己的思路和想法。
因此,我(这里指我)可以学到的是什么?他的逻辑思维,思考逻辑和运用的一些方法。如果我要去写的话,也得找出这些前辈们的算法中的优势和不足在哪里。
正文
我不是翻译的,而是,喜欢个人分析。转为自己的思路。如果想看原文请点击最上方。
Abstract【摘要】
提出现象:在off-policy的深入强化学习框架之下,很难在稀疏奖励(sparse matrix)之下获得有效和成功的经验。
那怎么办呢?
前人提出来了HER ,能解决一部分。但是无法把所有的失败案例做有效的复盘和统一整理。
这篇paper,提出的解决思路:
1)利用好奇心多样性驱动,来自适应性的选择这些失败的经验进行复盘。
2)选择想人类一般的思考策略,在前期阶段强制投入过多的好奇心,这样后期阶段达到goal-proximity
的可能性就越大。
而这个算法作者取名为:CHER
,并在具有挑战性的机器人环境中证明它这种算法有一定的提升性。
什么是
off-policy
?on-policy:相当于,古时候的皇帝,想了解百姓生活,要眼见为实。所以微服私访,自己去调查民情。而off-policy:就是皇帝自己待在宫中,派百官去了解百姓的民情,然后通过百官的论述做决策。这里就有百官是否可靠的问题了,和RL算法中提到的agent
有异曲同工之妙。
Introduction【介绍】
- Deep reinforcement Learning(RL)是一个有效的框架,可以解决很多复杂的控制问题。在模拟(simulated)领域中,它可以驱动代理(这里可以比喻为皇帝的百官)去执行各种各样的有挑战性的任务。引用来自:[Mnih et al., 2015, Lillicrap et al., 2015, Duan et al., 2016].(其中括弧中的话,是我说的。主要是为了让人们理解)
- 为了训练可靠的代理(判断百官是否忠诚),就要设立奖惩制度(design a reward)。引用来自: [Ng et al., 1999].通过这些代理密集型的反馈(百官们积极反映社会问题),有效指导了算法的决策(皇帝做决策的时候,更符合民情)。因此,在特定环境下特定场景内效果还是不错滴。
------------------------先写到这里,九层之台始于垒土,慢慢来,后面更新----------------------------------
【深度强化学习】Curriculum-guided Hindsight Experience Replay读后感的更多相关文章
- (转) 深度强化学习综述:从AlphaGo背后的力量到学习资源分享(附论文)
本文转自:http://mp.weixin.qq.com/s/aAHbybdbs_GtY8OyU6h5WA 专题 | 深度强化学习综述:从AlphaGo背后的力量到学习资源分享(附论文) 原创 201 ...
- 一文读懂 深度强化学习算法 A3C (Actor-Critic Algorithm)
一文读懂 深度强化学习算法 A3C (Actor-Critic Algorithm) 2017-12-25 16:29:19 对于 A3C 算法感觉自己总是一知半解,现将其梳理一下,记录在此,也 ...
- 深度强化学习(Deep Reinforcement Learning)入门:RL base & DQN-DDPG-A3C introduction
转自https://zhuanlan.zhihu.com/p/25239682 过去的一段时间在深度强化学习领域投入了不少精力,工作中也在应用DRL解决业务问题.子曰:温故而知新,在进一步深入研究和应 ...
- 深度强化学习(DQN-Deep Q Network)之应用-Flappy Bird
深度强化学习(DQN-Deep Q Network)之应用-Flappy Bird 本文系作者原创,转载请注明出处:https://www.cnblogs.com/further-further-fu ...
- 深度强化学习中稀疏奖励问题Sparse Reward
Sparse Reward 推荐资料 <深度强化学习中稀疏奖励问题研究综述>1 李宏毅深度强化学习Sparse Reward4 强化学习算法在被引入深度神经网络后,对大量样本的需求更加 ...
- 【资料总结】| Deep Reinforcement Learning 深度强化学习
在机器学习中,我们经常会分类为有监督学习和无监督学习,但是尝尝会忽略一个重要的分支,强化学习.有监督学习和无监督学习非常好去区分,学习的目标,有无标签等都是区分标准.如果说监督学习的目标是预测,那么强 ...
- 深度学习课程笔记(十四)深度强化学习 --- Proximal Policy Optimization (PPO)
深度学习课程笔记(十四)深度强化学习 --- Proximal Policy Optimization (PPO) 2018-07-17 16:54:51 Reference: https://b ...
- 深度学习课程笔记(十三)深度强化学习 --- 策略梯度方法(Policy Gradient Methods)
深度学习课程笔记(十三)深度强化学习 --- 策略梯度方法(Policy Gradient Methods) 2018-07-17 16:50:12 Reference:https://www.you ...
- 深度强化学习——连续动作控制DDPG、NAF
一.存在的问题 DQN是一个面向离散控制的算法,即输出的动作是离散的.对应到Atari 游戏中,只需要几个离散的键盘或手柄按键进行控制. 然而在实际中,控制问题则是连续的,高维的,比如一个具有6个关节 ...
随机推荐
- IIS+PHP+Mysql 返回500,服务器内部资源问题
这个错误困扰了我好久.... 尝试了好多方法都不管用,最后突然发现我的代码是: <?php $link=mysql_connect("localhost","xxx ...
- 美团CodeM 资格赛第一题
美团外卖的品牌代言人袋鼠先生最近正在进行音乐研究.他有两段音频,每段音频是一个表示音高的序列.现在袋鼠先生想要在第二段音频中找出与第一段音频最相近的部分. 具体地说,就是在第二段音频中找到一个长度和第 ...
- 爬虫(一)爬取鱼c淘贴信息
掏出了以前的小练习: 现在开始,每天复习下以前的爬虫练习,争取发现新的问题和可以优化的地方. # -*- coding:utf-8 -*- import requests import chardet ...
- nginx设置目录浏览及中文乱码问题解决
在Nginx下默认是不允许列出整个目录的.如需此功能, 先打开nginx.conf文件,在location server 或 http段中加入 autoindex on;另外两个参数最好也加上去: a ...
- go语言指南之斐波纳契闭包
练习:斐波纳契闭包 让我们用函数做些好玩的事情. 实现一个 fibonacci 函数,它返回一个函数(闭包),该闭包返回一个斐波纳契数列 `(0, 1, 1, 2, 3, 5, ...)`. 这是一个 ...
- NSURLSession的前世今生
系统网络框架架构图 前世-NSURLConnection NSURLConnection是苹果提供的原生网络访问类,已经有10多年的历史了,它从 iOS 2.0 开始,一直到iOS9被废弃.异步方法在 ...
- PHP实现 3des加密解密
<?php /** * 3des加密 */ class Encrypt{ public function pkcs5_pad($text, $blocksize) { $pad = $block ...
- 位运算基础(Uva 1590,Uva 509题解)
逻辑运算 规则 符号 与 只有1 and 1 = 1,其他均为0 & 或 只有0 or 0 = 0,其他均为1 | 非 也就是取反 ~ 异或 相异为1相同为0 ^ 同或 相同为1相异为0,c中 ...
- layer打开弹窗时传递参数(content:)
在使用layer打开弹窗时,我希望带一些参数过去,进行某些判断.直接就可以用链接+参数的方式即可. js var userGrade=Mrant layer.open({ title: '权限管理', ...
- 【30分钟学完】canvas动画|游戏基础(4):边界与碰撞
前言 本系列前几篇中常出现物体跑到画布外的情况,本篇就是为了解决这个问题. 阅读本篇前请先打好前面的基础. 本人能力有限,欢迎牛人共同讨论,批评指正. 越界检测 假定物体是个圆形,如图其圆心坐标即是物 ...