【A Distributional Perspective on Reinforcement Learning】的更多相关文章

2. A Distributional Perspective on Reinforcement Learning

本文主要研究了分布式强化学习,利用价值分布(value distribution)的思想,求出回报\(Z\)的概率分布,从而取代期望值(即\(Q\)值). Q-Learning Q-Learning的目标是近似Q函数,即在策略\(\pi\)下回报\(Z_t\)的期望值: \[Q^{\pi}(s,a)=\mathbb{E}[Z_t|s,a] \] Q-Learning的核心是Bellman方程.它可以通过时序差分学习迭代更新Q函数 \[Q^{\pi}(s,a)=r+\gamma \max_{a'}…

A Distributional Perspective on Reinforcement Learning

郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! arXiv:1707.06887v1 [cs.LG] 21 Jul 2017 In International Conference on Machine Learning (2017). Abstract 在本文中,我们争论了价值分布的根本重要性:强化学习智能体获得的随机回报的分布.这与强化学习的通用方法形成对比,后者是对这种回报或价值的期望进行建模的方法.尽管已有大量研究价值分布的文献,但迄今为止,它一直被用于特定目的,例如实现风…

Statistics and Samples in Distributional Reinforcement Learning

郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! arXiv:1902.08102v1 [stat.ML] 21 Feb 2019 Abstract 我们通过递归估计回报分布的统计量,提供了一个统一的框架,用于设计和分析分布强化学习(DRL)算法.我们的主要见识在于,可以将DRL算法分解为一些统计量估计和一种方法的组合,该方法插补与该统计集一致的回报分布.有了这种新的理解,我们就能对现有DRL算法进行改进的分析,并基于对回报分布期望的估计来构造新的算法(EDRL).我们将EDRL与各…

3. Distributional Reinforcement Learning with Quantile Regression

C51算法理论上用Wasserstein度量衡量两个累积分布函数间的距离证明了价值分布的可行性,但在实际算法中用KL散度对离散支持的概率进行拟合,不能作用于累积分布函数,不能保证Bellman更新收敛:且C51算法使用价值分布的若干个固定离散支持,通过调整它们的概率来构建价值分布. 而分位数回归(quantile regression)的distributional RL对此进行了改进.首先,使用了C51的"转置",即固定若干个离散支持的均匀概率,调整离散支持的位置:引入分位数回归的思…

(转) Playing FPS games with deep reinforcement learning

Playing FPS games with deep reinforcement learning 博文转自:https://blog.acolyer.org/2016/11/23/playing-fps-games-with-deep-reinforcement-learning/ When I wrote up 'Asynchronous methods for deep learning' last month, I made a throwaway remark that after…

[转]Introduction to Learning to Trade with Reinforcement Learning

Introduction to Learning to Trade with Reinforcement Learning http://www.wildml.com/2018/02/introduction-to-learning-to-trade-with-reinforcement-learning/ Thanks a lot to @aerinykim, @suzatweet and @hardmaru for the useful feedback! The academic Deep…

Introduction to Learning to Trade with Reinforcement Learning

http://www.wildml.com/2015/12/implementing-a-cnn-for-text-classification-in-tensorflow/ The academic Deep Learning research community has largely stayed away from the financial markets. Maybe that’s because the finance industry has a bad reputation,…

Rainbow: Combining Improvements in Deep Reinforcement Learning

郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! arXiv:1710.02298v1 [cs.AI] 6 Oct 2017 (AAAI 2018) Abstract 深度强化学习社区对DQN算法进行了一些独立的改进.但是,尚不清楚这些扩展中的哪些是互补的,是否可以有效地组合.本文研究了DQN算法的六个扩展,并通过经验研究了它们的组合.我们的实验表明,该组合在数据效率和最终性能方面均提供了Atari 2600基准测试的最新性能.我们还提供了详细的消融研究结果,显示了每个组件对整体性能…

Machine Learning Algorithms Study Notes(5)—Reinforcement Learning

Reinforcement Learning 对于控制决策问题的解决思路:设计一个回报函数(reward function),如果learning agent(如上面的四足机器人.象棋AI程序)在决定一步后,获得了较好的结果,那么我们给agent一些回报(比如回报函数结果为正),得到较差的结果,那么回报函数为负.比如,四足机器人,如果他向前走了一步(接近目标),那么回报函数为正,后退为负.如果我们能够对每一步进行评价,得到相应的回报函数,那么就好办了,我们只需要找到一条回报值最大的路径(每步的回…

(zhuan) Deep Reinforcement Learning Papers

Deep Reinforcement Learning Papers A list of recent papers regarding deep reinforcement learning. The papers are organized based on manually-defined bookmarks. They are sorted by time to see the recent papers first. Any suggestions and pull requests…