Metropolis-Hastings算法
(学习这部分内容大约需要1.5小时)
摘要
马尔科夫链蒙特卡洛(Markov chain Monte Carlo, MCMC)是一种近似采样算法, 它通过定义稳态分布为 \(p\) 的马尔科夫链, 在目标分布 \(p\) 中进行采样. Metropolis-Hastings 是找到这样一条马尔科夫链的非常一般的方法: 选择一个提议分布(proposal distribution), 并通过随机接受或拒绝该提议来纠正偏差. 虽然其数学公式是非常一般化的, 但选择好的提议分布却是一门艺术.
预备知识
学习 Metropolis-Hastings 算法需要以下预备知识
- 马尔科夫链蒙特卡洛(Markov chain Monte Carlo, MCMC): M-H 算法是 MCMC 算法的一个特例.
- 多元高斯分布: 高斯分布是M-H提议分布的典型例子.
学习目标
- 知道细致平衡条件(detailed balance conditions)说的是啥
- 知道 Metropolis-Hastings 算法的定义
- 证明 M-H 算法满足细致平衡条件
- 如果不仔细选择提议分布, 请注意可能的故障模式: 缓慢的 mixing 和低接受概率.
核心资源
(阅读/观看以下其中一个)
免费
- Information Theory, Inference, and Learning Algorithms
简介: 一本机器学习和信息论研究生教材
位置: Section 29.4, "The Metropolis-Hastings method," pages 365-370
网站
作者: David MacKay - Coursera: Probabilistic Graphical Models (2013)
简介: 一门概率图模型在线课程
位置: Lecture "Metropolis Hastings algorithm"
网站
作者: Daphne Koller
备注:- 点击"Preview"观看视频
- Computational Cognition Cheat Sheets (2013)
简介: 认知科学家写的一组笔记
位置: Bayesian Inference: Metropolis-Hastings Sampling
网站
付费
Pattern Recognition and Machine Learning(PRML)
简介: 一本研究生机器学习教材, 聚焦于贝叶斯方法
位置: Section 11.2, pages 537-542
网站
作者: Christopher M. BishopMachine Learning: a Probabilistic Perspective(MLAPP)
简介: 一本非常全面的研究生机器学习教材
位置: Section 24.3-24.3.6, pages 848-855网站
作者: Kevin P. Murphy
增补资源
免费
Bayesian Reasoning and Machine Learning
简介: 一门研究生机器学习课程
位置: Section 27.4, "Markov chain Monte Carlo," pages 550-553作者: David Barber
付费
Probabilistic Graphical Models: Principles and Techniques
简介: 一本非常全面的概率AI研究生教材
位置: Section 12.3.4, pages 515-518网站
作者: Daphne Koller,Nir Friedman
相关知识
Gibbs 采样 是一种常用的特殊 M-H 算法
其他 M-H 算法包括:
- Hamiltonian Monte Carlo (HMC): 利用梯度信息从连续模型中采样
- split-merge 算子: 尝试拆分和合并簇.
- reversible jump MCMC: 试图在不同维度的空间之间移动
在某些条件下, 我们可以确定最佳的 M-H 接受率.
Metropolis-Hastings算法的更多相关文章
- Metropolis Hasting算法
Metropolis Hasting Algorithm: MH算法也是一种基于模拟的MCMC技术,一个非常重要的应用是从给定的概率分布中抽样.主要原理是构造了一个精妙的Markov链,使得该链的稳态 ...
- 蒙特卡洛马尔科夫链(MCMC)
蒙特卡洛马尔科夫链(MCMC) 标签: 机器学习重要性采样MCMC蒙特卡洛 2016-12-30 20:34 3299人阅读 评论(0) 收藏 举报 分类: 数据挖掘与机器学习(41) 版权声明: ...
- MCMC: The Metropolis Sampler
本文主要译自 MCMC: The Metropolis Sampler 正如之前的文章讨论的,我们可以用一个马尔可夫链来对目标分布 \(p(x)\) 进行采样,通常情况下对于很多分布 \(p(x)\) ...
- [转] - MC、MC、MCMC简述
贝叶斯集锦(3):从MC.MC到MCMC 2013-07-31 23:03:39 #####一份草稿 贝叶斯计算基础 一.从MC.MC到MCMC 斯坦福统计学教授Persi Diaconis是一位传奇 ...
- MC, MCMC, Gibbs采样 原理&实现(in R)
本文用讲一下指定分布的随机抽样方法:MC(Monte Carlo), MC(Markov Chain), MCMC(Markov Chain Monte Carlo)的基本原理,并用R语言实现了几个例 ...
- MC, MCMC, Gibbs採样 原理&实现(in R)
本文用讲一下指定分布的随机抽样方法:MC(Monte Carlo), MC(Markov Chain), MCMC(Markov Chain Monte Carlo)的基本原理,并用R语言实现了几个样 ...
- LDA背景资料
[https://zhuanlan.zhihu.com/p/30226687] LDA模型的前世今生 在文本挖掘中,有一项重要的工作就是分析和挖掘出文本中隐含的结构信息,而不依赖任何提前标注的信息.L ...
- MCMC: The Metropolis-Hastings Sampler
本文主要译自:MCMC:The Metropolis-Hastings Sampler 上一篇文章中,我们讨论了Metropolis 采样算法是如何利用马尔可夫链从一个复杂的,或未归一化的目标概率分布 ...
- MCMC采样理论的一点知识
看了好多相关的知识,大致了解了一下马尔可夫链-蒙特卡罗采样理论,有必要记来下来. 蒙特卡罗积分:(来自:http://blog.csdn.net/itplus/article/details/1916 ...
随机推荐
- Java编程的逻辑 (33) - Joda-Time
本系列文章经补充和完善,已修订整理成书<Java编程的逻辑>,由机械工业出版社华章分社出版,于2018年1月上市热销,读者好评如潮!各大网店和书店有售,欢迎购买,京东自营链接:http:/ ...
- linux进程cpu资源分配命令nice,renice,taskset
进程cpu资源分配就是指进程的优先权(priority).优先权高的进程有优先执行权利.配置进程优先权对多任务环境的linux很有用,可以改善系统性能.还可以把进程运行到指定的CPU上,这样一来,把不 ...
- C# 将MDI窗口嵌入普通窗口
模块化的开发,将模块合并到一起的时候,遇到了Mdi不能添加到其它窗口下的问题. 分两种情况: 将mdi窗口A设成普通窗口B的子控件,需要将A的TopLevel设置成false,但是Mdi窗口的TopL ...
- Bash Shell (十一)
[教程主题]:Bash Shell [课程录制]: 创E [主要内容] [1] Hello World! 几乎所有的讲解编程的书给读者的第一个例子都是 Hello World 程序,那么我们今天也就从 ...
- Hbuilder开发app实战-识岁03-文件上传
前言 做app不得不谈的问题就是文件上传.用hbuilder开发app让上传变的非常easy. Uploader Uploader模块管理网络上传任务,用于从本地上传各种文件到server,并支持跨域 ...
- 全国地区的省份、城市、区县 最新Sql脚本
IF (EXISTS(SELECT * FROM sys.objects WHERE object_id = OBJECT_ID(N'[dbo].[TB_Province]') AND type =' ...
- 线段树 + 区间更新 ----- HDU 4902 : Nice boat
Nice boat Time Limit: 30000/15000 MS (Java/Others) Memory Limit: 131072/131072 K (Java/Others)Tot ...
- jquery跨域访问解决方案
客户端“跨域访问”一直是一个头疼的问题,好在有jQuery帮忙,从jQuery-1.2以后跨域问题便迎刃而解.由于自己在项目中遇到跨域问题,借此机会对跨域问题来刨根问底,查阅了相关资料和自己的实践,算 ...
- Sword pcre库使用
#include <stdlib.h> #include <string.h> #include "regularhelper.h" #include &q ...
- 重点:QObject 的拷贝构造和赋值操作——私有
QObject 中没有提供一个拷贝构造函数和赋值操作符给外界使用,其实拷贝构造和赋值的操作都是已经声明了的,但是它们被使用了Q_DISABLE_COPY () 宏放在了private区域.因此所有继承 ...