EM(Expectation Maximization )
概括
看李航老师的《统计学习方法》知道,EM是一个对于有隐含随机变量的概率模型的参数的估计方法,它是一种无监督的算法。
只是有些重要的点并没有给出, 比如没有三硬币例子中直接给出的 u(z), π ,p, q的公式,并没有推到过程, 让人使用起来有些迷惑。
通过浏览了一些网上一些优秀的文章,本文把三硬币问题和EM算法的细节重新阐述一下,以补充李航老师书中的内容,从而加深理解 。
三硬币问题
假设有3枚硬币,分别记作A,B,C。这些硬币正面出现的概率分别为 , 和 。进行如下投掷实验:先投掷硬币A,根据其结果选出硬币B或者硬币C,正面选硬币B,反面选硬币C;然后投掷选出的硬币,投掷硬币的结果,出现正面记作1,出现反面记作0;独立地重复n次实验 (这里n=10)。观测结果如下:
1,1,0,1,0,0,1,0,1,1
假设只能观测到投掷硬币的结果,不能观测投掷硬币的过程。问如何估计三硬币正面出现的概率, 即三硬币模型的参数。
EM 算法 的数学推导
没办法,想要深刻理解EM 算法的原理, 必须理解下面的数学: 静下心来, 是可以看懂的。
如《统计学习方法》所述, 三硬币问题的观测数据不是完全数据, 因为无法看到A的数据,A在本问题里的隐藏事件,按惯例记作 z, 观测数据(结果)记作 y.
观测数据为 y1,y2,...,y10, (取值:1或0, 代表最终看到的硬币(B或C)的正反面), 隐藏数据为z1,z2,...,z10(取值:1或0, 代表A硬币的正反面) .
如果用最大似然的方法估计y概率模型参数,似然函数 是 每个样本的联合概率, 即:
L (y:θ,π) = p(y1,y2,...,y10 :θ,π)
其中, z 和模型参数解释如下 :
对于每一y样本的概率p(yi) 是 A或B投掷结果为yi 关于z 的数学期望, 表示如下:
对于上面的三硬币式样结果, 展开式为:
按照惯例, 对L (y:θ,π)求对数, 将乘法转换成加法。
上式展开后,无法通过求最大值(也就是最大似然)从而获取θ和π的值:所谓最大似然估计就是当似然函数达到最大值时的参数。
可是,因为在上式中,θ和π并不不互相独立 (有乘法关系), 无法通过使偏导为0从而求得θ或π (比如将θ偏导函数置0后,θ依然依赖π)。
下面过程是利用Jensen不等式进行变形 。 引入R(Z;θ,π), 它是z 的一个概率分布, 模型参数等同于L (y:θ,π) ,R(Z;θ,π)> 0 。将它带入 l(y:θ,π) 如下:
EM 算法 的步骤
第一步:选择参数的初始值
选择参数的初始值
E 步 : 求Expectation
M 步: Maximization
第四步:反复迭代,直到收敛
三硬币模型中的 EM
参数和z值:
下面的步骤是推导出李航老师书中给出的公式。
E 步 :
M 步:
高斯混合模型中的EM
下图三个二元高斯分布组成的高斯混合模型的有lable观察值。我们可以用最大似然的方法求得三个高斯分布的各自的参数(υk,Σk),每一个分布根据(υk,Σk)都有一个椭圆型的范围, 因此就已对平面上的其他测试点进行分类。
但是对于下面这种这种没有label 的观测数据怎么求得三个高斯分布的各自的参数(υk,Σk) ? 答案是 EM 。
参数和z值 :
E 步 :
M 步 :
Jensen不等式:
如果f是凸函数,X是随机变量,那么:
当f为凹函数是:E[f(X)]>=f(E[X])
当f为凸函数是:E[f(X)]>=f(E[X])
特别地,如果f是严格凸(凹)函数,当且仅当X是常量时,上式取等号。
如果用图表示会很清晰:
下面证明为什么当 X常量时,二式相等。
E[f(X)] = ΣP(X)f(X) ; f(E[X]) = f(ΣP(X)X)
X常量, 则
E[f(X)] = ΣP(X)f(c) = f(c) ΣP(X) = f(c); f(E[X]) = f(ΣP(X)c) =f(cΣP(X)) = f(c)
故E[f(X)] =f(E[X])= f(c)
参考
《统计学习方法》 李航
https://ibug.doc.ic.ac.uk/media/uploads/documents/expectation_maximization-1.pdf
https://zhuanlan.zhihu.com/p/32049842
https://www.zhihu.com/question/27976634
EM(Expectation Maximization )的更多相关文章
- EM算法(Expectation Maximization)
1 极大似然估计 假设有如图1的X所示的抽取的n个学生某门课程的成绩,又知学生的成绩符合高斯分布f(x|μ,σ2),求学生的成绩最符合哪种高斯分布,即μ和σ2最优值是什么? 图1 学生成绩的分 ...
- EM算法(Expectation Maximization Algorithm)初探
1. 通过一个简单的例子直观上理解EM的核心思想 0x1: 问题背景 假设现在有两枚硬币Coin_a和Coin_b,随机抛掷后正面朝上/反面朝上的概率分别是 Coin_a:P1:-P1 Coin_b: ...
- [转]EM算法(Expectation Maximization Algorithm)详解
https://blog.csdn.net/zhihua_oba/article/details/73776553 EM算法(Expectation Maximization Algorithm)详解 ...
- EM算法(Expectation Maximization Algorithm)
EM算法(Expectation Maximization Algorithm) 1. 前言 这是本人写的第一篇博客(2013年4月5日发在cnblogs上,现在迁移过来),是学习李航老师的< ...
- EM(Expectation Maximization)算法
EM(Expectation Maximization)算法 参考资料: [1]. 从最大似然到EM算法浅解 [2]. 简单的EM算法例子 [3]. EM算法)The EM Algorithm(详尽 ...
- 简单理解EM算法Expectation Maximization
1.EM算法概念 EM 算法,全称 Expectation Maximization Algorithm.期望最大算法是一种迭代算法,用于含有隐变量(Hidden Variable)的概率参数模型的最 ...
- 最大期望算法 Expectation Maximization概念
在统计计算中,最大期望(EM,Expectation–Maximization)算法是在概率(probabilistic)模型中寻找参数最大似然估计的算法,其中概率模型依赖于无法观测的隐藏变量(Lat ...
- Expectation Maximization and GMM
Jensen不等式 Jensen不等式给出了积分的凸函数值必定大于凸函数(convex)的积分值的定理.在凸函数曲线上的任意两点间连接一条线段,那么线段会位于曲线之上,这就是将Jensen不等式应用到 ...
- 漫谈 Clustering (番外篇): Expectation Maximization
Expectation Maximization (EM) 是一种以迭代的方式来解决一类特殊最大似然 (Maximum Likelihood) 问题的方法,这类问题通常是无法直接求得最优解,但是如果引 ...
随机推荐
- js的事件冒泡,事件捕获
addEventListener() 方法可以指定 "useCapture" 参数来设置传递事件类型:false→冒泡 true→捕获 默认false. ...
- 【转】 为什么我们做分布式使用Redis
绝大部分写业务的程序员,在实际开发中使用 Redis 的时候,只会 Set Value 和 Get Value 两个操作,对 Redis 整体缺乏一个认知.这里对 Redis 常见问题做一个总结,解决 ...
- 金蝶K3 WISE BOM多级展开_物料齐套表
/****** Object: StoredProcedure [dbo].[pro_bobang_ICItemQiTao] Script Date: 07/29/2015 16:12:10 **** ...
- Java Spring Boot VS .NetCore (四)数据库操作 Spring Data JPA vs EFCore
Java Spring Boot VS .NetCore (一)来一个简单的 Hello World Java Spring Boot VS .NetCore (二)实现一个过滤器Filter Jav ...
- numpy的array合并-【老鱼学numpy】
概述 本节主要讲述如何把两个数组按照行或列进行合并. 按行进行上下合并 例如: import numpy as np a = np.array([1, 1, 1]) b = np.array([2, ...
- ionic2自定义radio样式
刚开始以为用的是字体图标,结果翻了代码一看竟然是通过纯css实现的,图标模式用的是ios,代码如下: .radio-ios .radio-checked { margin:; border-radiu ...
- Selenium切换窗口,警告框处理,调用JavaScript代码
多窗口切换 在页面操作过程中有时候点击某个链接会弹出新的窗口,这时就需要主机切换到新打开的窗口上进行操作. WebDriver提供了switch_to.window()方法,可以实现在不同的窗口之间切 ...
- Eclipse导入maven项目时,pom-xml文件报错处理方法
报错如下: Cannot read lifecycle mapping metadata for artifact org.apache.maven.plugins 解决方法: 出现该错误是因为jar ...
- 关于H5页面在iPhoneX适配
1. iPhoneX的介绍 屏幕尺寸 我们熟知的iPhone系列开发尺寸概要如下: △ iPhone各机型的开发尺寸 转化成我们熟知的像素尺寸: △ 每个机型的多维度尺寸 倍图其实就是像素尺寸和开 ...
- 关于Function Language(函数式语言是什么?包含哪些语言?为什么函数式语言流行?)
1.What? Function Language是一种非冯诺依曼式的程序设计语言.函数式语言的主要成分是原始函数.定义函数和函数型. 这种语言具有较强的组织数据结构的能力,可以把某一数据结构(如数组 ...