简单易学的机器学习算法——EM算法
一、机器学习中的参数估计问题
在前面的博文中,如“简单易学的机器学习算法——Logistic回归”中,采用了极大似然函数对其模型中的参数进行估计,简单来讲即对于一系列样本,Logistic回归问题属于监督型学习问题,样本中含有训练的特征以及标签,在Logistic回归的参数求解中,通过构造样本属于类别和类别的概率:
这样便能得到Logistic回归的属于不同类别的概率函数:
此时,使用极大似然估计便能够估计出模型中的参数。但是,如果此时的标签是未知的,称为隐变量,如无监督的学习问题,典型的如K-Means聚类算法,此时不能直接通过极大似然估计估计出模型中的参数。
二、EM算法简介
在上述存在隐变量的问题中,不能直接通过极大似然估计求出模型中的参数,EM算法是一种解决存在隐含变量优化问题的有效方法。EM算法是期望极大(Expectation Maximization)算法的简称,EM算法是一种迭代型的算法,在每一次的迭代过程中,主要分为两步:即求期望(Expectation)步骤和最大化(Maximization)步骤。
三、EM算法推导的准备
1、凸函数
设是定义在实数域上的函数,如果对于任意的实数,都有
那么是凸函数。若不是单个实数,而是由实数组成的向量,此时,如果函数的Hesse矩阵是半正定的,即
那么是凸函数。特别地,如果或者,那么称为严格凸函数。
2、Jensen不等式
如果函数是凸函数,是随机变量,那么
特别地,如果函数是严格凸函数,那么当且仅当
即随机变量是常量。
(图片来自参考文章1)
注:若函数是凹函数,上述的符号相反。
3、数学期望
3.1随机变量的期望
设离散型随机变量的概率分布为:
其中,,如果绝对收敛,则称为的数学期望,记为,即:
若连续型随机变量的概率密度函数为,则数学期望为:
3.2随机变量函数的数学期望
设是随机变量的函数,即,若是离散型随机变量,概率分布为:
则:
若是连续型随机变量,概率密度函数为,则
四、EM算法的求解过程
- 初始化参数,开始迭代;
- E步:假设为第次迭代参数的估计值,则在第次迭代中,计算:
- M步:求使极大化的,确定第次的参数的估计值:
五、EM算法的收敛性保证
- E步:
- M步:
固定,将看成变量:
六、利用EM算法参数求解实例
假设有有一批数据分别是由两个正态分布:
产生,其中,和未知,。但是不知道具体的是第产生,即可以使用和表示。这是一个典型的涉及到隐藏变量的例子,隐藏变量为和。可以使用EM算法对参数进行估计。
- 首先是初始化和;
- E步:,即求数据是由第个分布产生的概率:
- M步:,即计算最大的期望值。然而我们要求的参数是均值,可以通过如下的方式估计:
Python代码
- #coding:UTF-8
- '''''
- Created on 2015年6月7日
- @author: zhaozhiyong
- '''
- from __future__ import division
- from numpy import *
- import math as mt
- #首先生成一些用于测试的样本
- #指定两个高斯分布的参数,这两个高斯分布的方差相同
- sigma = 6
- miu_1 = 40
- miu_2 = 20
- #随机均匀选择两个高斯分布,用于生成样本值
- N = 1000
- X = zeros((1, N))
- for i in xrange(N):
- if random.random() > 0.5:#使用的是numpy模块中的random
- X[0, i] = random.randn() * sigma + miu_1
- else:
- X[0, i] = random.randn() * sigma + miu_2
- #上述步骤已经生成样本
- #对生成的样本,使用EM算法计算其均值miu
- #取miu的初始值
- k = 2
- miu = random.random((1, k))
- #miu = mat([40.0, 20.0])
- Expectations = zeros((N, k))
- for step in xrange(1000):#设置迭代次数
- #步骤1,计算期望
- for i in xrange(N):
- #计算分母
- denominator = 0
- for j in xrange(k):
- denominator = denominator + mt.exp(-1 / (2 * sigma ** 2) * (X[0, i] - miu[0, j]) ** 2)
- #计算分子
- for j in xrange(k):
- numerator = mt.exp(-1 / (2 * sigma ** 2) * (X[0, i] - miu[0, j]) ** 2)
- Expectations[i, j] = numerator / denominator
- #步骤2,求期望的最大
- #oldMiu = miu
- oldMiu = zeros((1, k))
- for j in xrange(k):
- oldMiu[0, j] = miu[0, j]
- numerator = 0
- denominator = 0
- for i in xrange(N):
- numerator = numerator + Expectations[i, j] * X[0, i]
- denominator = denominator + Expectations[i, j]
- miu[0, j] = numerator / denominator
- #判断是否满足要求
- epsilon = 0.0001
- if sum(abs(miu - oldMiu)) < epsilon:
- break
- print step
- print miu
- print miu
最终结果
[[ 40.49487592 19.96497512]]
参考文章:
1、(EM算法)The EM Algorithm (http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.html)
2、数学期望(http://wenku.baidu.com/view/915a9c1ec5da50e2524d7f08.html?re=view)
简单易学的机器学习算法——EM算法的更多相关文章
- 简单易学的机器学习算法—SVD奇异值分解
简单易学的机器学习算法-SVD奇异值分解 一.SVD奇异值分解的定义 假设M是一个的矩阵,如果存在一个分解: 其中的酉矩阵,的半正定对角矩阵,的共轭转置矩阵,且为的酉矩阵.这样的分解称为M的奇 ...
- 简单易学的机器学习算法—基于密度的聚类算法DBSCAN
简单易学的机器学习算法-基于密度的聚类算法DBSCAN 一.基于密度的聚类算法的概述 我想了解下基于密度的聚类算法,熟悉下基于密度的聚类算法与基于距离的聚类算法,如K-Means算法之间的区别. ...
- 斯坦福大学机器学习,EM算法求解高斯混合模型
斯坦福大学机器学习,EM算法求解高斯混合模型.一种高斯混合模型算法的改进方法---将聚类算法与传统高斯混合模型结合起来的建模方法, 并同时提出的运用距离加权的矢量量化方法获取初始值,并采用衡量相似度的 ...
- 机器学习五 EM 算法
目录 引言 经典示例 EM算法 GMM 推导 参考文献: 引言 Expectation maximization (EM) 算法是一种非常神奇而强大的算法. EM算法于 1977年 由Dempster ...
- 关于机器学习-EM算法新解
我希望自己能通俗地把它理解或者说明白,但是,EM这个问题感觉真的不太好用通俗的语言去说明白,因为它很简单,又很复杂.简单在于它的思想,简单在于其仅包含了两个步骤就能完成强大的功能,复杂在于它的数学推理 ...
- 机器学习之EM算法(五)
摘要 EM算法全称为Expectation Maximization Algorithm,既最大期望算法.它是一种迭代的算法,用于含有隐变量的概率参数模型的最大似然估计和极大后验概率估计.EM算法经常 ...
- 【机器学习】EM算法详细推导和讲解
今天不太想学习,炒个冷饭,讲讲机器学习十大算法里有名的EM算法,文章里面有些个人理解,如有错漏,还请读者不吝赐教. 众所周知,极大似然估计是一种应用很广泛的参数估计方法.例如我手头有一些东北人的身高的 ...
- 详解十大经典机器学习算法——EM算法
本文始发于个人公众号:TechFlow,原创不易,求个关注 今天是机器学习专题的第14篇文章,我们来聊聊大名鼎鼎的EM算法. EM算法的英文全称是Expectation-maximization al ...
- 【机器学习】--EM算法从初识到应用
一.前述 Em算法是解决数学公式的一个算法,是一种无监督的学习. EM算法是一种解决存在隐含变量优化问题的有效方法.EM算法是期望极大(Expectation Maximization)算法的简称,E ...
随机推荐
- VSS的运用小内容(针对于vs2008版本)(小的问题都是,仅供参考--只针对于菜鸟级的)
自己开始接触vss 的时候有些小的习惯没有很好的养成,下面的有关VSS内容都是简单的迁入迁出的问题,(仅供参考) 1.文件的迁入迁出:(.txt..xlsx..doc) a:文件的覆盖问题: 对于文件 ...
- pcap的pcap_dump()保存的文件格式
(2009-09-01 20:36:49) 转载▼ 标签: 杂谈 分类: 专业 首先是tcpdump文件格式 当你在Windows或者Linux环境下用tcpdump命令抓取数据包时,你将得到如下格式 ...
- An NIO.2 primer--reference
Part 1: The asynchronous channel APIs The More New I/O APIs for the Java™ Platform (NIO.2) is one of ...
- yo bootstrap mui 使用对比
昨天晚上 又被问及职业发展方向,提及我的老本行css,切了几年的页面,近两年投入进css的时间屈指可数,被问及之前公司用的yo框架 对比业界内其他css 框架的优势. 1. yo模块化,碎片化 可自 ...
- win8 需要管理员权限才能删除此应用程序
在win8系统里面 安装了 dotfuscator,安装在c盘,结果发现运行是提示需要有管理员权限,想重新删除后安装也不行,删除的时候提示也需要管理员权限,网上查了一下资料,windows自xp开始, ...
- Linux 确定系统glibc版本
在shell中,可以直接运行glibc共享库文件获取glibc版本,CentOS下执行: /lib/libc.so. 输出为: GNU C Library stable release version ...
- spring 3.1.4 升 4.0.2
来自为知笔记(Wiz)
- Oralce9 的新方法: Merge into Using
一.语义 MERGE语句是Oracle9i新增的语法,用来合并UPDATE和INSERT语句.通过MERGE语句,根据一张表或子查询的连接条件对另外一张表进行查询,连接条件匹配上的进行UPDATE,无 ...
- dx环境搭建
我使用的是vs2012+DXSDK_Jun10 DXSDK_Jun10下载地址http://download.microsoft.com/download/A/E/7/AE743F1F-632B-48 ...
- 也谈Excel导出
吐槽 Excel导出在天朝的软件大环境下,差点成为软件开发必备.俺就遇到过,所有报表不提供导出功能,就能不验收的囧事.报表能查看能打印能形成图表已经完美,实在搞不懂导出excel有个毛用,但是公司依靠 ...