[IR] Concept Search and PLSA
【Topic Model】主题模型之概率潜在语义分析(Probabilistic Latent Semantic Analysis)
感觉LDA在实践中的优势其实不大,学好pLSA才是重点
阅读笔记
PLSI
2008年的时候,pLSA已经被新兴的LDA掩盖了。
LDA是pLSA的generalization:LDA的hyperparameter设为特定值的时候,就specialize成pLSA了。
从工程应用价值的角度看,这个数学方法的generalization,允许我们用一个训练好的模型解释任何一段文本中的语义。而pLSA只能理解训练文本中的语义。
LSA主要使用了线性代数中奇异值分解的方法,但是并没有严格的概率推导,由于文本文档的维度往往很高,如果在主题聚类中单纯的使用奇异值分解计算复杂度会很高,使用概率推导可以使用一些优化迭代算法来求解。
Thomas Hofmann 于1998年根据似然原理定义了生成模型并由此提出了概率潜在语义分析模型(Probabilistic Latent Semantic Analysis),简称PLSA。
PLSA属于概率图模型中的生成模型,相关的模型还有语言模型中的一元模型(Unigram Model)、混合一元模型(Mixture of Unigrams Model)等。
首先对文集进行设定。假设文集的词典中共有V个词,词典向量为,假设词是独立同分布的(一袋子词),即,
一篇文章可以表示为,其中表示第i个词在当前文档中出现的次数。(无须考虑顺序性)
-- 多项分布 --
一元模型中假设每篇文档的词都独立遵从于多项式分布,即假设词典中第i个词在文档中出现的次数遵从多项式分布,
即。打个比方来说假设我们有一个V面的骰子,骰子第i面向上的概率为,每掷一次骰子得到一个词,掷M次后便得到一篇由M个词组成的文档(文档的词之间是独立同分布的)。根据多项式分布可以知道文档的概率为:
(a)便是一元语言模型的概率图模型,
(b)中是PLSA的概率图模型。
PLSA模型中与一元模型中假设:词遵从多项式分布不同。
PLSA模型中引入了潜层变量作为主题变量,即假设当前文集由K个主题构成。
- 设为文集中的第m篇文档,
- 表示第t个主题,
- 为第i个词。
- 为所有文档的概率分布,
- 是文档的概率,
- 为文档对应的主题的分布,
- 为主题对应的词的分布。
PLSA模型的生成过程如下:
- 根据概率选择一篇文档
- 根据概率选择一个潜性主题,并且
- 根据概率生成一个词,并且
当然每个模型都对文集有一定的假设,PLSA做了如下的假设:
- 并元的每一对共现是独立的(单词 与 文档 共现)
- 当已知潜性变量的时候,变量和变量是条件独立的。
PLSA最初是根据 视面模型(Aspect Model)提出的,
- 假设1与一元模型中的“一袋子词”的假设相似,
- 假设2与PLSA定义的图模型的生成关系有关,PLSA的图模型类似于X->Z->Y这种模式,在贝叶斯网络中被称为间接因果影响(“Indirect Causal Effect”)。
举个例子来说:X表示你口袋里有没有2块钱,Z表示你能不能买一只笔,Y表示你能不能参加考试。
- 假如不知道你能不能买一支笔(Z),那么你口袋里有没有2块钱(X)将影响到你能不能参加考试(Y)。
- 假如你已经知道你是否可以买一只笔(Z),则你口袋里有没有2块钱(X)就影响不到你能不能参加考试了(Y)。即已知变量Z,变量X和Y是独立的。
PLSA最终是要求得每个并元对应主题的概率,即。下面我们来推导公式。PLSA使用极大似然估计(MLE)。
(以下高能)
首先求解隐变量z的对数似然函数:
由于PLSA模型的假设1,所以有:
其中表示第n篇文档中的第m个词出现的次数。
又由于在已知变量z的情况下d和w是独立的,可得:
From: http://blog.csdn.net/yangliuy/article/details/8330640
为何 have to EM, 如下表述的更好:
其中是term 出现在文档中的次数。
注意这是一个关于和的函数,一共有N*K + M*K个自变量(注意这里M表示term的总数,一般文献习惯用V表示),
如果直接对这些自变量求偏导数,我们会发现由于自变量包含在对数和中,这个方程的求解很困难。
因此对于这样的包含“隐含变量”或者“缺失数据”的概率模型参数估计问题,我们采用EM算法。
PLSA使用EM算法求解极大似然,EM算法是一种机器学习中非常常用的迭代近似算法。一般用来求解得到极大似然或极大后验的参数值。
E步指的是在当前参数的情况下隐变量的后验概率(Expectation),M步指的是求解得到极大似然或极大后验的参数值(Maximization)。
首先计算上面似然函数的期望值:
上式有两个限制条件:
根据拉格朗日乘数法进行极值推导,分别对两个约束设定两个参数,:
在上式中分别对变量和求偏导得到:
与之前的限制条件联立得到:
于是便得到了M步求最大化的等式。
PLSA的EM步骤便可以化简如下:
- E步:计算变量z的后验概率
- M步:计算,
PLSA的问题便是在变量中含有文档d这个变量,在模型上受限使其很难应用到其他文档上去。
之后David Blei提出的LDA(Latent Dirichlet Allocation)便是给文集设定了两个超参来省略掉文档这个固定变量。
其他资源:
代码:http://hpc.cs.tsinghua.edu.cn/research/cluster/plsa/index.html
Application
PLSA may be used in a discriminative setting, via Fisher kernels.
PLSA has applications in information retrieval and filtering, natural language processing, machine learning from text, and related areas.
It is reported that the aspect model used in the probabilistic latent semantic analysis has severe overfitting problems.
[IR] Concept Search and PLSA的更多相关文章
- [IR] Concept Search and LDA
重要的是通过实践更深入地了解贝叶斯思想,先浅浅地了解下LDA. From: http://blog.csdn.net/huagong_adu/article/details/7937616/ 传统方法 ...
- [Bayes] Concept Search and PLSA
[Topic Model]主题模型之概率潜在语义分析(Probabilistic Latent Semantic Analysis) 感觉LDA在实践中的优势其实不大,学好pLSA才是重点 阅读笔记 ...
- [IR] Concept Search and LSI
基于术语关系的贝叶斯网络信息检索模型扩展研究 LSI 阅读笔记 背景知识 提出一种改进的共现频率法,利用该方法挖掘了索引术语之间的相关关系,将这种相关关系引入信念网络模型,提出了一个具有两层术语节点的 ...
- [Bayes] Concept Search and LDA
重要的是通过实践更深入地了解贝叶斯思想,先浅浅地了解下LDA. 相关数学知识 LDA-math-MCMC 和 Gibbs Sampling LDA-math - 认识 Beta/Dirichlet 分 ...
- [Bayes] Concept Search and LSI
基于术语关系的贝叶斯网络信息检索模型扩展研究 LSI 阅读笔记 背景知识 提出一种改进的共现频率法,利用该方法挖掘了索引术语之间的相关关系,将这种相关关系引入信念网络模型,提出了一个具有两层术语节点的 ...
- 本人AI知识体系导航 - AI menu
Relevant Readable Links Name Interesting topic Comment Edwin Chen 非参贝叶斯 徐亦达老板 Dirichlet Process 学习 ...
- [Bayesian] “我是bayesian我怕谁”系列 - Naive Bayes+prior
先明确一些潜规则: 机器学习是个collection or set of models,一切实践性强的模型都会被归纳到这个领域,没有严格的定义,’有用‘可能就是唯一的共性. 机器学习大概分为三个领域: ...
- [BOOK] Applied Math and Machine Learning Basics
<Deep Learning> Ian Goodfellow Yoshua Bengio Aaron Courvill 关于此书Part One重难点的个人阅读笔记. 2.7 Eigend ...
- [Bayesian] “我是bayesian我怕谁”系列 - Naive Bayes with Prior
先明确一些潜规则: 机器学习是个collection or set of models,一切实践性强的模型都会被归纳到这个领域,没有严格的定义,’有用‘可能就是唯一的共性. 机器学习大概分为三个领域: ...
随机推荐
- pom.xml将jar包导入
2.5是Maven的版本
- javac编译出现需要标识符问题解决
因为没有写public static void mian(String[] args) 在类里面只有属性和方法,内部类.不能直接写System.out.println():
- git 先创建远程库后克隆到本地
前面学习了先有本地库,后有远程库的时候,如何关联远程库. 现在,假设我们从零开发,那么最好的方式是先创建远程库,然后,从远程库克隆. 首先,登陆GitHub,创建一个新的仓库,名字叫gitskills ...
- EasyUI使用技巧总结
combobox组件 一.禁用combobox里面的输入框 $("选择器").combo('textbox').attr("readonly", "r ...
- 【T05】套接字接口比XTI_TLI更好用
1.用于网络编程的API接口有两种: Berkeley套接字 XTL 2.套接字是加州大学伯克利分校为其Unix操作系统版本开发的,TLI是AT&T(贝尔实验室)为Unix系统V3.0开发的 ...
- 一个可以参考的JVM内存分配
下面是java命令有关JVM内存分配的参数 JAVA_MEM_OPTS="" BITS=`java -version >& | -bit` if [ -n " ...
- GDALSetProjection使用的一个注意事项
GDALSetProjection 简述 GDALSetProjection是用来给GDALDataset设定投影信息(坐标系统)的接口,实际上是GDALDataset::SetProjection这 ...
- zip压缩解压
zip在linux中使用相对不太频繁,但是在window中使用频繁! zip参数 -q //不显示指令的执行过程,静默执行-r //递归处理文件-T //检测zip文件是否可用-u //更新文件,根据 ...
- Swift搭建本地http服务器,实现外部视频即时播放
最近项目有个小需求,需要ios实现手机作为服务端,将内部视频文件,在外面能够直接访问 结合网上的例子,实现如下: 1.基于CocoaHTTPServer实现 2.可用pod集成,也可直接拖动文件集成 ...
- 带参数的sigmoid
$y=\frac{1}{1+e^{-(\alpha\times x+\beta)}}$ alpha越大,曲线越陡峭,beta控制平移 import numpy as np import pylab a ...