这段时间对LDA比較感兴趣,尝试在工作中使用它.平时做想法的高速验证,都用的是"GibbsLDA++-0.2",一个c实现版本号的LDA. 这两天用c++ stl自己写了一个单机版的LDA,初衷例如以下: 1. "GibbsLDA++-0.2"虽说号称是最popular的LDA工具包.只是依旧有明显的bug,參考"[LDA]修正 GibbsLDA++-0.2 中的两个内存问题". 2. "GibbsLDA++-0.2"基本上使…

目录 概况 为什么需要 LDA是什么 LDA的应用 gensim应用 数学原理 预备知识 抽取模型 样本生成 代码编写 本文将从三个方面介绍LDA主题模型--整体概况.数学推导.动手实现. 关于LDA的文章网上已经有很多了,大多都是从经典的<LDA 数学八卦>中引出来的,原创性不太多. 本文将用尽量少的公式,跳过不需要的证明,将最核心需要学习的部分与大家分享,展示出直观的理解和基本的数学思想,避免数学八卦中过于详细的推导.最后用python 进行实现. 概况 第一部分,包括以下四部分. 为什么…

#-*- coding:utf-8 -*- import logging import logging.config import ConfigParser import numpy as np import random import codecs import os from collections import OrderedDict #获取当前路径 path = os.getcwd() #导入日志配置文件 logging.config.fileConfig("logging.conf&q…

1     问题描述 LDA由Blei, David M..Ng, Andrew Y..Jordan于2003年提出,是一种主题模型,它可以将文档集中每篇文档的主题以概率分布的形式给出,从而通过分析一些文档抽取出它们的主题(分布)出来后,便可以根据主题(分布)进行主题聚类或文本分类.此外,一篇文档可以包含多个主题,文档中每一个词都由其中的一个主题生成. 人类是怎么生成文档的呢?LDA的这三位作者在原始论文中给了一个简单的例子.比如假设事先给定了这几个主题:Arts.Budgets.Childre…

承接这个PCA的练习,还有一个关于LDA的几何表示. 题目如下: 代码实现LDA如下:LDA.m clear clc % 生成training sample MU1 = [6 10]'; MU2 = [6 20]'; SIGMA1 = [2 4; 4 9]; SIGMA2 = [2 4; 4 9]; M1 = mvnrnd(MU1,SIGMA1,1000); M2 = mvnrnd(MU2,SIGMA2,1000); M = [M1;M2]; m0 = mean(M); m1 = mean(M1…

本文利用gensim进行LDA主题模型实验,第一部分是基于前文的wiki语料,第二部分是基于Sogou新闻语料. 1. 基于wiki语料的LDA实验 上一文得到了wiki纯文本已分词语料 wiki.zh.seg.utf.txt,去停止词后可进行LDA实验. import codecs from gensim.models import LdaModel from gensim.corpora import Dictionary train = [] stopwords = codecs.open…

多项分布 http://szjc.math168.com/book/ebookdetail.aspx?cateid=1&&sectionid=983 二项分布和多项分布 http://blog.csdn.net/shuimu12345678/article/details/30773929 0-1分布: 在一次试验中,要么为0要么为1的分布,叫0-1分布. 二项分布: 做n次伯努利实验,每次实验为1的概率为p,实验为0的概率为1-p;有k次为1,n-k次为0的概率,就是二项分布B(n,p,…

LSA latent semantic analysis 映射词-文档到一个低维隐语义空间 比较词和文档在低纬空间的相似性 topic 是 Vocab 上的概率分布(符合多项式分布) 文档到主题的一个分布,主题到词库的分布,通过训练得到这两个分布模型 plsa 模型 LDA模型 大规模LDA系统 spark LDA Google PLDA 微软LightLDA 腾讯LDA,PEACOCK…

LDA 中文名叫 隐含狄利克雷分布 有一个讲的数学八卦的pdf,如下: http://pan.baidu.com/s/1bnX6Pgb Latent Dirichlet Allocation(LDA)模型是近年来提出的一种具有文本主题表示能力的非监督学习模型. 关键在于:将文档看做是一组主题的混合,词有分配到每个主题的概率. Probabilistic latent semantic analysis(PLSA) LDA可以看成是服 从贝叶斯分布的PLSA 这篇文章入门比较好:http://bl…

1. 问题 之前我们讨论的PCA.ICA也好,对样本数据来言,可以是没有类别标签y的.回想我们做回归时,如果特征太多,那么会产生不相关特征引入.过度拟合等问题.我们可以使用PCA来降维,但PCA没有将类别标签考虑进去,属于无监督的. 比如回到上次提出的文档中含有“learn”和“study”的问题,使用PCA后,也许可以将这两个特征合并为一个,降了维度.但假设我们的类别标签y是判断这篇文章的topic是不是有关学习方面的.那么这两个特征对y几乎没什么影响,完全可以去除. 再举一个例子,假设我们对…