文章引用:http://blog.sina.com.cn/s/blog_62a9902f0101cjl3.html Latent Semantic Analysis (LSA)也被称为Latent Semantic Indexing(LSI),理解就是通过分析文档去发现这些文档中潜在的意思和概念. 如果每一个词仅表示一个概念.而且每一个概念只被一个词所描写叙述.LSA将很easy(从词到概念存在一个简单的映射关系) 不幸的是,这个问题并没有如此简单.由于存在不同的词表示同一个意思(同义词).一个

Latent Semantic Analysis (LSA) Tutorial 译:http://www.puffinwarellc.com/index.php/news-and-articles/articles/33.html WangBen 2011-09-16 beijing http://blog.csdn.net/yihucha166/article/details/6783212 潜语义分析LSA介绍 Latent Semantic Analysis (LSA), also kno

LSI(Latent semantic indexing, 潜语义索引)和LSA(Latent semantic analysis,潜语义分析)这两个名字其实是一回事.我们这里称为LSA. LSA源自问题:如何从搜索query中找到相关的文档?当我们试图通过比较词来找到相关的文本时,就很机械.存在一定的局限性.在搜索中,文档的相似性并不应该由两个文本包含的词直接决定,而是应该去比较隐藏在词之后的意义和概念.但传统向量空间模型使用精确的词匹配,即精确匹配用户输入的词与向量空间中存在的词.比如用户搜

原文链接:http://www.cnblogs.com/appler/archive/2012/02/02/2335886.html 原始英文链接:http://www.puffinwarellc.com/index.php/news-and-articles/articles/33.html 潜语义分析LSA介绍 Latent Semantic Analysis (LSA), also known as Latent Semantic Indexing (LSI) literally mean

一.pLSA模型 1.朴素贝叶斯的分析 (1)可以胜任许多文本分类问题.(2)无法解决语料中一词多义和多词一义的问题--它更像是词法分析,而非语义分析.(3)如果使用词向量作为文档的特征,一词多义和多词一义会造成计算文档间相似度的不准确性.(4)可以通过增加"主题"的方式,一定程度的解决上述问题:一个词可能被映射到多个主题中(一词多义),多个词可能被映射到某个主题的概率很高(多词一义) 2.pLSA模型 基于概率统计的pLSA模型(probabilistic latentsemanti

PLSA最大化下面函数: 简化后,最大化下面函数: . -------------------------------------------------------------------------- 我们用期望最大值化算法(EM),求上述式子的最大值, 初始化: , E步:计算 . (固定.,). M步:求下述最大化问题 . 用Lagrange乘子求最大化问题: , --------------------------------------------------------------

转载自:http://blog.csdn.net/memray/article/details/16810763   一.概述 JGibbLDA是一个java版本的LDA(Latent Dirichlet Allocation)实现,它使用Gibbs采样来进行快速参数估计和推断. LDA是一种由基于概率模型的聚类算法.该算法能够对训练数据(训练数据是这样一种记录的集合,它的每一条记录都是一组离散的项的集合)中的关键项集之于类簇的概率参数拟合模型,进而利用该参数模型实施聚类或分类等操作. 如果你的

每每以为攀得众山小,可.每每又切实来到起点,大牛们,缓缓脚步来俺笔记葩分享一下吧,please~ --------------------------- tmcn包目前托管在在R-forge 上开发和发布.下载方式以及Rforge相关链接: install.packages("tmcn", repos = "http://R-Forge.R-project.org") tmcn 包是一个进行中文文本挖掘的R包.包含了中文编码处理.文字操作. 文本挖掘模型和算法的一些

摘  要  在搜索引擎的检索结果页面中,用户经常会得到内容相似的重复页面,它们中大多是由于网站之间转载造成的.为提高检索效率和用户满意度,提出一种基于特征向量的大规模中文近似网页检测算法DDW(Detect near-Duplicate WebPages ).试验证明,比起其他网页去重算法(I-Match),DDW具有很好的抵抗噪声的能力及近似线性的时间和空间复杂度,在大规模实验中获得良好测试结果. 关键词  网页去重算法   特征向量   近似网页   支持向量机 第一部分介绍现有去重算法:第

转自:https://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-and-applications.html  (感谢,讲解的太好了) 在机器学习领域,有相当多的应用与奇异值都可以扯上关系,比如做feature reduction的PCA,做数据压缩(以图像压缩为代表)的算法,还有做搜索引擎语义层次检索的LSI(潜语义分析Latent Semantic Indexing) 一.奇异值与特征值基础知识: 特征值分解和奇异值分解在机器学习领域

主要参考维基百科Bag of Word 在DLP领域里,bow(bag of word)是一个稀疏的向量,向量的每个元素记录词的出现次数,相当于对每篇文章都关于词典做词的直方图统计.同样的道理用在computer vision领域,图像由一些基础的特征构成,每幅图像就是对这些特征的一个统计分布,在做图像分类时会假设相似图像他们的特征统计分布也符合一定的模型.于是从这句话里就可以把以bow模型的图像分类问题分解成以下几步: 1.1 特征检测: 1.2 特征描述:1.3  码本生成(bow向量) 2

Machine Learning读书会,面试&算法讲座,算法公开课,创业活动,算法班集锦 近期活动: 2014年9月3日,第8次西安面试&算法讲座视频 + PPT 的下载地址:http://blog.csdn.net/v_july_v/article/details/7237351#t40: 2014年10月18日,北京10月机器学习班开班,全部PPT 的下载地址见:http://blog.csdn.net/v_july_v/article/details/7237351#t63: 201

上一篇总结了潜在语义分析(Latent Semantic Analysis, LSA),LSA主要使用了线性代数中奇异值分解的方法,但是并没有严格的概率推导,由于文本文档的维度往往很高,如果在主题聚类中单纯的使用奇异值分解计算复杂度会很高,使用概率推导可以使用一些优化迭代算法来求解. Thomas Hofmann 于1998年根据似然原理定义了生成模型并由此提出了概率潜在语义分析模型(Probabilistic Latent Semantic Analysis),简称PLSA. PLSA属于概率

主题模型(Topic Models)是一套试图在大量文档中发现潜在主题结构的机器学习模型,主题模型通过分析文本中的词来发现文档中的主题.主题之间的联系方式和主题的发展.通过主题模型可以使我们组织和总结无法人工标注的海量电子文档.较早的主题模型有混合语言模型(Mixture of Unigram),潜在语义索引(Lantent Semantic Index,LSI),概率潜在语义索引(Probabilistic Latent Semantic Indexing,PLSI).主题模型中文档是由主题组

paip.语义分析--分词--常见的单音节字词 2_deDuli  单字词 774个 作者Attilax  艾龙,  EMAIL:1466519819@qq.com  来源:attilax的专栏 地址:http://blog.csdn.net/attilax 啊挨癌岸凹傲扒拔把掰百拜稗瓣邦绑蚌胞堡爆碑奔绷嘣蹦彼笔闭裨扁便遍镖憋别濒冰兵柄播帛泊不埠擦猜财舱藏操糙嘈槽草册测恻层曾蹭叉茶查拆搀禅蝉尝怅潮扯撤趁呈乘池尺冲仇处揣踹喘疮窗床创吹捶锤瓷雌此刺葱从凑粗促窜催脆存寸搓达逮蛋裆岛到得蹬等瞪堤敌嫡电刁

Paip.语义分析----情绪情感词汇表总结 以下词语是按感情色彩共分为十四类: 作者Attilax  艾龙,  EMAIL:1466519819@qq.com  来源:attilax的专栏 地址:http://blog.csdn.net/attilax 一.喜 高兴.欢喜.满意.如愿.幸福.如意.顺心.随心.称心.快乐.高兴.豁朗.喜欢.愉快.甜美.愉快.舒服.甜蜜.舒适.幸福.愉快.痛快.舒畅.高兴.尽兴.喜爱.喜欢.心醉.畅快.喜悦.心旷神怡.心情舒畅.快意.喜上眉梢.满心欢喜.欢欣鼓舞.

CSDN 论坛招聘区是不是有潜规则? 在招聘区发了两个招聘贴都被删掉了... 而且没有任何提示和原因,或者站内短信提示.... 虽然csdn现在很水...不过在那边之前待了几年还是有点感情的 想顺便内部推荐个职位...结果就帖子就直接没了......真是坑啊.... -----------------------在cnblog这边发一个招聘....看看会不会被删除...其实我觉得10有8,9也会被删除----------------------------------- 因为我最近可能要离职,想

今天遇到一个问题,有一个 Select 语句没有加 "Order By",返回的数据是不确定的. 这种问题碰到不止几次了.追根寻底, Select 语句如果不加 "Order By", MySQL会怎么排序呢? 在网上搜了一下,在MySQL论坛发现了这篇文章. http://forums.mysql.com/read.php?21,239471,239688#msg-239688 简单翻译一下 * 不能依赖 MySQL 的默认排序* 如果你想排序,总是加上 Orde

paip.语义分析--单字词形容词表180个  INSERT INTO t (word)  SELECT DISTINCT word FROM `word_main` where tsisin is not null and tsisin like '%adj%' and LENGTH(word)=3 order by    CONVERT(word USING gbk) ASC  limit 10000    mysq按照拼音排序 排除重复 select * from t_n where wo

paip.语义分析--单字动词表.txt 排除重复  select * from t where word in (SELECT word from t_a)  or   word in (SELECT word from t_n)  total  386      爱,按,扒,拔,掰,摆,拜,搬,拌,绊,绑,傍,抱,绷,蹦,逼,编,扁,变,憋,濒,播,擦,猜,采,踩,测,蹭,插,查,搽,拆,搀,缠,尝,唱,抄,吵,炒,扯,撤,闯,撑,乘,吃,抽,瞅,锄,揣,踹,穿,喘,吹,捶,刺,促,窜,催,