上一篇博文中,我们使用结巴分词对文档进行分词处理,但分词所得结果并不是每个词语都是有意义的(即该词对文档的内容贡献少),那么如何来判断词语对文档的重要度呢,这里介绍一种方法:TF-IDF. 一,TF-IDF介绍 TF-IDF(Term Frequency–Inverse Document Frequency)是一种用于资讯检索与文本挖掘的常用加权技术.TF-IDF是一种统计方法,用以评估一个字词对于一个文件集或一个语料库中的其中一份文件的重要程度.字词的重要性随着它在文件中出现的次数成正比增加,

作为非关系型数据库中的佼佼者,MongoDB一大优势在于能够在一条文档中存储对象类型的数据,适当增加冗余来让数据库更好用.文档中一个对象类型的字段在MongoDB中被称为内嵌文档(Embedded) 查询内嵌文档 如果要通过内嵌文档来对文档进行查询, 此时属性名必须使用引号 示例: 在test库中,存在一个col集合,集合中数据如下 要求: 查询hobby中, movies包含 超脱 的文档, 查询代码如下: db.col.find({"hobby.movies":"超脱&q

最近由于工作需要,需要将70个word文件的页眉页脚全部进行修改,在想到这个无聊/重复/没有任何技术含量的工作时,我的内心是相当奔溃的.就在我接近奔溃的时候我突然想到完全可以用python脚本来实现这样无聊的工作,确定目标后我便开始在网上寻找有没有造好的轮子,但是结果让我有点儿失望.关于python操作页眉页脚的文章屈指可数,仅存在的几篇也都是片段代码,仅仅可以参考而已,于是我便决定自己是实现批量替换页眉页脚的脚本. 经过搜集资料发现,python可以通过win32com以及docx扩展包来实现

最近生成训练数据时,给一批无效的背景图片生成对应的xml文档,我用python写了一个简单的批量生成xml文档的demo,遇见了意外的小问题,记录一下. 报错问题为:ImportError: No module named 'xml.dom'; 'xml' is not a package 看见No module named “xxx”时想的是不就是没安装xml包嘛,还不简单,install一下不就好了,然而并没什么用,xml是python本生就带的.其实出现这种错误的原因是自己的命名规则问题,

写好了代码,交付给他人使用的时候,查看代码固然可以了解各类和函数的功能细节,但接口文档能更方便的查找和说明功能.所以,一价与代码同步的接口文档是很有必要的.sphinx可以根据python中的注释,自动的生成接口文档,这样有利于保证文档和代码功能的同步.让我们来了解如何自动生成文档. 1. python代码格式. class A: ''' 你好! ''' @staticmethod def Aa(): ''' 你也好! ''' fun1() 看到类和函数中,都加入了注释. 2. 安装shpinx

在阅读之前,你需要了解一些xml.dom的一些理论知识,在这里你可以对xml.dom有一定的了解,如果你阅读完之后. 下面是我做的demo 运行效果: 解析的XML文件位置:c:\\test\\hongten.xml <?xml version="1.0" encoding="UTF-8"?> <students> <student no="2009081097"> <name>Hongten<

两类文档存储在两个路径下,假设每类文档有25个文档 def spamTest(): docList = [] classList = [] fullText = [] for i in range(1,26):#循环读取所有的txt,并解析成列表 wordlist = textParse(open('路径.txt' % i).read()) docList.append(wordlist) fullText.extend(wordlist) classList.append(1)#文档类别 wo

HTMLParser是Python自带的模块,使用简单,能够很容易的实现HTML文件的分析. 本文主要简单讲一下HTMLParser的用法. 使用时需要定义一个从类HTMLParser继承的类,重定义函数:handle_starttag( tag, attrs)handle_startendtag( tag, attrs)handle_endtag( tag) 来实现自己需要的功能. tag是的html标签,attrs是 (属性,值)元组(tuple)的列表(list).HTMLParser自动

超简单Python将指定数据插入到docx模板渲染并生成 最近有一个需求,制作劳动合同表,要从excel表格中将每个人的数据导入到docx劳动合同中,重复量很大,因此可以使用python高效解决.为了让模板内容不变动,这里使用了类似jinja2的渲染引擎,使用{{ }}插值表达式把数据插入进去.也可以使用{% %}循环,条件语法等. docx模板如下(在需要插值的位置填充 {{}} 表达式): 首先安装docxtpl $ pip install docxtpl python代码如下: from

PUT chuyuan/_doc/ { "name":"xiaolin", , "sex":"F", "love":["music"], "about":"i love ES" } GET chuyuan/_doc/ GET chuyuan/_doc/?_source=age,love //过滤查询age和love的数据 2.修改字段数据:一是通过

1.pyExcelerator 主要通过俩个Object操作Excel: Workbook 和Worksheet2.pyExcelerator 读取Excel文件 parase_xls(filename,encoding=None),返回一个二元组如:[(u'Sheet1', {(3, 0): 14.0, (2, 0): 13.0, (1, 0): 12.0, (0, 0): u'\u8349\u6ce5\u9a6c'}), (u'Sheet2', {(1, 0): 222.0, (0, 0):

Open your publishprofile (*.pubxml) and include this code into "Project" element: <ItemGroup> <Content Include="bin\yourDocumentationFile.xml"> <CopyToOutputDirectory>true</CopyToOutputDirectory> </Content>

曾经通过sql语句直接删除过dede_addonarticle或者dede_archives或者dede_arctiny中的记录,这三个表是有关联的,如果要通过sql语句删除内容,一定要同时将这三个表中的同一条关联内容全部删除,否则就会造成这种情况.

原文出自:http://forfuture1978.iteye.com/blog/591804点击打开链接 在索引阶段设置Document Boost和Field Boost,存储在(.nrm)文件中. 如果希望某些文档和某些域比其他的域更重要,如果此文档和此域包含所要查询的词则应该得分较高,则可以在索引阶段设定文档的boost和域的boost值. 这些值是在索引阶段就写入索引文件的,存储在标准化因子(.nrm)文件中,一旦设定,除非删除此文档,否则无法改变. 如果不进行设定,则Document

摘引自:http://www.cnblogs.com/forfuture1978/archive/2010/02/08/1666137.html Lucene的搜索结果默认按相关度排序,这个相关度排序是基于内部的Score和DocID,Score又基于关键词的内部评分和做索引时的 boost.默认Score高的排前面,如果Score一样,再按索引顺序,先索引的排前面. Sort groupSort = new Sort(new SortField("排序字段name", SortFie

每每以为攀得众山小,可.每每又切实来到起点,大牛们,缓缓脚步来俺笔记葩分享一下吧,please~ --------------------------- 关于相似性以及文档特征.词特征有太多种说法.弄得好乱,而且没有一个清晰逻辑与归类,包括一些经典书籍里面也分得概念模糊,所以擅自分一分. ---------------------------------------------- 一.单词的表示方式 1.词向量 词向量是现行较为多的方式,另外一篇博客已经写了四种词向量的表达方式,两两之间也有递进

SearchRequest用于与搜索文档.聚合.定制查询有关的任何操作,还提供了在查询结果的基于上,对于匹配的关键词进行突出显示的方法. 1,首先创建搜索请求对象:SearchRequest searchRequest = new SearchRequest(); 2,对搜索请求进行基本参数设置1)设置查询指定的某个文档库: SearchRequest searchRequest = new SearchRequest("posts"); searchRequest.types(&qu

插入测试数据 db.inventory.insertMany([ { _id: 1, item: null }, { _id: 2 } ]) 后面的栗子都会用到这里的测试数据 查询匹配包含值为 null 的 item 字段或不包含 item 字段的文档 > db.inventory.find( { item: null } ) { "_id" : 1, "item" : null } { "_id" : 2 }  如果我想单独的把字段值有

目录 1 Query String Search(查询串检索) 2 Query DSL(ES特定语法检索) 3 Query Filter(过滤检索) 4 Full Text Search(全文检索) 5 Phrase Search(短语检索) 6 Highlight Search(高亮检索) 1 Query String Search(查询串检索) 这种方法通过HTTP请求的Query String携带查询参数, 因此得名. 适用于临时性的查询请求, 比如在终端检查基础信息: # 检索name中

摘  要  在搜索引擎的检索结果页面中,用户经常会得到内容相似的重复页面,它们中大多是由于网站之间转载造成的.为提高检索效率和用户满意度,提出一种基于特征向量的大规模中文近似网页检测算法DDW(Detect near-Duplicate WebPages ).试验证明,比起其他网页去重算法(I-Match),DDW具有很好的抵抗噪声的能力及近似线性的时间和空间复杂度,在大规模实验中获得良好测试结果. 关键词  网页去重算法   特征向量   近似网页   支持向量机 第一部分介绍现有去重算法:第