最近学习java字符串部分,用正则表达式做了一个简单的统计单词出现次数的小程序,目前只能统计英文. 整个程序包括三个包,分别为output,run,wordcount wordCount包 执行单词统计逻辑的工具包,使用HashMap存储某个字符串出现的次数. setPattern用来在类外部设置不同的正则表达式,从而使用不同的分词规则(策略模式的一个变种吧),默认使用[a-zA-Z]+ getMap返回存储统计结果的map,map用来给输出器(outputProcesser)将结果输出到控制台…

安装pip命令之后: sudo pip install -U pyyaml nltk import nltk nltk.download() 等待ing 目前访问不了,故使用Green VPN http://www.evergreenvpn.com/ubuntu-pptp-vpn-setting/ nltk使用 http://www.cnblogs.com/yuxc/archive/2011/08/29/2157415.html http://blog.csdn.net/huyoo/articl…

http://blog.csdn.net/whuslei/article/details/7398443 最近需要对英文进行分词处理,希望能够实现还原英文单词原型,比如 boys 变为 boy 等. 简介 发现一个不错的工具Porter stemmer,主页是http://tartarus.org/~martin/PorterStemmer/.它被实现为N多版本,C.Java.Perl等. 下面是它的简单介绍: Stemming, in the parlance of searching and…

Atitit.java expression fsm 表达式分词fsm引擎 C:\0workspace\AtiPlatf_cms\src\com\attilax\fsm\JavaExpFsm.java String code = "new(com.attilax.util.connReduceDync).set_resfile(uc_js.txt).joinNout() " .trim(); $code=new(com.attilax.user.AgentService).login(…

Python爬虫视频教程零基础小白到scrapy爬虫高手-轻松入门 https://item.taobao.com/item.htm?spm=a1z38n.10677092.0.0.482434a6EmUbbW&id=564564604865 http://outofmemory.cn/code-snippet/3588/Apache-Solr-chuji-course-introduction-install-bushu-Java-interface-zhongwen-fenci Apache…

NLPIR工具 支持自定义词表: 可以离线使用: 下载地址:http://ictclas.nlpir.org/newsdownloads?DocId=389 在线演示:http://ictclas.nlpir.org/nlpir/ 自然语言处理与信息检索共享平台:(nlpir相关的一些软件.文档.论文.语料库等资源)http://www.nlpir.org/ 上边这个地址写的信息比较详细丰富,但是万事开头难,很多同学不知道怎么具体应该调用?下边我就把几个步骤简单介绍一下: Step1.下载 我下…

描述: 一哥们离职找工作,最近聊了聊面试待遇要求一类的事情,有些感触. 在一个公司呆的时间长了,对市场上对开发的要求已经不那么敏感了,也不知道人家要求哪些技能.一个公司的业务是有限的,呆了2年,3年,4年之后,知识面可能就狭隘了: 4.5年的程序员市场上平均待遇是多少也不清楚,问问好朋友聊聊也只知道几家的标准,对于大多数人,工资是安身立命之本,不可不察. 想到自己本身就是最数据采集与分析的,就蹦出来个想法:采集点招聘信息样本,做下简单的统计,也许会有所收获.. 正好最近也不是很忙,经过一番折腾,…

在课堂上经过实验之后,重新在宿舍里面从0开始编写大概30分钟左右能够完成这个实验,不是原来的思路. 该实验的表述为:从两个文本input1.txt和input2.txt中读取英文单词,若前面的英文单词的尾字母和后面的英文单词的未字母相同的话,则构成一个英文词语接龙,直到文章结尾,求出整篇文章中词语接龙最长的词语接龙词组,并将其输出到output1.txt和output2.txt文件夹中. 实验代码: package ctn; import java.io.BufferedReader; impo…

import jieba fp1=r'D:/python/a.txt' outph=r'D:/python/out.txt' f=open(fp1,'r',encoding='utf-8') txt=f.read().strip() f.close() words=jieba.lcut(txt) f=open(outph,'w',encoding='utf-8') for word in words: f.write(word) f.write('\n') f.close() #第二题去标点,统…

手工分词稍嫌麻烦,不好维护,而利用正则表达式就利索多了.Java提供了java.util.regex.Matcher,java.util.regex.Pattern类来帮助我们实现此功能. 例一:以下程序将把"This is a farm that that raises dairy cattle."中的单词一个个找出来. package com.hy; import java.util.regex.Matcher; import java.util.regex.Pattern; pu…

英文金曲大赛 Time Limit: 1000 ms Memory Limit: 65536 KiB Problem Description 我们在"渊子数"的题目中已经了解了渊子是个什么样的人了,他在大一的时候参加过工商学院的"英语聚乐部".告诉你个秘密,这个俱乐部是个好地方,不但活动精彩而且有MM. 这不,英语俱乐部举办了一个叫做"英文金曲大赛"的节目.这个节目有好多人参加,这不,成绩出来了,渊子当是很勇敢,自告奋勇接下了算出大家的总得分的任…

本文参考于:https://blog.csdn.net/u014204432/article/details/40348839 一.题目 输出单个文件(<飘> 英文版)中的前 N 个最常出现的英语单词,并将结果输入到文本文件中. 二.程序设计思路 1.首先将英文小说飘文件内容用文件读写方式读入StringBuffer中,然后一行一行读取并去掉句子和单词 间空格然后将StringBuffer转换成String,然后再将所有字符转化成小写字符,然后再将句子分割成单词并 存入字符数组. 2.随后遍历…

—————————— ASP.Net+Android+IOS开发..Net培训.期待与您交流! —————————— 第一章:JDK(Java Development Kit) java开发工具包 JVM(Java Virtual Machine) java虚拟机 Javac 编译命令 java 解释命令 Javadoc 生成java文档命令 classpath 类路径 Version 版本 author 作者 public 公共的 class 类 static 静态的 void 没有返回值 S…

加载(loading):通过一个特定的名字,找到类或接口的二进制表示,并通过这个二进制表示创建一个类或接口的过程. 链接:是获取类或接口并把它结合到JVM的运行时状态中,以让类或接口可以被执行 初始化:初始化一个类或接口——就是执行这个类或接口的<clinit>方法 运行时常量池(在方法区中) 在类或接口C创建的过程中,根据类或接口C的二进制表示中的常量池来创建运行时常量池. 运行时常量池中有许多运行时常量,运行时常量 有的是符号引用,有的不是符号引用 运行时常量池中所有的引用最初都是符号引用…

response.setHeader("Content-Type", "text/json; charset=UTF-8"); request.setCharacterEncoding("UTF-8"); response.setCharacterEncoding("UTF-8"); servlet中,这几行一定要放在Servlet最前面,要不然可能失效.…

//为index创建mapping,index相当于mysql的数据库,数据库里的表也要给各个字段创建类型,所以index也要给字段事先设置好类型: 使用postMan或者其他工具创建:(此处我使用postMan,创建一个名为shop的index,type是order-- type相等于mysql的表) //这里的背景是一个订单表对应多个订单项表(商品信息),然后就将所有的订单和购买的商品信息存到ES,我这里的ES版本是6.4.2 //以下介绍的mapping字段分词器都是英文的,如果要使用中文…

java实现的英文词频算法,通常是采用单词树来实现的.使用java实现词频统计,为了统计词汇出现频率,最简单的做法是再建立一个map,其中,key是单词,value代表次数.将文章从头读到尾,读到一个单词就到Map里查一下,如果查到了则次数加一,没查到则放到map中.这样虽然代码简单,但却达不到想要的效果,通过性能的测试看出性能却非常差.从时间复杂度来说map时间复杂度是0(logn),如果拿来高频词需要进行排序,即使在结构优化,但最后还是不能很大的性能提高.…

package com.hy; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; public class Entry { public static void main(String[] args) throws IOException{ // 取得用户输入的表达式 BufferedReader br = new BufferedReader(new Inpu…

OpenNLP:驾驭文本,分词那些事 作者 白宁超 2016年3月27日19:55:03 摘要:字符串.字符数组以及其他文本表示的处理库构成大部分文本处理程序的基础.大部分语言都包括基本的处理库,这也是对文本处理或自然语言处理的前期必要工作.典型代表便是分词.词性标注.句子识别等等.本文所介绍的工具主要针对英文分词,对于英文分词工具很多,笔者经比较Apache OpenNLP效率和使用便捷度较好.另外其针对Java开发提供开源的API.开篇简介OpenNLP的情况,随后介绍6种常用模型,最后针对…

对于Solr应该不需要过多介绍了,强大的功能也是都体验过了,但是solr一个较大的问题就是分词问题,特别是中英文的混合分词,处理起来非常棘手. 虽然solr自带了支持中文分词的cjk,但是其效果实在不好,所以solr要解决的一个问题就是中文分词问题,这里推荐的方案是利用ik进行分词. ik是较早作中文分词的工具,其效果也是得到多数用户认同.但是现在作者似乎更新缓慢,对于最新的solr4.4支持不好,最新的更新也停留在2012年. 虽然不支持4.4版本(这也不是作者的错,solr的lucene的新…

如果直接使用Elasticsearch的朋友在处理中文内容的搜索时,肯定会遇到很尴尬的问题--中文词语被分成了一个一个的汉字,当用Kibana作图的时候,按照term来分组,结果一个汉字被分成了一组. 这是因为使用了Elasticsearch中默认的标准分词器,这个分词器在处理中文的时候会把中文单词切分成一个一个的汉字,因此引入中文的分词器就能解决这个问题. 本篇文章按照下面的内容进行描述: 分词器的作用 安装IK 简单的测试 模拟测试 安装elasticsearch-analysis-piny…

目录 返回目录:http://www.cnblogs.com/hanyinglong/p/5464604.html 本项目Demo已上传GitHub,欢迎大家fork下载学习:https://github.com/kencery/Lucene_Compass(项目内部有很详细的注释) 1.分词器的作用 a. 在创建索引的时候需要用到分词器,在使用字符串搜索的时候也会用到分词器,并且这两个地方要使用同一个分词器,否则可能会搜索不出来结果. b. 分词器(Analyzer)的作用是把一段文本中的词按…

目录 Lucene.net站内搜索—1.SEO优化 Lucene.net站内搜索—2.Lucene.Net简介和分词Lucene.net站内搜索—3.最简单搜索引擎代码Lucene.net站内搜索—4.搜索引擎第一版技术储备(简单介绍Log4Net.生产者消费者模式)Lucene.net站内搜索—5.搜索引擎第一版实现Lucene.net站内搜索—6.站内搜索第二版 Lucene.Net简介 Lucene.Net是由Java版本的Lucene(卢思银)移植过来的,所有的类.方法都几乎和Lucen…

古董级工具 这些工具伴随着Java一起出现,在各自辉煌之后还在一直使用. Apache Ant:基于XML的构建管理工具. cglib:字节码生成库. GlassFish:应用服务器,由Oracle赞助支持的Java EE参考实现. Hudson :持续集成服务器,目前仍在活跃开发. JavaServer Faces:Mojarra是JSF标准的一个开源实现,由Oracle开发. JavaServer Pages:支持自定义标签库的网站通用模板库. Liquibase:与具体数据库独立的追踪.管…

Java资源大全中文版 我想很多程序员应该记得 GitHub 上有一个 Awesome - XXX 系列的资源整理.awesome-java 就是 akullpp 发起维护的 Java 资源列表,内容包括:构建工具.数据库.框架.模板.安全.代码分析.日志.第三方库.书籍.Java 站点等等.伯乐在线已经把 awesome-java 资源列表翻成中文后发布于 ImportNew. Awesome 系列虽然挺全,但基本只对收录的资源做了极为简要的介绍,如果有更详细的中文介绍,对相应开发者的帮助会更…

Lucene.net站内搜索—2.Lucene.Net简介和分词 2015-03-24 23:10 by 邹琼俊, 118 阅读, 1 评论, 收藏, 编辑 Lucene.Net简介 Lucene.Net是由Java版本的Lucene(卢思银)移植过来的,所有的类.方法都几乎和Lucene一模一样,因此使用时参考 Lucene 即可. Lucene.Net只是一个全文检索开发包(就像ADO.Net和管理系统的关系),不是一个成型的搜索引擎,它的功能就是:把数据扔给 Lucene.Net ,查询数…

--题外话:最近发现了一些问题,一些高搜索量的东西相当一部分没有价值.发现大部分是一些问题的错误日志.而我是个比较爱贴图的.搜索引擎的检索会将我们的博文文本分词.所以图片内容一般是检索不到的,也就是说同样的问题最好是帖错误代码,日志,虽然图片很直观,但是并不利与传播.希望大家能够优化一部分博文的内容,这样有价值的东西传播量可能会更高. 本文主要是记录Elasticsearch5.3.1 IK分词,同义词/联想搜索设置,本来是要写fscrawler的多种格式(html,pdf,word...)数据…

内存索引库 特点 在内存中开辟一块空间,专门为索引库存放.这样有以下几个特征: 1)    因为索引库在内存中,所以访问速度更快. 2)    在程序退出时,索引库中的文件也相应的消失了. 3)    如果索引库比较大,必须得保证足够多的内存空间. 编码 在cn.hqu.directory 下新建:DirectoryTest /** * 1.能不能设置很多个索引库 *    可以设置很多个索引库 * 2.索引库能不能合并起来 *    如果是内存索引库 *      Directory ramD…

1.基本介绍 随着分词在信息检索领域应用的越来越广泛,分词这门技术对大家并不陌生.对于英文分词处理相对简单,经过拆分单词.排斥停止词.提取词干的过程基本就能实现英文分词,单对于中文分词而言,由于语义的复杂导致分词并没英文分词那么简单,一般都是通过相关的分词工具来实现,目前比较常用的有庖丁分词以及IKAnalyzer等.这里我们主要通过一个简单的Demo聊聊IKAnalyzer的基本使用.IKAnalyzer是一个开源的,基于java开发的分词工具包,它独立于Lucene项目,同时提供了Lucen…

一.英文词频统计 英文词频统计很简单,只需借助split断句,再统计即可. 完整MATLAB代码: function wordcount %思路:中文词频统计涉及到对"词语"的判断,需要导入词典或编写判断规则,很复杂. %最简单的办法是直接统计英文词频,并由空格直接划分词语.然后再翻译即可得到中文词频. %从官方网站上下载的pdf,转成reportfulltext.txt,存到workspace进行操作 全文共25003个字符. clc; clear; report=fileread(…