分词工具ICTCLAS5.0使用心得
接触自然语言处理有一年多了,最基本的一些自然是分词,词性标注,命名实体识别之类的知识,有些应用知道原理是一回事,自己动手做起来又是另外一回事了。最近又开始重操旧业:分词。分词最著名的自然就是中科院的分词系统,这几天接触的ICTCLAS5.0(下载的文件夹名称是:ICTCLAS50_Windows_32_JNI)觉得不错,摸索下,记录下心得和收获。
<一>.使用
http://blog.csdn.net/wangxiafghj/article/details/8147926,我是按照这篇博客的教程操作的,基本没什么问题,可以运行。
收获:
1.TestMain.java文件中就是由两个函数构成,字面理解,一个是处理段落的,一个是处理文本的。我觉得两者没什么大区别,主要的不同是处理段落的函数testICTCLAS_ParagraphProcess(sInput),输入的段落在程序里修改,输出的结果也是直接显示在控制端。处理文本的函数testICTCLAS_FileProcess(),输入是你指定路径下的指定文件,输出也是指定路径下的指定文件。
2.参数的修改,我觉得我使用过程中涉及到的参数修改包括是否选择标注词性,词性标记集的设置,以及文件的路径。
是否标注词性很容易,段落中将ICTCLAS_ParagraphProcess函数最后一个参数改为1即可(1 yes ,0 no);文本中将ICTCLAS_FileProcess函数的第三个参数改为1(1 yes ,0 no)。
程序中词性标记集的设置只写了一次,在函数testICTCLAS_ParagraphProcess(sInput)内部,
//设置词性标注集(0 计算所二级标注集,1 计算所一级标注集,2 北大二级标注集,3 北大一级标注集)
testICTCLAS50.ICTCLAS_SetPOSmap(0);
我觉得这个语句在testICTCLAS_FileProcess()函数中应该再写一次,假如使用者只使用文本形式的而把段落处理的注释掉了,那词性标记集的设置岂不是很麻烦,建议把这句添加到testICTCLAS_FileProcess()函数的相应位置。
文件路径有四条语句需要修改:
//输入文件名
String Inputfilename = "e:/pos/test.txt";
byte[] Inputfilenameb = Inputfilename.getBytes();//将文件名string类型转为byte类型 //分词处理后输出文件名
String Outputfilename = "e:/pos/test_result.txt";
byte[] Outputfilenameb = Outputfilename.getBytes();//将文件名string类型转为byte类型 //文件分词(第一个参数为输入文件的名,第二个参数为文件编码类型,第三个参数为是否标记词性集1 yes,0 no,第四个参数为输出文件名)
testICTCLAS50.ICTCLAS_FileProcess(Inputfilenameb, , , Outputfilenameb); int nCount = ;
String usrdir = "e:/pos/userdict.txt"; //用户字典路径
byte[] usrdirb = usrdir.getBytes();//将string转化为byte类型
//第一个参数为用户字典路径,第二个参数为用户字典的编码类型(0:type unknown;1:ASCII码;2:GB2312,GBK,GB10380;3:UTF-8;4:BIG5)
nCount = testICTCLAS50.ICTCLAS_ImportUserDictFile(usrdirb, );//导入用户字典,返回导入用户词语个数
System.out.println("导入用户词个数" + nCount);
nCount = ; String Outputfilename1 = "e:/pos/testing_result.txt";
byte[] Outputfilenameb1 = Outputfilename1.getBytes();//将文件名string类型转为byte类型
按照自己的要求修改结束就可以运行出自己想要的结果了。
最后一个问题:每种词性标记集中词性代表的含义不太清楚,不废话,继续我的寻表之路。。。。
<二>.词性标注集
程序中提及的词性标注集有四种:0 计算所二级标注集,1 计算所一级标注集,2 北大二级标注集,3 北大一级标注集,但是每种标注集具体的词表还是不清楚,找到了两种标注集,中科院标注集和北大标注集。
中科院标记集
# 1. 名词 (1个一类,7个二类,5个三类)
名词分为以下子类:
n 名词 nr 人名 nr1 汉语姓氏 nr2 汉语名字
nrj 日语人名 nrf 音译人名 ns 地名 nsf 音译地名
nt 机构团体名 nz 其它专名 nl 名词性惯用语 ng 名词性语素
nw 新词
# 2. 时间词(1个一类,1个二类)
t 时间词 tg 时间词性语素
# 3. 处所词(1个一类)
s 处所词
# 4. 方位词(1个一类)
f 方位词
# 5. 动词(1个一类,9个二类)
v 动词 vd 副动词 vn 名动词 vshi 动词“是”
vyou 动词“有” vf 趋向动词 vx 形式动词 vi 不及物动词(内动词)
vl 动词性惯用语 vg 动词性语素
# 6. 形容词(1个一类,4个二类)
a 形容词 ad 副形词 an 名形词 ag 形容词性语素 al 形容词性惯用语
# 7. 区别词(1个一类,2个二类)
b 区别词 bl 区别词性惯用语
# 8. 状态词(1个一类)
z 状态词
# 9. 代词(1个一类,4个二类,6个三类)
r 代词 rr 人称代词 rz 指示代词 rzt 时间指示代词
rzs 处所指示代词 rzv 谓词性指示代词 ry 疑问代词 ryt 时间疑问代词
rys 处所疑问代词 ryv 谓词性疑问代词 rg 代词性语素
# 10. 数词(1个一类,1个二类)
m 数词 mq 数量词
# 11. 量词(1个一类,2个二类)
q 量词 qv 动量词 qt 时量词
# 12. 副词(1个一类)
d 副词
# 13. 介词(1个一类,2个二类)
p 介词 pba 介词“把” pbei 介词“被”
# 14. 连词(1个一类,1个二类)
c 连词 cc 并列连词
# 15. 助词(1个一类,15个二类)
u 助词 uzhe 着 ule 了 喽 uguo 过 ude1 的 底
ude2 地 ude3 得 usuo 所 udeng 等 等等 云云
uyy 一样 一般 似的 般 udh 的话 uls 来讲 来说 而言 说来
uzhi 之 ulian 连 (“连小学生都会”)
# 16. 叹词(1个一类)
e 叹词
# 17. 语气词(1个一类)
y 语气词(delete yg)
# 18. 拟声词(1个一类)
o 拟声词
# 19. 前缀(1个一类)
h 前缀
# 20. 后缀(1个一类)
k 后缀
# 21. 字符串(1个一类,2个二类)
x 字符串 xx 非语素字 xu 网址URL
# 22. 标点符号(1个一类,16个二类)
w 标点符号
wkz 左括号,全角:( 〔 [ { 《 【 〖〈 半角:( [ { <
wky 右括号,全角:) 〕 ] } 》 】 〗 〉 半角: ) ] { >
wyz 左引号,全角:“ ‘ 『 wyy 右引号,全角:” ’ 』
wj 句号,全角:。 ww 问号,全角:? 半角:? wt 叹号,全角:! 半角:!
wd 逗号,全角:, 半角:, wf 分号,全角:; 半角: ; wn 顿号,全角:、
wm 冒号,全角:: 半角: : ws 省略号,全角:…… …
wp 破折号,全角:—— -- ——- 半角:--- ----
wb 百分号千分号,全角:% ‰ 半角:%
wh 单位符号,全角:¥ $ £ ° ℃ 半角:$
北大标记集
还增加了一类词:un(未知词),表示不可识别词及用户自定义词组。取英文unknown前两个字母,参考CSW分词中的定义。
坑爹的是我分完的结果竟然都是un,肿么办,哭死!!
今天发现un出现的原因是因为添加了词典,只要是词典中添加的词,词性标注均为un,再想办法搞定这个大词条词性标注的问题吧。
找到的针对上一问题的解决方法了,就是在添加词典的时候将词典中词条的词性标记出来,这样就不会显示出来都是un了。
分词工具ICTCLAS5.0使用心得的更多相关文章
- 中文分词工具探析(二):Jieba
1. 前言 Jieba是由fxsjy大神开源的一款中文分词工具,一款属于工业界的分词工具--模型易用简单.代码清晰可读,推荐有志学习NLP或Python的读一下源码.与采用分词模型Bigram + H ...
- 中文分词工具探析(一):ICTCLAS (NLPIR)
1. 前言 ICTCLAS是张华平在2000年推出的中文分词系统,于2009年更名为NLPIR.ICTCLAS是中文分词界元老级工具了,作者开放出了free版本的源代码(1.0整理版本在此). 作者在 ...
- 开源中文分词工具探析(三):Ansj
Ansj是由孙健(ansjsun)开源的一个中文分词器,为ICTLAS的Java版本,也采用了Bigram + HMM分词模型(可参考我之前写的文章):在Bigram分词的基础上,识别未登录词,以提高 ...
- 开源中文分词工具探析(四):THULAC
THULAC是一款相当不错的中文分词工具,准确率高.分词速度蛮快的:并且在工程上做了很多优化,比如:用DAT存储训练特征(压缩训练模型),加入了标点符号的特征(提高分词准确率)等. 1. 前言 THU ...
- 开源中文分词工具探析(五):FNLP
FNLP是由Fudan NLP实验室的邱锡鹏老师开源的一套Java写就的中文NLP工具包,提供诸如分词.词性标注.文本分类.依存句法分析等功能. [开源中文分词工具探析]系列: 中文分词工具探析(一) ...
- 开源中文分词工具探析(五):Stanford CoreNLP
CoreNLP是由斯坦福大学开源的一套Java NLP工具,提供诸如:词性标注(part-of-speech (POS) tagger).命名实体识别(named entity recognizer ...
- php分词工具scws
分词工具 sphinx 支持php版本5.2.2~6.0因此选用scws 文档地址 http://www.xunsearch.com/scws/docs.php#instscws 简单的demo ...
- 开源中文分词工具探析(七):LTP
LTP是哈工大开源的一套中文语言处理系统,涵盖了基本功能:分词.词性标注.命名实体识别.依存句法分析.语义角色标注.语义依存分析等. [开源中文分词工具探析]系列: 开源中文分词工具探析(一):ICT ...
- 开源中文分词工具探析(六):Stanford CoreNLP
CoreNLP是由斯坦福大学开源的一套Java NLP工具,提供诸如:词性标注(part-of-speech (POS) tagger).命名实体识别(named entity recognizer ...
随机推荐
- 【uoj147】NOIP2015—斗地主
http://uoj.ac/problem/147 (题目链接) 题意 打牌... Solution 其实很简单的搜索,当年还是太年轻了.稍微想一想,顺子肯定是要先打掉的,因为顺子所包含的牌最多,所以 ...
- choop.php一句话脚本
<?php$_="";$_[+$_]++;$_=$_.""; $___=$_[+""];//A$____=$___;$____++;/ ...
- MySQL备份方式简介
MySQL备份的方式主要分为两种: 文本格式备份: 命令:mysqldump 转储文件:dump file 主要内容:数据库结构及数据(create talbe /insert) 二进制备份:这类备份 ...
- C# 静态类与非静态类、静态成员的区别
静态类 静态类与非静态类的重要区别在于静态类不能实例化,也就是说,不能使用 new 关键字创建静态类类型的变量.在声明一个类时使用static关键字,具有两个方面的意义:首先,它防止程序员写代码来实例 ...
- 使用dom4j解析XML文档
dom4j的包开源包,不属于JDK里面,在myeclipse中要单独导入在项目中,这里不累赘了 做这个过程,很慢,因为很多方法没用过不熟悉,自己得去查帮助文档,而且还得去试,因为没有中文版,英文翻译不 ...
- soapUI使用-DataSource获取oracle库中的参数
soapUI使用-DataSource获取oracle库中的参数 下载mysql和oracle驱动包:http://pan.baidu.com/s/1i3sy1MH 放在Program Files\S ...
- UVA12034Race(DP)
题目链接 题意:A.B两人赛马,最终名次有三种可能:并列第一:A第一,B第二:B第一,A第二.输入n,求 n 人赛马时最终名次的可能,结果对10056取余 分析:对于 i 匹马来说,有 i 中可能,设 ...
- 一键搭建vpn服务器
今天花了很多时间搭建vpn服务器,后来找到一篇一键搭建服务器的文章,那叫一个爽,附上链接收藏~~~看开以后要写脚本了 http://www.centoscn.com/image-text/instal ...
- TCP 介绍
TCP介绍 TCP(Transmission Control Protocol 传输控制协议)是一种面向连接的.可靠的.基于字节流的传输层通信协议,由IETF的RFC 793定义.在简化的计算机网络O ...
- SQL Server Transact-SQL 编程
T-SQL语句用于管理SQL Server数据库引擎实例,创建和管理数据库对象,以及查询.插入.修改和删除数据. Ø 变量 . 局部变量(Local Variable) 局部变量是用户可以自定义的变量 ...