http://blog.csdn.net/marising/article/details/5769653 前段时间写了中文分词的一些记录里面提到了CRF的分词方法,近段时间又研究了一下,特把方法写下来,以备忘,另外,李沫南同学优化过CRF++,见:http://www.coreseek.cn/opensource/CRF/.我觉得CRF++还有更大的优化空间,以后有时间再搞. 人民日报语料是分好词的,我下面贴出的代码就是把语料整理为CRF需要的训练数据,直接修改模板训练即可.不过有下面的同学给…

之前介绍的MMEM存在着label bias问题,因此Lafferty et al. [1] 提出了CRF (Conditional Random Field). BTW:比较有意思的是,这篇文章的二作与三作同时也是MEMM的作者. 1. 前言 本节将遵从tutorial [2] 的论文结构,从概率模型(Probabilistic Models)与图表示(Graphical Representation)两个方面引出CRF. 概率模型 Naïve Bayes(NB)是分类问题中的生成模型(gen…

学习自然语言处理的同学都知道,条件随机场(crf)是个好东西.虽然它的原理确实理解起来有点困难,但是对于我们今天用到的这个crf工具crf++,用起来却是挺简单方便的. 今天只是简单试个水,参考别人的博文进行了个简单的中文分词,如有错误之处,欢迎指出. 在正式开工之前,我先介绍下条件随机场以及crf++的安装 第一部分 介绍 首先介绍下啥是条件随机场,条件随机场(CRF)是给定一组输入随机变量条件下,另一组输出随机变量的条件概率分布模型. 以一组词性标注为例,给定输入X={我,喜欢,雷峰塔},那…

这是另一套基于CRF的词法分析系统,类似感知机词法分析器,提供了完善的训练与分析接口. CRF的效果比感知机稍好一些,然而训练速度较慢,也不支持在线学习. 默认模型训练自OpenCorpus/pku98/199801.txt,随hanlp 1.6.2以上版本发布. 语料格式等与感知机词法分析器相同,请先阅读<感知机词法分析器>. 中文分词 训练 CRFSegmenter segmenter = new CRFSegmenter(null); segmenter.train("data…

本文转载自:http://www.17bigdata.com/97-5%E5%87%86%E7%A1%AE%E7%8E%87%E7%9A%84%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E4%B8%AD%E6%96%87%E5%88%86%E8%AF%8D%EF%BC%88%E5%AD%97%E5%B5%8C%E5%85%A5bi-lstmcrf%EF%BC%89.html 摘要 深度学习当前在NLP领域发展也相当快,翻译,问答,摘要等基本都被深度学习占领了. 本文…

http://www.tuicool.com/articles/zq2yyi   http://blog.csdn.net/u010189459/article/details/38546115 主题 中文分词Python 本文运用字标注法进行中文分词,使用4-tag对语料进行字标注,观察分词效果.模型方面选用开源的条件随机场工具包“ CRF++: Yet Another CRF toolkit ”进行分词. 本文使用的中文语料资源是SIGHAN提供的 backoff 2005 语料,目前封闭测…

http://biancheng.dnbcw.info/java/341268.html CRF简介 Conditional Random Field:条件随机场,一种机器学习技术(模型) CRF由John Lafferty最早用于NLP技术领域,其在NLP技术领域中主要用于文本标注,并有多种应用场景,例如: 分词(标注字的词位信息,由字构词) 词性标注(标注分词的词性,例如:名词,动词,助词) 命名实体识别(识别人名,地名,机构名,商品名等具有一定内在规律的实体名词) 本文主要描述如何使用CR…

工具包:https://taku910.github.io/crfpp/#tips 语料:http://sighan.cs.uchicago.edu/bakeoff2005/ 安装: 1)下载linux版本CRF++包-----CRF++-0.58.tar.gz,并解压. 2)cd CRF++-0.58 3)./configure 4)sudo make 5)sudo make install 若出现ImportError: libcrfpp.so.0: cannot open shared o…

前言:译者实测 PyTorch 代码非常简洁易懂,只需要将中文分词的数据集预处理成作者提到的格式,即可很快的就迁移了这个代码到中文分词中,相关的代码后续将会分享. 具体的数据格式,这种方式并不适合处理很多的数据,但是对于 demo 来说非常友好,把英文改成中文,标签改成分词问题中的 "BEMS" 就可以跑起来了. # Make up some training data training_data = [( "the wall street journal reported…

Xue & Shen '2003 [2]用两种序列标注模型--MEMM (Maximum Entropy Markov Model)与CRF (Conditional Random Field)--用于中文分词:看原论文感觉作者更像用的是maxent (Maximum Entropy) 模型而非MEMM.MEMM是由McCallum et al. '2000 [1]提出MEMM,针对于HMM的两个痛点:一是其为生成模型(generative model),二是不能使用更加复杂的feature.…