本文为本人学习pyhanlp的笔记,大多知识点来源于GitHubhttps://github.com/hankcs/HanLP/blob/master/README.md,文中的demo代码来源于该GitHub主 what's the pyhanlp pyhanlp是HanLP的Python接口,支持自动下载与升级HanLP,兼容py2.py3. 安装 pip install pyhanlp 安装时可能遇到的问题: 报错:error: Microsoft Visual C++ 14.0 is r

pyhanlp 中文词性标注与分词简介 pyhanlp实现的分词器有很多,同时pyhanlp获取hanlp中分词器也有两种方式 第一种是直接从封装好的hanlp类中获取,这种获取方式一共可以获取五种分词器,而现在默认的就是第一种维特比分词器 1.维特比 (viterbi):效率和效果的最佳平衡.也是最短路分词,HanLP最短路求解采用Viterbi算法 2.双数组trie树 (dat):极速词典分词,千万字符每秒(可能无法获取词性,此处取决于你的词典) 3.条件随机场 (crf):分词.词性标注

文本聚类 文本聚类简单点的来说就是将文本视作一个样本,在其上面进行聚类操作.但是与我们机器学习中常用的聚类操作不同之处在于. 我们的聚类对象不是直接的文本本身,而是文本提取出来的特征.因此如何提取特征因而是非常重要的一步.在HanLP中一共有三个文本聚类方法.前两种都基于词袋模式,第一个是最常见的聚类算法:k-means,但HanLP不光实现了k-means,还实现了速度更快效果更好的repeated bisection算法(重复二分法,还是翻译为累次平方法,好像是第一种).笔者动笔前段时间刚刚

1. pyhanlp介绍和简单应用 2. 观点提取和聚类代码详解 1. 前言 中文分词≠自然语言处理! 中文分词只是第一步:HanLP从中文分词开始,覆盖词性标注.命名实体识别.句法分析.文本分类等常用任务,提供了丰富的API. 不同于一些简陋的分词类库,HanLP精心优化了内部数据结构和IO接口,做到了毫秒级的冷启动.千万字符每秒的处理速度,而内存最低仅需120MB.无论是移动设备还是大型集群,都能获得良好的体验. 不同于市面上的商业工具,HanLP提供训练模块,可以在用户的语料上训练模型并替

Pyhanlp分词与词性标注的相关内容记得此前是有分享过的.可能时间太久记不太清楚了.以下文章是分享自“baiziyu”所写(小部分内容有修改),供大家学习参考之用. 简介 pyhanlp是HanLP的Python接口.因此后续所有关于pyhanlp的文章中也会写成HanLP.HanLP是完全用Java自实现的自然语言处理工具包.特点是完全用Java实现不引入第三方工具包.完全开源.中文的开源工具能做到这么完整的大概只有HanLP.包括了词法分析.句法分析.分类.聚类.关键词抽取等常见NLP应用

1.问题描述: pyhanlp成功安装,并且可以正常使用,但是这段时间再去用的时候,发现出问题了,一运行就出现,下面的问题: importerror: cannot import name 'jvmnotfoundexception' 2.原因解释: 因为我胡乱升级了jpype1的版本,造成pyhanlp无法找到对应的jpype,从而出现上面的问题.这个问题我查阅了网上很多问答,但是都没有解决办法,似乎只有我遇到这个问题. 如下图所示,pyhanlp的版本与jpype1的版本不匹配,因此导致py

尝试kotlin的起因 因为各种原因(版权,人员招聘),公司的技术体系从c#转到了java,我花了大概两周的时间来上手java,发现java的语法还是非常简单的,基本看着代码就知道什么意思.学习java的过程中,大部分时间都花费在了maven配置,理解spring的ioc上面. 学习的一段时间,我对java的感觉也正如前人的总结,稀烂的语法,完美的生态.spring在更高层面去约束你的代码设计,测试,事物,分布式,lucene,hadoop...jvm世界有太多的财富等着我去挖掘.但,我实在是不

提交git代码的时候报的错误 这是因为修改的东西太少的原因,应该多修改一些就可以提交了 例如:只是删除了一个空格或者一个字符就提交git代码的话就会提示这个错误 解决方法:多多的改变一下代码,比如增加一下回车

大家有没有这样的感受,一涉及XML文档操作就得百度一遍.是不是非!常!烦!.各种类型,各种方法,更别提为了找到一个节点多费劲.本来想写个XML操作的工具方法,写了两行一想既然XML文档是有规律的,如果抽象成一个树形结构的类,查找节点是不是就可以用lambda了,创建修改都是操作类,那不是好用得飞起!说干就干,经过两天打磨,终于是大功告成.系统默认的XML文件相关操作我就不吐槽了,来看看怎么飞起的吧. 设计思路: 写着好多啊,简单来说就是把XML标签分为两类:XmlChildTag子标签和XmlB

Hihocoder 太阁最新面经算法竞赛18 source: https://hihocoder.com/contest/hihointerview27/problems 题目1 : Big Plus 描述 Given an NxN 01 matrix, find the biggest plus (+) consisting of 1s in the matrix. size 1 plus size 2 plus size 3 plus size 4 plus 1 1 1 1 111 1 1

hihoCoder太阁最新面经算法竞赛15 Link: http://hihocoder.com/contest/hihointerview24 题目1 : Boarding Passes 时间限制:10000ms 单点时限:1000ms 内存限制:256MB   描述 Long long ago you took a crazy trip around the world. You can not remember which cities did you start and finish t

国内:如何解决Maven和SBT下载Jar包太慢 Maven 远程仓库 <mirror> <id>ui</id> <mirrorOf>central</mirrorOf> <name>Human Readable Name for this Mirror.</name> <url>http://uk.maven.org/maven2/</url> </mirror> <mirror

不管你是使用打印机,还是将CAD转换为PDF文件,如果出现以下情况,线条太粗,根本看不清楚,怎么解决呢? 或者,不想通过图层复杂.繁琐的设置,想将各种颜色线条的CAD全部打印成黑白,或者指定某一种颜色,或者只将某一种颜色打印成彩色其它颜色为黑白,怎么办? 方法其实非常简单,就在CAD的打印设置里面,只是平时你可能没有注意. 改变CAD线条粗细的方法: 改变线条颜色的方法(和上述方法前面步骤相同):

今天在做一个数据统计的界面的时候,需要做折线统计图,在网上找了一圈发现数据统计的插件还是不少的,本着轻量级的的原则选择了Chart.js,后来在做的过程中便遇到两个问题,以此记录下来,和刚刚接触前端的朋友共同进步. 问题1:chart.js是用canvas实现的,但是canvas不能直接设置父级元素的百分比. 解决办法:通过js获取父级元素的宽度,将获取到的宽度赋给canvas(这个也是解决第二个问题的先决条件) 代码如下: 这个是结构代码: <div class="cavsBox cav

Silverlight 手鼓达人-仿太鼓达人 介绍  手鼓达人是本人2012年中silverlight最火的一段时间开发的,本来目的只是想研究一下silverlight做游戏和做应用有何不同,但是后面由于种种原因和微软没有继续支持silverlight导致一些丧气,所以完成了90%游戏功能,但是基本上是可以玩的,只是算法有些BUG,界面待优化,歌曲编辑待优化. 最近突然有位网友特意找到我问我还记不记得游戏的一些处理细节,这过了2年多了我还记得什么(&——&),故拿出来与大家分享. 最后一次

使用了dojo开发.在datagrid过滤的时候.为了让过滤好处理,直接设置为完全二叉树的方式来存查询条件.但是在提交数据的时候,默认是get?url的方式.结果导致条件选择一两个,url会特别长.然后会报404错误.差点把前面的设计推掉,重来.项目就差一小部分了.时间上也来不及了.硬着头皮,看了一天的js源代码,我只能说,俺对js的世界无法理解啊.反复的试验了好久,硬是将rest的get请求,改为了post请求.代码如下: require(["dojo/_base/declare",

1.js文件错误解决办法 右键项目->properties->Builders(注:JavaScript Validator也会引起 build workspace太慢) 2.Eclipse 一直不停 building workspace完美解决总结(来自: http://blog.163.com/shadow_wolf/blog/static/18346909720145279519222/) (1).解决方法        方法1.修改eclipse启动文件 eclipse.ini 中添加

@firtst:有些事,该你遇到的始终会遇到!2013年,Struts2远程代码执行漏洞闹的满城风雨时,当时还对此一无所知:2014年4月,HeartBleed掀起波涛汹涌时,较快对此予以关注,晚上跑脚本测试那些使用了HTTPS的网站(以一个旁观者的身份):2014年9月25早上8点,一改平时早上不看微博的习惯,很碰巧地发现了GNU Bash <= 4.3环境变量远程代码执行的漏洞的信息,然后该关注的关注,该传播的传播,这一天虽然没有找出有效的解决方案,也算是打了一次鸡血!鸡血打完后,还有点余热

这次使用了APICloud平台来开发移动APP, 发布的时候在api控制台云编译成ipa后,这次使用apple提供的Application Loader工具提交apa文件到iTunes上去,提交结束的时候弹出一个黄色警告,说:“生成的API分析文件太大.我们无法在交付前验证您的API使用信息.这只是通知信息.” 吓我一跳,以为app出问题了, 提交没成功.然后从新编译了次又提交,这次直接报错说"已经存在了构建的二进制文件....", 截图如下: 吓我一跳....... 查了资料,然后明

解决www.github.com访问太慢的问题 使用www.github.com的过程中,有时候打开会特别的慢,原因github.com的域名被一堵伟大的墙挡在了外面.但是我们可以通过修改本机的hosts文件来修改这个域名,使其不指向被堵的那个就好了. 因为使用的是ubuntu系统,所有以这个为例 具体操作方法: 1.Ctrl+Alt+t打开一个终端 2.sudo vi /etc/hosts打开要修改的文件 3.在文件中添加103.245.222.133 assets-cdn.github.co

问题描述: 在使用gulp当中,自动生成的node_modules文件夹,因为文件目录层级太深,无法系统删除,用360粉碎工具也报错 解决方法: 使用npm中的插件rimraf,专门用于删除的模块插件 1.安装:npm install -g rimraf(全局安装) 2.使用:先定位目标文件夹的父级目录,然后命令行输入rimraf ***(***为需要删除的文件夹名称), 案例:(命令行操作,删除gulptest下的node_modules文件夹) 整个node_modules文件夹被删除的干干