分词是自然语言处理中最基本的一个任务,这篇小文章不介绍相关的理论,而是介绍一个电子病历分词的小实践. 开源的分词工具中,我用过的有jieba.hnlp和stanfordnlp,感觉jieba无论安装和使用都比较便捷,拓展性也比较好.是不是直接调用开源的分词工具,就可以得到比较好的分词效果呢?答案当然是否定的.尤其是在专业性较强的领域,比如医疗行业,往往需要通过加载相关领域的字典.自定义字典和正则表达式匹配等方式,才能得到较好的分词效果. 这次我就通过一个电子病历分词的小实践,分析在具体的分词任务

ElasticSearch 2 (24) - 语言处理系列之停用词:性能与精度 摘要 在信息检索早期,磁盘和内存相较我们今天的使用只是很小的一部分.将索引空间保持在一个较小的水平是至关重要的,节省每个字节都意味着巨大的性能提升.词干提取(参见 缩减单词至词根形式(Reducing Words to Their Root Form))的重要性不仅是因为它让搜索的内容更广泛.让检索的能力更深入,还因为它是压缩索引空间的工具. 要减少索引空间的另一个简单的方法就是索引更少的词.在搜索中,有些词要比其他

电子病历,到底是用BS还是CS 袁永福 2014-8-19 前言:前几天下午去开发医疗软件的S公司,旁听了他们的内部技术讨论会议.他们目前的电子病历是B/S架构,会上一群人讨论起用C/S重构电子病历系统的可行性,于是引出了本文的题目:电子病历,到底是用B/S还是C/S. 电子病历等医疗信息化系统到底是用B/S模式还是C/S模式.这是一个长期以来困扰着许多甲方和乙方的基础性的技术问题.过去困扰了,现在还在困扰,估计将来还会困扰. 这个问题真的是可以花开两朵,各表一枝了.首先说说B/S模式. B/S

详情请点击查看 开发环境 :VS2010 + C# + ORACLE系统简介:1各种记录的书写,并可保留修改痕迹 在各种记录的书写过程中,根据系统提供的首次护理记录.一般护理记录.术前术后护理记录等模板,可方便.轻松地完成书写.上级医师所作的修改在记录中保留鲜明的修改痕迹,方便查看各种记录中具体内容的书写者.2 体温单体温单数据的录入为表格式填写,成完后,图形界面根据相应的数据自动产生曲线.3 查询系统领导查询:医院领导及相关的管理部门通过查询系统可了解到全院任何一个科室在院患者或归档病历的各种

为什么推荐的人这么少~~~~   更新(2017-4-18): 截止目前已知的已有2个三甲医院在使用该编辑器,容我内心澎湃以下,O(∩_∩)O哈哈~   先放github地址:https://github.com/tlzzu/SoDiaoEditor.v2 首先,这不是愚人节的玩笑,,, 本想着三月底发布来着,结果昨天又在兼容性上调出几个bug,然后拖到了愚人节这天. 我是个追求完美的人,这点认识我的人,都能够从我的相貌中看出来. 转眼五个月过去了,期间不断有人发来邮件进行鼓励,并在不打赏的情况

1.问题 在使用搜索引擎(Elasticsearch或Solr)作为应用的后台搜索平台的时候,会遇到停用词(stopwords)的问题. 在信息检索中,停用词是为节省存储空间和提高搜索效率,处理文本时自动过滤掉某些字或词,这些字或词即被称为Stop Words(停用词).停用词大致分为两类.一类是语言中的功能词,这些词极其普遍而无实际含义,比如“the”.“is“.“which“.“on”等.另一类是词汇词,比如'want'等,这些词应用广泛,但搜索引擎无法保证能够给出真正相关的搜索结果,难以缩

酒店评论情感分析系统——用ictclas4j进行中文分词,并去除停用词 ictclas4j是中科院计算所开发的中文分词工具ICTCLAS的Java版本,因其分词准确率较高,而备受青睐. 注:ictclas4j缺点: a.在eclipse里的java文件一定要保存为gbk编码才可以正常运行,utf-8是不能运行的 b.ictclas4j目前不支持用户自定义字典 1. 下载ictclas4j 后面的附件中,我有放上ictclas4j的源码包ictclas4j.zip 2. 在Eclipse中新建项目

爬取豆瓣电影<大侦探皮卡丘>的影评,并做词云图和关键词绘图第一步:找到评论的网页url.https://movie.douban.com/subject/26835471/comments?start=0&limit=20&sort=new_score&status=P第二步:鼠标放在评论上右键检查,分析源代码,确定抓取的内容. <span class="short">萌就行了!这个世界观感觉梦想成真了!</span>1如上,

中文电子病历命名实体识别(CNER)研究进展 中文电子病历命名实体识别(Chinese Clinical Named Entity Recognition, Chinese-CNER)任务目标是从给定的电子病历纯文本文档中识别并抽取出与医学临床相关的实体提及,并将它们归类到预定义的类别.最近把之前收集整理的一些CNER相关的研究进展放在了github上.主要内容包括Chinese-CNER的相关论文列表,以及目前各个主要数据集上的一些先进结果,希望对CNER感兴趣的读者有所帮助. github地

此刻我的内心是忐忑的,这个标题给了我很大的压力,虽然很久以前我就在github上搜索一圈了,也没发现有其他更好的开源电子病历编辑器,如各位亲发现有更好的,烦请知会我一声. 该编辑器其实已经憋了很久了,今天终于拉出来.所以,这么伟(diao)大(si)的项目必须要有一个牛X的名字,对,它就叫SoDiaoEditor--噢~SoDiao 如此的屌,我知道我没文化/(ㄒoㄒ)/~~~ 至于为什么是v2.0.0,这个梗还要从oracle发布的第一个版本说起,,, 本项目基于ueditor(以下简称ue)

电子病历 电子病历(EMR,Electronic Medical Record),也叫计算机化的病案系统或称基于计算机的病人记录(CPR,Computer-Based Patient Record).它是用电子设备(计算机.健康卡等)保存.管理.传输和重现的数字化的病人的医疗记录,取代手写纸张病历.它的内容包括纸张病历的所有信息.美国国立医学研究所将定义为:EMR是基于一个特定系统的电子化病人记录, 该系统提供用户访问完整准确的数据.警示.提示和临床决策支持系统的能力. 病历是病人在医院诊断治疗

在线电子病历编辑器功能预览,支持Firefox/Chrome/Opera/UC/IE/Safari.演示地址 http://www.dcwriter.cn:9090/ 在WINFORM.NET中的效果 在各个浏览器中的展示效果

最近学习主题模型pLSA.LDA,就想拿来试试中文.首先就是找文本进行切词.去停用词等预处理,这里我找了开源工具IKAnalyzer2012,下载地址:(:(注意:这里尽量下载最新版本,我这里用的IKAnalyzer2012.zip 这本版本后来测试时发现bug,这里建议IKAnalyzer2012_u6.zip)) https://code.google.com/p/ik-analyzer/ 由于太多,而且名称我也搞不清楚,不知道下载哪个.后来我下载了IKAnalyzer2012.zip 压缩

首先是用于显示分词信息的HelloCustomAnalyzer.java package com.jadyer.lucene; import java.io.IOException; import java.io.StringReader; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.TokenStream; import org.apache.lucene.analysis.toke

@Test // 測试分词的效果,以及停用词典是否起作用 public void test() throws IOException { String text = "老爹我们都爱您."; Configuration configuration = DefaultConfig.getInstance(); configuration.setUseSmart(true); IKSegmenter ik = new IKSegmenter(new StringReader(text), c

package com.yl.wordcount import java.io.File import org.apache.spark.{SparkConf, SparkContext} import scala.collection.Iteratorimport scala.io.Source /** * wordcount进行排序并排除停用词 */object WordCountStopWords { def main(args: Array[String]) { val conf = n

附注:不要问我为什么写这么快,是16年写的. R的优点:免费.界面友好(个人认为没有matlab友好,matlab在我心中就是统计软件中极简主义的代表).小(压缩包就几十M,MATLAB.R2009b的压缩包是1.46G).包多(是真的多,各路好友会经常上传新的包). R的麻烦之处:经常升级,是经常,非常经常,这就导致你在加载一个包之前需要考虑这个包要在R的哪个版本上才能使用,而往往做一件事情都要加载10个包左右,一般比较方便的做法就是先升级到最新版,因为只有小部分的包在新版本上不能用. 言归正

适合阅读人群:有一定的数学基础. 这几篇文章是16年写的,之前发布在个人公众号上,公众号现已弃用.回过头来再看这几篇文章,发现写的过于稚嫩,思考也不全面,这说明我又进步了,但还是作为学习笔记记在这里了,方便以后自己经常查阅. 支持向量机(SVM)理论总结系列.线性可分(附带R程序案例:用体重和心脏重量来预测一只猫的性别) R系列:关联分析:某电商平台的数据:做捆绑销售和商品关联推荐 R系列:分词.去停用词.画词云(词云形状可自定义) end!

Lucene自带的中文分词器SmartChineseAnalyzer不太好扩展,于是我用了IKAnalyzer来进行敏感词和停用词的过滤. 首先,下载IKAnalyzer,我下载了 然后,由于IKAnalyzer已经很久不更新了,不兼容现在的Lucene6版本,所以我参考网上的资料,重写了IKTokenizer和IKAnalyzer两个类. package kidsearch; import java.io.IOException; import java.io.Reader; import o

转眼距离上一次v2正式发布已经过去一个半月了.github期间不定期push了二十几次,同时感谢分布在广州.福建.上海.北京的一众小伙伴,正是你们给出的建议,才让SoDiaoEditor不断完善. 我所知道的编辑器目前已经在至少2家三甲医院有应用,部分小伙伴还在开发中,听说反馈效果还都不错,加载快.对表格支持友好.易上手.界面美观等,说真的,这让我知道自己在做一件有价值的事,让我知道业余时间的牺牲是有价值的.总之希望医疗行业不再辛苦,希望你们一切都好. 大致总结一下,这1.5个月主要更新了以下几