文本挖掘或者文档挖掘是一个从非结构化文本信息中获取用户感兴趣或者有用的模式的过程文本挖掘涵盖多种技术,包括信息抽取,信息检索,自然语言处理和数据挖掘技术.它的主要用途是从原本未经使用的文本中提取出未知的知识,但是文本挖掘也是一项非常困难的工作,因为它必须处理那些本来就模糊而且非结构化的文本数据,所以它是一个多学科混杂的领域,涵盖了信息技术.文本分析.模式识别.统计学.数据可视化.数据库技术.机器学习以及数据挖掘等技术. Nlpir Parser智能语义分析系统是灵玖软件经过多年的研发成果,针对互…

在中文自然语言处理中,词是最小的能够独立活动的有意义的语言成分.汉语是以字为基本书写单位,词语之间没有明显的区分标记,因此进行中文自然语言处理通常是先将汉语文本中的字符串切分成合理的词语序列,然后再在此基础上进行其它分析处理.中文分词是中文信息处理的一个基础环节,已被广泛应用于中文文本处理.信息提取.文本挖掘等应用中.分词涉及许多方面的问题,主要包括: (1). 核心词表问题:许多分词算法都需要有一个核心的(通用.与领域无关的)词表.凡在该词表中的词,分词时就应该切分出来.但对于哪些词应当收进核…

全文索引用于处理大文本集合,利用它人们可以在海量文本中快速获取需要的信息.全文检索系统是按照全文检索理论建立起来的用于提供全文检索服务的软件系统.一般来说,全文检索需要具备建立索引和提供查询的基本功能,此外现代的全文检索系统还需要具有方便的用户接口.面向WWW的开发接口.二次应用开发接口等等.功能上,全文检索系统核心具有建立索引.处理查询返回结果集.增加索引.优化索引结构等等功能,外围则由各种不同应用具有的功能组成.结构上,全文检索系统核心具有索引引擎.查询引擎.文本分析引擎.对外接口等等,加上…

词性标注是自然语言浅层理解的一个重要环节,它可帮助系统自动判定词语所属的语法范畴,为进一步处理提供更高层面的支持.词性标注主要任务是消除词性兼类歧义,对于新信息检测来说,它的实际意义还在于: (1)能够在很大程度上消除词义歧义. (2)具有提高句子检索性能的潜力.词性标注可以帮助我们保留表征实际意义的名词.动词.形容词以及数词等实词,同时滤掉对检索不具实际影响的介词.代词.连词与冠词等.相对于纯粹从词形出发的过滤手段,词性更能有效消除噪声,在句子层面的检索上更具有潜力. (3)提高区分信息新颖程…

近年来随着网络技术的飞速发展和用户的剧烈增长,网络传输数据量越来越大,网络用语越来越趋于多样化.如何快速的屏蔽用户的不当言论.过滤用户发表内容中的非法词汇已成为关键词匹配领域的一项重大难题. 目前主要过滤技术,即数据库过滤.关键字过滤.由于数据库过滤方法对许多寄生在综合性网站内的不良信息无法过滤,对一些经常性地更改IP.URL,或采取多级代理方式的含有不良信息网站也无法过滤;基于关键字的不良信息过滤技术能获得较快的过滤速度,但往往不考虑上下文的关联性,漏报.错报率高, 为了克服以上问题灵玖软件成…

在计算机广泛应用的今天,数据采集的重要性是十分显著的.它是计算机与外部物理世界连接的桥梁.各种类型信号采集的难易程度差别很大. 灵玖软件Nlpir Parser文本语义挖掘系统以分词技术为基础,集成了全文精准检索.新词发现.分词标注.统计分析.关键词提取.热点分析.文本分类过滤.文档去重.等功能,其中文精准搜索就是以数据采集系统为主要支撑. 灵玖软件Nlpir Parser文本语义挖掘系统数据采集特点: (1)利用采集技术,实现对互联网目标信息源(网站.论坛.博客.政府网站.中外媒体网站)各类碎…

Internet是全球信息共享的基础设施,是一种开放和面向 所有用户的技术.它一方面要保证信息方便.快捷的共享;另一方面要防止垃圾信息的传播.网络内容分析是一种管理信 息传播的重要手段.它是网络信息安全核心理论与关键技术 研究网络内容分析所涉及的新理论.新体系结构.新方法和新技术. 内容过滤技术一般包括名单过滤技术.关键词过滤技术.图像过滤技术.模板过滤技术和智能过滤技术等.目前,内容过滤技术还处于初级阶段,实用的技术相对比较单一,主要表现在名单过滤和关键词过滤技术,而图像过滤与模板过滤技术还处…

    [导读] 为了实现高清视频的智能分析功能,本文介绍了一种以TI公司的DM8168为核心的高清视频智能分析系统的设计方案,该方案从硬件设计和软件设计两个方面介绍了硬件组成.工作流程.软件架构,并详细描述智能分析算法的构成.实现和优化.经过目标测试结果表明,该高清视频智能分析系统能实现对复杂场景的昼夜不间断监控,具有架构简单.可靠性高.误报警率低等特点.      0 引言 视频智能分析系统是指以数字视频处理技术为核心,在传统视频监控系统上发展而来的一种新型系统,充分利用了这些年高速DSP.…

在我和用户的交流中发现,在任何类型和规模的组织中,每当涉及到在云中实现商业价值的最大化并取得竞争优势的时候,就会明显呈现三个趋势.首先,应用程序促进着组织更快速实现价值.同时,诸如机器学习.数据预测分析和物联网(IoT)等高级服务正在加速创新——这不仅帮助消费者重塑业务流,更能让他们去想象更多的可能.但这些并非意味着云架构不再重要.支撑云的基础架构依然是关键,它不仅要为消费者提供可靠安排和安全,也要帮助他们更快速的扩展和起点的提升. 在AzureCon上,我们将推出一系列助力用户的创新——帮助A…

转:http://kasy-13.blog.163.com/blog/static/8214691420143226365887/ Weka的全名是怀卡托智能分析环境(Waikato Environment for Knowledge Analysis),是一款免费的,非商业化(与之对应的是SPSS公司商业数据挖掘产品--Clementine )的,基于JAVA环境下开源的机器学习(machine learning)以及数据挖掘(data minining)软件.它和它的源代码可在其官方网站(h…