一.pypinyin 在处理语音输入指令时, 比如 请给圆圆发消息,那么转化为文字识别时, 无法确定转换的是圆圆还是园园或是源源, 为了解决这个问题, 就把指令转换为拼音来处理,这样就可以处理同音字了.用到的库为pypinyin 简单使用, TONE,TONE2,TONE3为不同转换模式 from pypinyin import lazy_pinyin,TONE,TONE2,TONE3 a = '圆圆' b = '源源' c = '园园' print(''.join(lazy_pinyin(a,

在图像检索时,通常首先提取图像的局部特征,这些局部特征通常有很高的维度(例如,sift是128维),有很多的冗余信息,直接利用局部特征进行检索,效率和准确度上都不是很好.这就需要重新对提取到的局部特征进行编码,以便于匹配检索. 常用的局部特征编码方法有三种: BoF VLAD FV 本文主要介绍基于k-means聚类算法的BoF的实现. BoF的原理 k均值聚类概述 使用OpenCV实现的BoF BoF 该方法源自于文本处理的词袋模型.Bag-of-words model (BoW model)

目标 查看jieba分词组件源码,分析源码各个模块的功能,找到分词模块,实现能自定义分词字典,且优先级大于系统自带的字典等级,以医疗词语邻域词语为例. jieba分词地址:github地址:https://github.com/fxsjy/jieba jieba四种分词模式 精确模式,试图将句子最精确地切开,适合文本分析. 按照优先级只显示一次需要划分的词语. 全模式,把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义. 比如清华大学,会划词显示 清华/ 清华大学/ 华大/

本文的目标有两个: 1.学会使用11大Java开源中文分词器 2.对比分析11大Java开源中文分词器的分词效果 本文给出了11大Java开源中文分词的使用方法以及分词结果对比代码,至于效果哪个好,那要用的人结合自己的应用场景自己来判断. 11大Java开源中文分词器,不同的分词器有不同的用法,定义的接口也不一样,我们先定义一个统一的接口: ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 /**  * 获取文本的所有分词结果, 对比不同分

一.背景知识 1. Discriminant  Learning Algorithms(判别式方法) and Generative Learning Algorithms(生成式方法) 现在常见的模式识别方法有两种,一种是判别式方法:一种是生成式方法.可以这样理解生成式方法主要是数据是如何生成的,从统计学的角度而言就是模拟数据的分布distribution;而判别式方法,不管数据是如何生成而是通过数据内在的差异直接进行分类或者回归.举个例子你现有的task是去识别一段语音属于哪一种语言.那么生成

NLP论文泛读之<教材在线评论的情感倾向性分析> 本文借助细粒度情感分类技术, 对从网络上抓取大量计算机专业本科教材的评价文本进行情感极性 分析, 从而辅助商家和出版社改进教材的质量.制定 合理的销售策略, 并为潜在消费者的购买决策 供参 考依据. 主要解决了什么问题? 分析.提取对计算机类教材有效的.可靠的评价(当当.京东平台) 1.部分评论有省略号 2.有些评论很简略,没有出现'书'这个主体对象 主要用到什么方法或技术 流程: Sep1.去噪 1.1 同一用户针对同一产品发表的多条相同评论

在自然语言处理的任务中,拼音纠错.机器翻译等任务都需要对某个句子的下一个单词进行预测,或者评估某个句子的概率大小.例如预测如下句子的下一个单词: Please turn your home work... 在这个语境中,我们可能会预测下一个单词是over或是in,而不是预测为the或其他单词. 像这种对自然语言的句子进行建模,并赋予单词或句子概率的模型称为语言模型(LMs,Language Models).在这篇博客中将介绍一种最简单的语言模型-n元模型.n元模型对N个单词组成的序列进行建模,例

Python数据预处理:机器学习.人工智能通用技术 白宁超  2018年12月24日17:28:26 摘要:大数据技术与我们日常生活越来越紧密,要做大数据,首要解决数据问题.原始数据存在大量不完整.不一致.有异常的数据,严重影响到数据建模的执行效率,甚至可能导致模型结果的偏差,因此要数据预处.数据预处理主要是将原始数据经过文本抽取.数据清理.数据集成.数据处理.数据变换.数据降维等处理后,不仅提高了数据质量,而且更好的提升算法模型性能.数据预处理在数据挖掘.自然语言处理.机器学习.深度学习算法中

声明:由于担心CSDN博客丢失,在博客园简单对其进行备份,以后两个地方都会写文章的~感谢CSDN和博客园提供的平台.        前面讲述了很多关于Python爬取本体Ontology.消息盒InfoBox.虎扑图片等例子,同时讲述了VSM向量空间模型的应用.但是由于InfoBox没有前后文和语义概念,所以效果不是很好,这篇文章主要是爬取百度5A景区摘要信息,再利用Jieba分词工具进行中文分词,最后提出文本聚类算法的一些概念知识.        相关文章:        [Python爬虫]

学习音乐自动标注过程中设计了有关分类型模型和生成型模型的东西,特地查了相关资料,在这里汇总. http://blog.sina.com.cn/s/blog_a18c98e50101058u.html 新宇教你机器学习之 Generative vs discriminative models 在机器学习中,经常会提到Generative model 和Discriminative model.这是什么意思呢? Classification是Machine learning里面的一个问题. 就是说当

最近有个任务:利用 RNN 进行句子补全,即给定一个不完整的句子,预测其后续的字词.本文使用了 Seq2Seq 模型,输入为 5 个中文字词,输出为 1 个中文字词.目录 关于RNN 语料预处理 搭建数据集 搭建模型 训练模型 测试模型 保存/加载模型 1.关于RNN 自被提出以来,循环神经网络(Recurrent Neural Networks,RNN) 在 NLP 领域取得了巨大的成功与广泛的应用,也由此催生出了许多新的变体与网络结构.由于网上有众多资料,在此我也只做简单的讲解了.首先,讲讲

最近有个任务:利用 RNN 进行句子补全,即给定一个不完整的句子,预测其后续的字词.本文使用了 Seq2Seq 模型,输入为5个中文字词,输出为一个中文字词. 目录 关于RNN 语料预处理 搭建数据集 搭建模型 训练模型 测试模型 保存/加载模型 1.关于RNN 自被提出以来,循环神经网络(Recurrent Neural Networks,RNN) 在 NLP 领域取得了巨大的成功与广泛的应用,也由此催生出了许多新的变体与网络结构.由于网上有众多资料,在此我也只做简单的讲解了.首先,讲讲 RN

1.首先.我们用surf算法生成图像库中每幅图的特征点及描写叙述符. 2.再用k-means算法对图像库中的特征点进行训练,生成类心. 3.生成每幅图像的BOF.详细方法为:推断图像的每一个特征点与哪个类心近期.近期则放入该类心,最后将生成一列频数表.即初步的无权BOF. 4.通过tf-idf对频数表加上权重,生成终于的bof.(因为每一个类心对图像的影响不同.比方超市里条形码中的第一位总是6,它对辨别产品毫无作用.因此权重要减小). 5.对query进来的图像也进行3.4步操作,生成一列que

第一周 循环序列模型(Recurrent Neural Networks) 为什么选择序列模型?(Why Sequence Models?) 在本课程中你将学会序列模型,它是深度学习中最令人激动的内容之一.循环神经网络(RNN)之类的模型在语音识别.自然语言处理和其他领域中引起变革.在本节课中,你将学会如何自行创建这些模型.我们先看一些例子,这些例子都有效使用了序列模型. 在进行语音识别时,给定了一个输入音频片段 \(X\),并要求输出对应的文字记录 \(Y\).这个例子里输入和输出数据都是序列

BoW模型最初应用于文本处理领域,用来对文档进行分类和识别.BoW 模型因为其简单有效的优点而得到了广泛的应用.其基本原理可以用以下例子来给予描述.给定两句简单的文档: 文档 1:“我喜欢跳舞,小明也喜欢.” 文档 2:“我也喜欢唱歌.” 基于以上这两个文档,便可以构造一个由文档中的关键词组成的词典: 词典={1:“我”,2:“喜欢”,3:“跳舞”,4:“小明”,5:“也”,6:“唱歌”} 这个词典一共包含6个不同的词语,利用词典的索引号,上面两个文档每一个都可以用一个6维向量表示(用整数数字0

Is BERT Really Robust? A Strong Baseline for Natural Language Attack on Text Classification and Entailment 作者机构:MIT,香港大学,A* STAR 论文发表:AAAI2020 论文连接:http://aaai.org/Papers/AAAI/2020GB/AAAI-JinD.7014.pdf 概要:机器学习模型对对抗样本敏感,在对抗样本上效果下降明显.本文提出了一个生成对抗样本的模型,T

这一章我们不聊模型来聊聊数据,解决实际问题时90%的时间其实都是在和数据作斗争,于是无标注,弱标注,少标注,半标注对应的各类解决方案可谓是百花齐放.在第二章我们也尝试通过多目标对抗学习的方式引入额外的NER样本,或者分词边界来提高people daily小样本数据集的效果. 以下我会结合一些业界的案例和新鲜出炉的NLP数据增强综述,聊聊都有哪些数据增强方案,其中哪些适用于NER以及效果提升.代码详见 people_daily_augment NLP数据增强综述 Paper:Data Augmen

最近实习在做一个跟语音相关的项目,就在度娘上搜索了很多关于语音的API,顺藤摸瓜找到了科大讯飞,虽然度娘自家也有语音识别.语义理解这块,但感觉应该不是很好用,毕竟之前用过百度地图的API,有问题也找不到人帮忙解决(地图开发者群里都是潜水的)...不得不说,科大讯飞在语音这块尤其是中文识别方面做的真心不错,而且Android还支持离线识别. 讯飞官方给的文档内容很详细,在这我就不赘述了.在开发中,由于一些原因需要用到离线识别这块,就学习了一下.讯飞离线识别只支持Android系统,使用时需要安装讯

第一部分 调研,评测 评测基于微软必应词典Android5.2.2客户端,手机型号为MI NOTE LTE,Android版本为6.0.1. 软件bug:关于这方面,其实有一些疑问.因为相对于市面上其他的词典应用,这个软件的bug实在是是是太多了.(甚至怀疑这个软件不更新是专门作为软工作业的...) 下面就一一列举: 拍照取词功能.这个功能我试过扫描电子图片上很大的英文单词和纸质试卷上的单词,都无法使用.前者是提示翻译错误(有一次报了java的错误),后者的结果是“没有识别到文字”.我也试了有道

http://blog.csdn.net/yu616568/article/details/50365240 前言   在使用Kylin的时候,最重要的一步就是创建cube的模型定义,即指定度量和维度以及一些附加信息,然后对cube进行build,当然我们也可以根据原始表中的某一个string字段(这个字段的格式必须是日期格式,表示日期的含义)设定分区字段,这样一个cube就可以进行多次build,每一次的build会生成一个segment,每一个segment对应着一个时间区间的cube,这些

词典的格式设计 词典中所保存的信息主要是三部分: Term字符串 Term的统计信息,比如文档频率(Document Frequency) 倒排表的位置信息 其中Term字符串如何保存是一个很大的问题,根据上一章基本原理的表述中,我们知道,写入文件的Term是按照字典顺序排好序的,那么如何将这些排好序的Term保存起来呢? 1. 顺序列表式 一个直观的想法就是顺序列表的方式,即每个Term都占用相同的空间,然后大家依次排列下来,如图所示: 这种方式查找起来也很方便,由于Term是排好序的,而且每