我的nlp之路（1）

王某的NLP之路前言

感谢基友jayjay和海英学姐的指路,其实我的方向一直比较迷茫. 因为自己是会计学出身的,前三年也没接触编程,第一次接触还是在2016年,尝试用聚宽的量化接口,当时顺便学了python 的一点知识. 后来毕业一开始一些数据分析,写一写数据分析偏财务的分析报告. 后来在亦师亦友的老常的带路下,从搭建hadoop集群到研究flume,hive等等转为大数据开发,成为一个写SQL和linux脚本的所谓大数据开发. 又有一个声音一直回荡着在耳边,做算法搞AI! 在2017年底从只知道LR和KNN等简单的…

1/8日任务基础篇: 如何使用远程连接从windows或者linux连到服务器进行操作(切换用户,传递文件) (严禁使用root账户) Linux基本bash命令 a) 查看文件大小,内存大小,cpu信息,硬盘空间等等 b) 查看目前运行程序情况,剩余内存,kill程序 c) 运行一个程序 d) 写一个脚本,使用上for, if等语句 e) sed命令, grep命令 Awk练习 a) 词.字的统计 b) …

大数据之路【第十二篇】：数据挖掘--NLP文本相似度

一.词频----TF • 假设:如果一个词很重要,应该会在文章中多次出现 • 词频——TF(Term Frequency):一个词在文章中出现的次数 • 也不是绝对的!出现次数最多的是“的”“是”“在”,这类最常用的词,叫做停用词(stop words) • 停用词对结果毫无帮助,必须过滤掉的词 • 过滤掉停用词后就一定能接近问题么? • 进一步调整假设:如果某个词比较少见,但是它在这篇文章中多次出现,那么它很可能反映了这篇文章的特性,正是我们所需要的关键词二.反文档频率----IDF • 在…

NLP+VS︱深度学习数据集标注工具、方法摘录，欢迎补充~~

~~因为不太会使用opencv.matlab工具,所以在找一些比较简单的工具. . . 一.NLP标注工具BRAT BRAT是一个基于web的文本标注工具,主要用于对文本的结构化标注,用BRAT生成的标注结果能够把无结构化的原始文本结构化,供计算机处理.利用该工具可以方便的获得各项NLP任务需要的标注语料.以下是利用该工具进行命名实体识别任务的标注例子. WeTest舆情团队在使用:http://wetest.qq.com/bee/ 使用案例:http://blog.csdn.net/oweng…

从0到1，了解NLP中的文本相似度

本文由云+社区发表作者:netkiddy 导语 AI在2018年应该是互联网界最火的名词,没有之一.时间来到了9102年,也是项目相关,涉及到了一些AI写作相关的功能,为客户生成一些素材文章.但是,AI并不一定最懂你,客户对于AI写出来的文章,多少是会做些修改的.为了更好的衡量出AI文章的可用度,在这儿就会需要存有一个反馈的环节,来看看用户润色后的文章与原始AI文章之间的区别是多大,AI写出来的文章可用性是否足够.由于目前还没精力细究AI写作其中的细节,为了更好地计算每次成文与原文的区分,便花…

IS创新之路 -- 都昌公司赋能型HIT企业发展之路

◆◆前言近日,上海瑞金医院对我司表示:“我院从2000年开始自主开发医院信息系统,走出了一条可持续的信息化发展之路.已建成五大系统,284个子系统.但我院仍然坚持在努力推进以电子病历为核心医院信息化建设,不断完善医疗服务体系.在此过程中,贵公司对给予了大量的技术支持和帮助,为我院信息系统的自主研发,做出了重要的贡献.” 服务于上海瑞金医院是我们都昌公司赋能战略的一个典型案例.我们的赋能战略是赋予医院信息科及合作软件企业更强大的软件开发能力:赋予医疗数据互联互通的能力:赋予软件按需变化的能力.将…

AI产品经理成长路

AI产品经理成长路 https://www.jianshu.com/p/4b98314ad3c0 以下都是自己平时知识的一些总结,只是一些个人的愚见,下面出现的公司.书籍.视频.网站都是自己看过体验过的,不是给他们打广告,不是广告!不是广告!不是广告!不同意见的评论区留下意见即可一. AI的兴起与互联网 1.互联网的红利消失 1) PC端和移动端使用人数固定目前来看,PC端和移动端的每年出货量都在一个值上下,移动端大概在每年4亿台,PC端更少而且每年还在下降. 2) 大流量入口被巨头…

NLP是什么

NLP是什么而在计算机领域, NLP(Natural Language Processing),也就是人们常说的「自然语言处理」,就是研究如何让计算机读懂人类语言. 这包括,既要能让计算机理解自然语言文本的意义,也能以自然语言文本来表达给定的深层的意图.思想等. 所以,这项技术往往体现了人工智能的最高任务与境界,也就是说,只有当计算机具备了理解自然语言的能力时,机器才算实现了真正的智能. 然而,这一切远非人们想象的那么简单. 根本原因就在于自然语言文本和对话的各个层次上广泛存在各种各样的歧义性…

面试杂谈之我的实习求职之路（7个offer）

现在是5月11号,刚从北京到家,总算也可以歇歇了,最近一段时间真是忙于奔命的感觉,也确实体会到了找工作的艰辛,总而言之,求职之路,如人饮水,冷暖自知. 我想把这段时间找工作的体验和经历分享出来告诉大家,让大避免以后少走弯路,也希望大家可以从我的面经中汲取一些经验教训,毕竟这也是我一步步走的坑了,这期间我面试了几乎中国互联网大多数公司,我面试的岗位主要是研发岗相关(涉及后台服务端研发,大数据研发,基础平台研发,测试开发),所以如果是研发岗的小伙伴应该可以得到一些经验教训吧. 在这过程中,我一共拿到…

最新自然语言处理(NLP)四步流程：Embed->Encode->Attend->Predict

http://blog.csdn.net/jdbc/article/details/53292414 过去半年以来,自然语言处理领域进化出了一件神器.此神器乃是深度神经网络的一种新模式,该模式分为:embed.encode.attend.predict四部分.本文将对这四个部分娓娓道来,并且剖析它在两个实例中的用法. 人们在谈论机器学习带来的提升时,往往只想到了机器在效率和准确率方面带给人们的提升,然而最重要的一点却是机器学习算法的通用性.如果你想写一段程序来识别社交媒体平台上的侮辱性帖子,就把…

转：使用RNN解决NLP中序列标注问题的通用优化思路

http://blog.csdn.net/malefactor/article/details/50725480 /* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/ author: 张俊林序列标注问题应该说是自然语言处理中最常见的问题,而且很可能是最而没有之一.在深度学习没有广泛渗透到各个应用领域之前,传统的最常用的解决序列标注问题的方案是最大熵.CRF等模型,尤其是CRF,基本是最主流的方法.随着深度学习的不断探索和发展,很可能RNN模型会取代CRF的传统霸主地位,会成…

『王霸之路』从0.1到2.0一文看尽TensorFlow奋斗史

0 序篇 2015年11月,Google正式发布了Tensorflow的白皮书并开源TensorFlow 0.1 版本. 2017年02月,Tensorflow正式发布了1.0.0版本,同时也标志着稳定版的诞生. 2019年10月,TensorFlow在经历七个多月(2019年3月1日-2019年10月1日)的 2.0 Alpha 版本的更新迭代后发布 2.0 正式版. 2.0 正式版官方介绍视频 https://v.qq.com/x/page/b3003v2g8dq.html 虽然 2.0…

华为云 AI 实战营计划，带你迈上 AI 之路

当今,AI的开发人才需求呈现极大的供需不平衡.所有开发者都关心,要如何从一名开发者晋升为AI开发者?AI开发能力,是主要的进入障碍.不用慌,华为云推出了 <华为云ModelArts-Lab AI实战营>助你跨越AI学习障碍,开启你的AI实践之路. 期内容,包括图像.NLP.人脸.OCR等领域的系统化实战计划,助力开发者系统性掌握AI实战技能,掌握全流程AI模型开发及应用实战,在 ModelArts平台完成端到端从数据准备.模型开发.模型训练.模型部署发布.模型共享(AI市场)等全流程的人工智能…

NLP第二课（搜索）

最近压力太大了,持续性修改0注释的代码,变量为阿拉伯数字的代码,压力山大,摆正心态,没有那些bug,还需要我们来做些什么呢?如果一个特别出色的项目,也体现不出来你个人的出色.几句牢骚,我们今天来继续说下NLP. 我们先来抛出一个问题,我们要坐地跌,从西直门站到苏州街站,我们在北京的小伙伴都知道,坐4号线,然后在海淀黄庄换成10号线就到了,或者我们直接打开导航,搜一下就可以了.说起来很简单,想起来也很简单,但是做起来不是那么简单了.我们现有所有线路的站点,以及换成车站的数据(爬取过程略去).我们现…

NLP | 算法学习资料整理

UPDATE TIME: 2019-12-12 17:06:32 NLP: 对话系统: [ ] https://www.cnblogs.com/jiangxinyang/p/10789512.html 任务型对话英文数据集: github [最全任务型对话数据集]主要介绍了一份任务型对话数据集大全,这份数据集大全涵盖了到目前在任务型对话领域的所有常用数据集的主要信息.此外,为了帮助研究者更好的把握领域进展的脉络,我们以Leaderboard的形式给出了几个数据集上的State-of-the-ar…

NLP之中文自然语言处理工具库：SnowNLP(情感分析/分词/自动摘要)

一安装与介绍 1.1 概述 SnowNLP是一个python写的类库,可以方便的处理中文文本内容,是受到了TextBlob的启发而写的,由于现在大部分的自然语言处理库基本都是针对英文的,于是写了一个方便处理中文的类库,并且和TextBlob不同的是,这里没有用NLTK,所有的算法都是自己实现的,并且自带了一些训练好的字典.注意本程序都是处理的unicode编码,所以使用时请自行decode成unicode. 1.2 特点 # s as SnowNLP(text) 1) s.words 词语 2…

NLP（二十一）人物关系抽取的一次实战

去年,笔者写过一篇文章利用关系抽取构建知识图谱的一次尝试,试图用现在的深度学习办法去做开放领域的关系抽取,但是遗憾的是,目前在开放领域的关系抽取,还没有成熟的解决方案和模型.当时的文章仅作为笔者的一次尝试,在实际使用过程中,效果有限. 本文将讲述如何利用深度学习模型来进行人物关系抽取.人物关系抽取可以理解为是关系抽取,这是我们构建知识图谱的重要一步.本文人物关系抽取的主要思想是关系抽取的pipeline(管道)模式,因为人名可以使用现成的NER模型提取,因此本文仅解决从文章中抽取出人名后…

NLP任务梳理总结

NLP任务前处理任务前处理任务的结果可作为下游任务输入的额外特征. POSTa(词性标注) 往模型中输入句子,对每一个token进行词性的识别. 识别出的词性可以用于下游任务. Word Segmentation(分词) 对于英文,显然句子有天然的分词.所以分词通常是针对中文句子. 分词之后,模型的输入就可以以词汇作单位,而不再以字作单位. 以下面例子做说明: 将一个句子按字输入模型,训练模型来对每个字来进行二分类决定每个字的对应位置输出N或者Y(N/Y是词的边界标识) Parsing(语义…

NLP文本分类

引言其实最近挺纠结的,有一点点焦虑,因为自己一直都期望往自然语言处理的方向发展,梦想成为一名NLP算法工程师,也正是我喜欢的事,而不是为了生存而工作.我觉得这也是我这辈子为数不多的剩下的可以自己去追求自己喜欢的东西的机会了.然而现实很残酷,大部分的公司算法工程师一般都是名牌大学,硕士起招,如同一个跨不过的门槛,让人望而却步,即使我觉得可能这个方向以后的路并不如其他的唾手可得的路轻松,但我的心中却一直有一股信念让我义无反顾,不管怎样,梦还是要有的,万一实现了呢~ <br />![](https…

webp图片实践之路

最近,我们在项目中实践了webp图片,并且抽离出了工具模块,整合到了项目的基础模板中.传闻IOS10也将要支持webp,那么使用webp带来的性能提升将更加明显.估计在不久的将来,webp会成为标配. 本文主要分享一下我们在webp图片使用上的实践之路. 我们会从三部分来聊聊webp这个话题. 什么是webp,它有什么用? 使用webp的常规方法以及优劣. 我们是如何用上webp的. PS:如果是对webp有一定了解的朋友,建议直接看第三部分.因为是讲我们的实践之路,所以第三部分会多讲一些. 一…