最近有好多小伙伴要面经(还有个要买简历的是什么鬼),然鹅真的没有整理面经呀,真的木有时间(｡ ́︿ ̀｡).不过话说回来,面经有多大用呢?最起码对于NLP岗位的面试来说,作者发现根本不是面经中说的样子...来源|知乎作者 其实今年参加NLP算法岗秋招的小伙伴可能有感慨, "照着别人的面经去准备了辣么多,轮到自己面试时内容怎么这么不一样?!" "说好的要做到熟练推导SVM呢?怎么从来没人让我推导SVM?" "整场面试都在聊前沿论文啊什么鬼?从来没见这样的面经…

UPDATE TIME: 2019-12-12 17:06:32 NLP: 对话系统: [ ] https://www.cnblogs.com/jiangxinyang/p/10789512.html 任务型对话英文数据集: github [最全任务型对话数据集]主要介绍了一份任务型对话数据集大全,这份数据集大全涵盖了到目前在任务型对话领域的所有常用数据集的主要信息.此外,为了帮助研究者更好的把握领域进展的脉络,我们以Leaderboard的形式给出了几个数据集上的State-of-the-ar…

时间规定: 2018.12.07-2018.02.15 能力养成: linux, shell python, c++(会多少算多少) tensorflow, keras, pytorch(tf优先) CNN, RNN(LSTM), BRNN, Seq2Seq, RL, Attention, fastText, TextCNN, TextRNN, TextRNN+Attention, TextRCNN(CNN+RNN) LR, SVM, RF, NB, CRF, LDA, XGB等 分词,新词发现…

爱奇艺 1. attention<attention is all you need> 2. 相关项目 3. 逻辑回归 4. linux的指令(重命名文件,vim替换,vim指向文章最末行) 5. 编程题:实现开根号函数 6. 编程题:实现前缀树 百度 1. bert模型结构 2. bert中的mask和word2vec模型有什么相同点和不同点 3. 相关项目 4. 实习中的工作有没有检验的指标 是否上线 自己的项目是否有检验的指标 5. 编程题:计算两个矩形的公共面积(从二维的线段入手,两端…

人工智能算法大体上来说可以分类两类:基于统计的机器学习算法(Machine Learning)和深度学习算法(Deep Learning) 总的来说,在sklearn中机器学习算法大概的分类如下: 1. 纯算法类 (1).回归算法(2).分类算法(3).聚类算法(4)降维算法(5)概率图模型算法(6)文本挖掘算法(7)优化算法(8)深度学习算法 2.建模方面 (1).模型优化(2).数据预处理 二.详细算法 1.分类算法 (1).LR (Logistic Regression,逻辑回归又叫逻辑分…

…

NLP 应用研发工程师 - AI Lab工作城市: 上海岗位描述:1.用户搜索意图识别,分词和词性标注,实体词标注 2.利用机器学习.NLP 技术优化文本分类.语义理解及信息抽取岗位要求:1.有自然语言处理相关项目经验,对中文分词.词性标注.命名实体识别的某一研究领域有较深的研究: 2.良好的逻辑思维能力,可以快速定位并解决问题,具有良好的代码编写习惯: 3.熟悉 C++/java/python 4.有深度学习经验的优化 头条实验室算法科学家 - 自然语言理解工作城市: 上海岗位描述:1.人工智…

郑捷2017年电子工业出版社出版的图书<NLP汉语自然语言处理原理与实践> 第1章 中文语言的机器处理 1 1.1 历史回顾 2 1.1.1 从科幻到现实 2 1.1.2 早期的探索 3 1.1.3 规则派还是统计派 3 1.1.4 从机器学习到认知计算 5 1.2 现代自然语言系统简介 6 1.2.1 NLP流程与开源框架 6 1.2.2 哈工大NLP平台及其演示环境 9 1.2.3 StanfordNLP团队及其演示环境 11 1.2.4 NLTK开发环境 13 1.3 整合中文分词模块 …

新版的Neo4j图形算法库(algo)中增加了个性化Pagerank的支持,我一直想找个有意思的应用来验证一下此算法效果.最近我看Peter Lofgren的一篇论文<高效个性化Pagerank算法>(Efficient Algorithms for Personalized PageRank)(https://arxiv.org/pdf/1512.04633.pdf),在论文中,有一个比较有趣的示例: 我们想在论文引用网络中进行个性化搜索的尝试,但是要怎样设置个性化PageRank的参数,才…

自然语言处理是一门用于理解人类语言.情感和思想的技术,被称为是人工智能皇冠上的明珠. 随着深度学习发展,自然语言处理技术近年来发展迅速,在技术上表现为BERT.GPT等表现极佳的模型:在应用中表现为chatbot.知识图谱.舆情监控等基于NLP技术的产品在市场上的大规模出现. 基于此,各类公司开始出现NLP算法工程师的需求,待遇在软件工程师岗位中处于相当上游的水平. 基于此,不少同学和工程师有学习NLP的愿望,本文对首先NLP做一个简单的介绍:然后,作为一个过来人,为初学NLP的同学提供一些必要…

最近工作中的一个问题,耗时一个月之久终于调查完毕且顺利解决,顿时感慨万千.耗时之久和预期解决时间和环境搭建以及日志不合理等等有关,当然这个并非此文的重点.之所以在很久以后的今天又开始写文,主要是这个问题调查的过程值得铭记.具体情况如下文述. 一.问题发现过程数据告警服务提示相关分析结果缺失,经初步调查,发现分析服务在调用对应的NLP算法服务时出现大量Failed,遂查看算法日志,确实存在错误信息. 二.问题调查和解决1.定位问题 1) 反馈给算法相关开发同学:他们认为可能是该算法遇到了长文本数据…

引言 其实最近挺纠结的,有一点点焦虑,因为自己一直都期望往自然语言处理的方向发展,梦想成为一名NLP算法工程师,也正是我喜欢的事,而不是为了生存而工作.我觉得这也是我这辈子为数不多的剩下的可以自己去追求自己喜欢的东西的机会了.然而现实很残酷,大部分的公司算法工程师一般都是名牌大学,硕士起招,如同一个跨不过的门槛,让人望而却步,即使我觉得可能这个方向以后的路并不如其他的唾手可得的路轻松,但我的心中却一直有一股信念让我义无反顾,不管怎样,梦还是要有的,万一实现了呢~ <br />![](https…

CrystalBall: A Visual Analytic System for Future Event Discovery and Analysis from Social Media Data 论文地址 1 Abstract 这是一个可以预测未来一段时间内所发生事情的可视化系统,使用的是twitter数据进行分析. 2 Introduction 识别一个未来的事件并不可以依靠消息量的突增来判断(一般一个很大的事件的到来会引发交际圈的热烈讨论),一个未来时间的发生并不一定可以激发消息量的增…

前言——我是不是老了 前天看了一个关于AI类的综艺节目我感觉整个人都不好了.这个综艺的名字叫<智造将来>上面那个小屁孩自己写了一个智能语音助手,这个小屁孩叫袁翊闳是2018年百度AI开发者大会最小参赛者,我在想我是不是老了啊?这技术普及的也太快了吧!我在读研究生才开始接这个的.还有想要转战AI但是还在考虑学习难度的老铁们再不做决定就要被小学生超越了. 05后小屁孩的AI编程路 由于小蓝应用技术过于复杂,袁翊闳还为现场观众画了一张知识图谱.这是那个13岁小屁孩开发的智能语音助手的知识图谱,虽然写…

http://h2ex.com/1282 现有分词介绍 自然语言处理(NLP,Natural Language Processing)是一个信息时代最重要的技术之一,简单来讲,就是让计算机能够理解人类语言的一种技术.在其中,分词技术是一种比较基础的模块.对于英文等拉丁语系的语言而言,由于词之间有空格作为词边际表示,词语一般情况下都能简单且准确的提取出来.而中文日文等文字,除了标点符号之外,字之间紧密相连,没有明显的词边界,因此很难将词提取出来.分词的意义非常大,在中文中,单字作为最基本的语义单位…

2018年8月29日,由美团.创新工场.搜狗.美图联合主办的“AI Challenger 2018全球AI挑战赛”正式启动.美团CTO罗道峰.创新工场CEO李开复.搜狗CEO王小川和美图CEO吴欣鸿共同启动了本次大赛,盛况空前.本次大赛整体奖金规模超过300万人民币. 想报名的同学,点这里! 本次大赛共投入千万元规模以上的资金,建设了十余个全新高质量数据集,已成为目前国内规模最大的科研数据集平台和最大的非商业化竞赛平台.在2017年,有来自全球65个国家的8892支团队参加了大赛,覆盖国内外34…

有近2个月没有更新博客,主要精力放在了投递会议论文和秋招找工作方面.这里简单总结一下秋招笔试面试的几点建议和感受. 投递的NLP算法工程师岗位,主要参加过面试的公司有腾讯(春招),蚂蚁金服(春招),追一科技,猿辅导,作业帮,依图科技,京东.拼多多.星图科技(校园宣讲面试,是否通过以及后续面试安排需要到10月份).明略科技.还有工商银行(校内宣讲面试,银行正式笔试面试要到10月份). 这些公司的笔经面经牛客网等很多网站上有前辈的分享,我也不再赘述,只是总结一下自己的感想. 1.要有自己的东西 应聘…

sequence_loss是nlp算法中非常重要的一个函数.rnn,lstm,attention都要用到这个函数.看下面代码: # coding: utf-8 import numpy as np import tensorflow as tf from tensorflow.contrib.seq2seq import sequence_loss logits_np = np.array([ [[0.5, 0.5, 0.5, 0.5], [0.5, 0.5, 0.5, 0.5], [0.5,…

第二周 自然语言处理与词嵌入(Natural Language Processing and Word Embeddings) 词汇表征(Word Representation) 上周我们学习了 RNN.GRU 单元和 LSTM 单元.本周你会看到我们如何把这些知识用到 NLP 上,用于自然语言处理,深度学习已经给这一领域带来了革命性的变革.其中一个很关键的概念就是词嵌入(word embeddings),这是语言表示的一种方式,可以让算法自动的理解一些类似的词,比如男人对女人,比如国王对王后,…

讲清了一些最最基本的概念 - Intents(意图)和Entities(关键字) - 基于意图(Intent-based)的对话 和 基于流程(Flow-based)的对话  聊天机器人教学:使用Dialogflow (API.AI)开发 iOS Chatbot App iOSDevLog   image 随著苹果Core ML的最新版本发佈,开发人员更容易构建人工智能应用程式,除了图像识别和文本检测是利用AI建置APP的好例子,另一种善于展现机器学习Power的应用程式类型则是chatbots…

公司有个智能货柜,通过微信扫码开门,拿货,自动扣款,挺智能的.还不错.研究一下原理,网上查了一下. 文章简介: 目前新零售风刮的蛮大,笔者进入该领域近一年,负责过无人便利店.智能货柜.智慧商超等产品,在这个阶段不断去学习AI技术.积累新零售领域经验.该篇文章作为第一篇AI产品设计复盘文章,为大家从行业.技术.产品设计三个点去介绍视觉识别智能货柜.文章也许会衍生成新零售系列,主要目的有: 带来客观的新零售+AI领域结合的行业和智能货柜产品动向. 真正以一个PM角色以综合视觉去看待:趋势.行业.产品…

摘要:华为云发布新一代智能数据湖华为云FusionInsight时再次提到了湖仓一体理念,那我们就来看看湖仓一体的来世今生. 伴随5G.大数据.AI.IoT的飞速发展,数据呈现大规模.多样性的极速增长,为了应对多变的业务诉求,政企客户对数据处理分析的实时性和融合性提出了更高的要求,"湖仓一体"的概念应运而生,它打破数据湖与数仓间的壁垒,使得割裂数据融合统一,减少数据分析中的搬迁,实现统一的数据管理. 早在2020年5月份的华为全球分析师大会上,华为云CTO张宇昕提出了"湖仓一…

核心库与统计 1. NumPy(提交:17911,贡献者:641) 一般我们会将科学领域的库作为清单打头,NumPy 是该领域的主要软件库之一.它旨在处理大型的多维数组和矩阵,并提供了很多高级的数学函数和方法,因此可以用它来执行各种操作. 在过去一年,开发团队对该库进行了大量改进.除了错误修复和解决兼容性问题之外,关键的变更还包括样式改进,即 NumPy 对象的打印格式.此外,一些函数现在可以处理任意编码的文件,只要这些编码受 Python 支持. 2. SciPy(提交:19150,贡献者:6…

这一章我们不聊模型来聊聊数据,解决实际问题时90%的时间其实都是在和数据作斗争,于是无标注,弱标注,少标注,半标注对应的各类解决方案可谓是百花齐放.在第二章我们也尝试通过多目标对抗学习的方式引入额外的NER样本,或者分词边界来提高people daily小样本数据集的效果. 以下我会结合一些业界的案例和新鲜出炉的NLP数据增强综述,聊聊都有哪些数据增强方案,其中哪些适用于NER以及效果提升.代码详见 people_daily_augment NLP数据增强综述 Paper:Data Augmen…

原创:微信公众号 码农参上,欢迎分享,转载请保留出处. 哈喽大家好啊,我是Hydra. 虽然距离中秋放假还要熬过漫长的两天,不过也有个好消息,今天是<雷神4>上线Disney+流媒体的日子(也就是说我们稍后就可以网盘见了)~ 了解北欧神话的小伙伴们应该知道,它的神话体系可以用一个字来形容,那就是『乱』!就像是雷神3中下面这张错综复杂的关系网,也只能算是其中的一支半节. 而我们在上一篇文章中,介绍了关于知识图谱的一些基本理论知识,俗话说的好,光说不练假把式,今天我们就来看看,如何在springb…

1. 引言 - 近似近邻搜索被提出所在的时代背景和挑战 0x1:从NN(Neighbor Search)说起 ANN的前身技术是NN(Neighbor Search),简单地说,最近邻检索就是根据数据的相似性,从数据集中寻找与目标数据最相似的项目,而这种相似性通常会被量化到空间上数据之间的距离,例如欧几里得距离(Euclidean distance),NN认为数据在空间中的距离越近,则数据之间的相似性越高. 当需要查找离目标数据最近的前k个数据项时,就是k最近邻检索(K-NN). 0x2:NN的…

AI 在各大领域的发展有目共睹,而作为人工智能皇冠上的明珠--自然语言处理却成果了了,大多实现或者以半成品的形式躺在实验室中,或者仅仅作为某个产品的辅助功能.而这一情况在 BERT 出现后出现了很大的改善. 本文就是通过一款工具的介绍,带大家了解下 BERT 对 NLP 实际效果带来的巨大改变. (目前工具还在内测中,评测君暗中观察到,每隔段时间都会有非常大的更新)话不多说,先上截图: 真的是让人惊讶!在目前的工业 NLP 中,数个类似 词性标注.命名实体识别.实体关系抽取.内容理解.意图识别等…

一.认识句法分析 首先,了解一下句法分析到底是什么意思?是做什么事情呢?顾名思义,感觉是学习英语时候讲的各种句法语法.没错!这里就是把句法分析过程交给计算机处理,让它分析一个句子的句法组成,然后更好理解句子的语义信息.这就是NLP的目的,也就是AI的目标. 句法分析(syntactic parsing)是自然语言处理中的关键技术之一,基本任务是确定句子的句法结构(syntactic structure)或句子中词汇之间的依存关系.句法分析分为:句法结构分析和依存关系分析.本博文将详细介绍句法结构…

最近思考了一下未来,结合老师的意见,还是决定挑一个方向开始研究了,虽然个人更喜欢鼓捣.深思熟虑后,结合自己的兴趣点,选择了NLP方向,感觉比纯粹的人工智能.大数据之类的方向有趣多了,个人还是不适合纯粹理论研究 :).发现图书馆一本语言处理方面的书也没有后,在京东找了一本书--<NLP汉语自然语言处理原理与实践>,到今天看了大约150页,发现还是很模糊,决定找点代码来看. 从最简单的分词开始,发现分词的库已经很多了,选择了比较轻巧的jieba来研究.看了一下GitHub的基本介绍,突然感觉:我次…

前言 所有的故事都有开始,也终将结束. 本文将作为 NLP 汉字相似度的完结篇,为该系列画上一个句号. 起-NLP 中文形近字相似度计算思路 承-中文形近字相似度算法实现,为汉字 NLP 尽一点绵薄之力 转-当代中国最贵的汉字是什么? 不足之处 之所以有本篇,是因为上一次的算法实现存在一些不足. 巴别塔 <圣经>中有关于巴别塔建造,最终人们因为语言问题而停工的故事​. 创11:6 "看哪!他们成为一样的人民,都是一样的言语,如今既作起这事来,以后他们所要作的事,就没有不成就的了. 创…