漫谈RNN之梯度消失及梯度爆炸:http://bbs.imefuture.com/article/4405 漫谈RNN之长短期记忆模型LSTM:http://bbs.imefuture.com/article/4406 漫谈RNN之长短期记忆模型LSTM(续):http://bbs.imefuture.com/article/4407 attention:https://zhuanlan.zhihu.com/p/47282410 Transformer : https://jalammar.gi…

磐创智能-专注机器学习深度学习的教程网站 http://panchuang.net/ 磐创AI-智能客服,聊天机器人,推荐系统 http://panchuangai.com/ 目录: 循环神经网络的应用 文本分类 序列标注 机器翻译 Attention-based model RNN系列总结 循环神经网络的应用 目前循环神经网络已经被应用在了很多领域,诸如语音识别(ASR).语音合成(TTS).聊天机器人.机器翻译等,近两年在自然语言处理的分词.词性标注等工作的研究中,也不乏循环神经网络的身影.…

一,概述 在自然语言生成的任务中,大部分是基于seq2seq模型实现的(除此之外,还有语言模型,GAN等也能做文本生成),例如生成式对话,机器翻译,文本摘要等等,seq2seq模型是由encoder,decoder两部分组成的,其标准结构如下: 原则上encoder,decoder可以由CNN,RNN,Transformer三种结构中的任意一种组合.但实际的应用过程中,encoder,decnoder的结构选择基本是一样的(即encoder选择CNN,decoder也选择CNN,如faceboo…

[说在前面]本人博客新手一枚,象牙塔的老白,职业场的小白.以下内容仅为个人见解,欢迎批评指正,不喜勿喷![认真看图][认真看图] [补充说明]深度学习中的序列模型已经广泛应用于自然语言处理(例如机器翻译等).语音识别.序列生成.序列分析等众多领域! [再说一句]本文主要介绍深度学习中序列模型的演变路径,和往常一样,不会详细介绍各算法的具体实现,望理解! 一.循环神经网络RNN 1. RNN标准结构 传统神经网络的前一个输入和后一个输入是完全没有关系的,不能处理序列信息(即前一个输入和后一个输入是…

0.引言 我们发现传统的(如前向网络等)非循环的NN都是假设样本之间无依赖关系(至少时间和顺序上是无依赖关系),而许多学习任务却都涉及到处理序列数据,如image captioning,speech synthesis,music generation是基于模型输出序列数据:如time series prediction,video analysis,musical information retrieval是基于模型输入需要序列数据:而如translating natural language…

练习使用的数据 diabetes.csv 备用百度网盘地址 输入变量与输出变量均为连续变量的预测问题是回归问题: 输出变量为有限个离散变量的预测问题成为分类问题: 其实回归问题和分类问题的本质一样,都是针对一个输入做出一个输出预测,其区别在于输出变量的类型. 分类问题是指,给定一个新的模式,根据训练集推断它所对应的类别(如:+1,-1),是一种定性输出,也叫离散变量预测: 回归问题是指,给定一个新的模式,根据训练集推断它所对应的输出值(实数)是多少,是一种定量输出,也叫连续变量预测. 举个例子:…

博客内容取材于:http://www.cnblogs.com/tornadomeet/archive/2012/06/24/2560261.html Deep learning:六(regularized logistic回归练习) Deep learning:五(regularized线性回归练习) Deep learning:四(logistic regression练习) Deep learning:三(Multivariance Linear Regression练习) Deep lea…

1. 什么是Transformer <Attention Is All You Need>是一篇Google提出的将Attention思想发挥到极致的论文.这篇论文中提出一个全新的模型,叫 Transformer,抛弃了以往深度学习任务里面使用到的 CNN 和 RNN.目前大热的Bert就是基于Transformer构建的,这个模型广泛应用于NLP领域,例如机器翻译,问答系统,文本摘要和语音识别等等方向. 2. Transformer结构 2.1 总体结构 Transformer的结构和Att…

主要是对 BERT: Pre-training of Deep Bidirectional Transformers for Language Understandingtichu提出的BERT 清华和华为提出的ERNIE: Enhanced Language Representation with Informative Entities 百度提出的ERNIE: Enhanced Representation through Knowledge Integration 这三个模型的学习记录 B…

摘要:当前,数据.算法.算力的发展突破正推动AI应用的逐步落地. AI是什么? 根据维基百科的定义,人工智能是一种新的通用目的技术(GPT, General Purpose Technology),它横跨整个人类经济的多种用途,具有巨大技术性互补和溢出效应. 简而言之,AI是21世纪的一种基础技术,它会应用在我们日常生活的方方面面. AI的历史.现在和未来 早期,受到20世纪数学哲学的影响,诞生出两种流派的人工智能. 基于形式主义(认为所有数学分支都可以公理化的)和逻辑主义(一切数学都是建立在数…

目录 Transformer引入 Encoder 详解 输入部分 Embedding 位置嵌入 注意力机制 人类的注意力机制 Attention 计算 多头 Attention 计算 残差及其作用 BatchNorm 和 LayerNorm 前馈神经网络 Decoder 详解 Transformer 最终输出 TRM 面试题讲解 RNN.LSTM.Transformer 三者的区别? 为什么有缩放因子 [公式] ?attention为什么scaled? Decoder端的Mask 如何 mask…

知识图谱综述(2021.4) 论文地址:A Survey on Knowledge Graphs: Representation, Acquisition, and Applications 目录 知识图谱综述(2021.4) 摘要 1.简介 2.概述 3.知识表示学习(KRL) 3.1 表示空间 3.1.1 点空间 3.1.2 复向量空间 3.1.3 高斯分布 3.1.4 流形和群 3.2 评分函数 3.2.1 基于距离的评分函数 3.2.2 基于语义匹配的评分函数 3.3 编码模型 3.3.…

作者:zhbzz2007 出处:http://www.cnblogs.com/zhbzz2007 欢迎转载,也请保留这段声明.谢谢! 本文翻译自 RECURRENT NEURAL NETWORKS TUTORIAL, PART 2 – IMPLEMENTING A RNN WITH PYTHON, NUMPY AND THEANO . github地址 在这篇博文中,我们将会使用Python从头开始实现一个循环神经网络,并且利用Theano(一个在GPU上执行操作的库)优化原始的实现.所有的代码…

作者:zhbzz2007 出处:http://www.cnblogs.com/zhbzz2007 欢迎转载,也请保留这段声明.谢谢! 这是RNN教程的第三部分. 在前面的教程中,我们从头实现了一个循环神经网络,但是并没有涉及随时间反向传播(BPTT)算法如何计算梯度的细节.在这部分,我们将会简要介绍BPTT并解释它和传统的反向传播有何区别.我们也会尝试着理解梯度消失问题,这也是LSTM和GRU(目前NLP及其它领域中最为流行和有用的模型)得以发展的原因.梯度消失问题最早是由 Sepp Hochr…

前言 本系列教程为pytorch官网文档翻译.本文对应官网地址:https://pytorch.org/tutorials/intermediate/char_rnn_generation_tutorial.html 系列教程总目录传送门:我是一个传送门 本系列教程对应的 jupyter notebook 可以在我的Github仓库下载: 下载地址:https://github.com/Holy-Shine/Pytorch-notebook 我们仍然使用手工搭建的包含几个线性层的小型RNN.与之…

前言 本系列教程为pytorch官网文档翻译.本文对应官网地址:https://pytorch.org/tutorials/intermediate/char_rnn_classification_tutorial.html 系列教程总目录传送门:我是一个传送门 本系列教程对应的 jupyter notebook 可以在我的Github仓库下载: 下载地址:https://github.com/Holy-Shine/Pytorch-notebook 1. 数据准备 数据下载通道: 点击这里下载数…

RNN.LSTM.Char-RNN 学习系列(一) zoerywzhou@gmail.com http://www.cnblogs.com/swje/ 作者:Zhouw  2016-3-15 版权声明:本文为博主原创文章,未经博主允许不得转载. 转载请注明出处:http://www.cnblogs.com/swje/p/5279349.html 作者是深度学习的初学者,经由导师指导,稍微学习了解了一下RNN.LSTM的网络模型及求导,打算在这里分享一下,欢迎各种交流. 2016-03-15看到的…

欢迎大家关注我们的网站和系列教程:http://panchuang.net/ ,学习更多的机器学习.深度学习的知识! 目录: 常用的循环神经网络结构 多层循环神经网络 双向循环神经网络 递归神经网络 长期依赖问题及其优化 长期依赖问题 长期依赖问题的优化 参考文献 一.常用的循环神经网络结构 前面的内容里我们介绍了循环神经网络的基本结构,这一小节里我们介绍几种更常用的循环神经网络的结构 多层循环神经网络 多层循环神经网络是最容易想到的一种变种结构,它的结构也很简单,就是在基本的循环神经网络的基础…

欢迎大家关注我们的网站和系列教程:http://panchuang.net/ ,学习更多的机器学习.深度学习的知识! [前言]:在前面的内容里,我们已经学习了循环神经网络的基本结构和运算过程,这一小节里,我们将用TensorFlow实现简单的RNN,并且用来解决时序数据的预测问题,看一看RNN究竟能达到什么样的效果,具体又是如何实现的. 在这个演示项目里,我们使用随机生成的方式生成一个数据集(由0和1组成的二进制序列),然后人为的增加一些数据间的关系.最后我们把这个数据集放进RNN里,让RNN去…

欢迎大家关注我们的网站和系列教程:http://panchuang.net/ ,学习更多的机器学习.深度学习的知识! 目录: 前言 RNN知识结构 简单循环神经网络 RNN的基本结构 RNN的运算过程和参数更新 一．前言 前馈神经网络不考虑数据之间的关联性,网络的输出只和当前时刻网络的输入相关.然而在解决很多实际问题的时候我们发现,现实问题中存在着很多序列型的数据,例如文本.语音以及视频等.这些序列型的数据往往都是具有时序上的关联性的,既某一时刻网络的输出除了与当前时刻的输入相关之外,还与之前某…

http://www.jianshu.com/p/f3bde26febed/ 这篇是 The Unreasonable Effectiveness of Recurrent Neural Networks(by Andrej Karpathy,Stanford的Li Fei-Fei的博士生.文章介绍了RNN和LSTM,同时也介绍了RNN取得的各种瞩目成果.)以及Understanding LSTM Networks(by Chris Olah)的阅读笔记.网上有很多翻译的版本:<递归神经网络不可…

作者:zhbzz2007 出处:http://www.cnblogs.com/zhbzz2007 欢迎转载,也请保留这段声明.谢谢! 本文翻译自 RECURRENT NEURAL NETWORKS TUTORIAL, PART 1 – INTRODUCTION TO RNNS . Recurrent Neural Networks(RNNS) ,循环神经网络,是一个流行的模型,已经在许多NLP任务上显示出巨大的潜力.尽管它最近很流行,但是我发现能够解释RNN如何工作,以及如何实现RNN的资料很少…

Index Awesome 备注 1 Awesome Machine Learning 机器学习资源大全中文版 2 Awesome Artificial Intelligence 人工智能 3 Awesome AwesomenessAwesome Awesome的平方,还有个立方但是不经典 4 Awesome Deep Learning 深度学习 5 Awesome Very Deep Learning 非常深的深度学习 6 Applied Deep Learning Resources 深度学…

循环神经网络(RNN, Recurrent Neural Networks)介绍    这篇文章很多内容是参考:http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/,在这篇文章中,加入了一些新的内容与一些自己的理解.   循环神经网络(Recurrent Neural Networks,RNNs)已经在众多自然语言处理(Natural Language Proce…

2014-10-04 Created By BaoXinjian 一.摘要 PLSQL_性能优化系列14_Oracle High Water Level高水位分析 高水位线好比水库中储水的水位线,用于描述数据库中段的扩展方式.高水位线对全表扫描方式有着至关重要的影响. 当使用delete 操作表记录时,高水位线并不会下降,随之导致的是全表扫描的实际开销并没有任何减少. 本文给出高水位线的描述,如何降低高水位线,以及高水位线对全表扫描的影响. 1. 何谓高水位线 如前所述,类似于水库中储水的水位线…

"机器学习/深度学习方法"系列,我本着开放与共享(open and share)的精神撰写,目的是让很多其它的人了解机器学习的概念,理解其原理,学会应用.如今网上各种技术类文章非常多,不乏大牛的精辟见解,但也有非常多滥竽充数.误导读者的.这个系列对教课书籍和网络资源进行汇总.理解与整理,力求一击中的,通俗易懂.机器学习非常难,是由于她有非常扎实的理论基础,复杂的公式推导:机器学习也非常easy,是由于对她不甚了解的人也能够轻易使用.我希望好好地梳理一些基础方法模型,输出一些真正有长期參…

摘录自:CIPS2016 中文信息处理报告<第一章 词法和句法分析研究进展.现状及趋势>P4 CIPS2016 中文信息处理报告下载链接:http://cips-upload.bj.bcebos.com/cips2016.pdf 之前写过一篇中文分词总结,那么在那篇基础上,通过在CIPS2016的摘录进行一些拓展.可参考上篇:NLP+词法系列(一)︱中文分词技术小结.几大分词引擎的介绍与比较 NLP词法.句法.语义.语篇综合系列: NLP+词法系列(一)︱中文分词技术小结.几大分词引擎的介绍与…

前言 本系列教程为pytorch官网文档翻译.本文对应官网地址:https://pytorch.org/tutorials/intermediate/seq2seq_translation_tutorial.html 系列教程总目录传送门:我是一个传送门 本系列教程对应的 jupyter notebook 可以在我的Github仓库下载: 下载地址:https://github.com/Holy-Shine/Pytorch-notebook 本教程我们将会搭建一个网络来将法语翻译成英语. [KE…

介绍 不久前Pytorch发布了1.0版本,官网的doc页也更新了.这里说下官网的教程很实用,边学pytorch搭网络边学NLP-图像等领域的先进技术. 官网的教程都是英文的,本人就用这个系列博客做个小小的翻译工作,希望能帮到一些英语苦手(当然也包括双开谷歌翻译的我Orz)的小伙伴学习pytorch. Github仓库 使用 jupyternote book 是一个很好的快速构建代码的选择,本系列教程都能在我的Github仓库找到对应的 jupyter notebook . 下载地址:https…

摘要 这一章将进入机器人语音交互的学习,让机器人能跟人进行语音对话交流.这是一件很酷的事情,本章将涉及到语音识别.语音合成.自然语言处理方面的知识.本章内容: 1.语音交互相关技术 2.机器人语音交互实现 3.自然语言处理云计算引擎 1.语音交互相关技术 要机器人能完成跟人对话,涉及到语音识别.语音合成.自然语言处理等技术.简单点说,语音识别就是将人的声音转换成文字便于机器人计算与理解:语音合成就是将机器人要说的文字内容转换为声音:自然语言处理相当于机器人的大脑,负责回答提问.整个语音交互的过程…