一.介绍 内容 使用 RNN 进行序列预测 今天我们就从一个基本的使用 RNN 生成简单序列的例子中,来窥探神经网络生成符号序列的秘密. 我们首先让神经网络模型学习形如 0^n 1^n 形式的上下文无关语法.然后再让模型尝试去生成这样的字符串.在流程中将演示 RNN 及 LSTM 相关函数的使用方法. 实验知识点 什么是上下文无关文法 使用 RNN 或 LSTM 模型生成简单序列的方法 探究 RNN 记忆功能的内部原理 二.什么是上下文无关语法 上下文无关语法 首先让我们观察以下序列: 01 0…

1.循环神经网络的提出是基于记忆模型的想法,期望网络能够记住前面出现的特征,并依据特征推断后面的结果,而且整体的网络结构不断循环,因而得名循环神经网络. 2.循环神经网络的基本结构特别简单,就是将网络的输出保存在一个记忆单元中,这个记忆单元和下一次的输入一起进入神经网络中. 3.使用双向循环神将网络,网络会先从序列的正方向读取数据,再从反方向读取数据,最后将网络输出的两种结果合在一起形成网络的最终输出结果. 4.解决长时依赖的问题:LSTM,GRU LSTM(1997):长的短时记忆网络 LST…

1. 概况 1.1 任务 口语理解(Spoken Language Understanding, SLU)作为语音识别与自然语言处理之间的一个新兴领域,其目的是为了让计算机从用户的讲话中理解他们的意图.SLU是口语对话系统(Spoken Dialog Systems)的一个非常关键的环节.下图展示了口语对话系统的主要流程. SLU主要通过如下三个子任务来理解用户的语言: 领域识别(Domain Detection) 用户意图检测(User Intent Determination) 语义槽填充(…

前言 本系列教程为pytorch官网文档翻译.本文对应官网地址:https://pytorch.org/tutorials/intermediate/char_rnn_generation_tutorial.html 系列教程总目录传送门:我是一个传送门 本系列教程对应的 jupyter notebook 可以在我的Github仓库下载: 下载地址:https://github.com/Holy-Shine/Pytorch-notebook 我们仍然使用手工搭建的包含几个线性层的小型RNN.与之…

前言 本系列教程为pytorch官网文档翻译.本文对应官网地址:https://pytorch.org/tutorials/intermediate/char_rnn_classification_tutorial.html 系列教程总目录传送门:我是一个传送门 本系列教程对应的 jupyter notebook 可以在我的Github仓库下载: 下载地址:https://github.com/Holy-Shine/Pytorch-notebook 1. 数据准备 数据下载通道: 点击这里下载数…

1.RNN简介 rnn,相比很多人都已经听腻,但是真正用代码操练起来,其中还是有很多细节值得琢磨. 虽然大家都在说,我还是要强调一次,rnn实际上是处理的是序列问题,与之形成对比的是cnn,cnn不能够处理序列问题,因为它没有记忆能力,那为什么rnn能够处理序列问题以及有记忆能力呢? 首先简单介绍一下rnn以及lstm的背景,这里给出两个链接,链接1,链接2 以最简单的rnn为例,如下图 上面是rnn展开成3个单元的结构示意图,h_t是上一个时刻的输出,这个输出送到下一个时刻的输入:x_t是当前…

一.为什么RNN需要处理变长输入 假设我们有情感分析的例子,对每句话进行一个感情级别的分类,主体流程大概是下图所示: 思路比较简单,但是当我们进行batch个训练数据一起计算的时候,我们会遇到多个训练样例长度不同的情况,这样我们就会很自然的进行padding,将短句子padding为跟最长的句子一样. 比如向下图这样: 但是这会有一个问题,什么问题呢?比如上图,句子“Yes”只有一个单词,但是padding了5的pad符号,这样会导致LSTM对它的表示通过了非常多无用的字符,这样得到的句子表示就…

上次通过pytorch实现了RNN模型,简易的完成了使用RNN完成mnist的手写数字识别,但是里面的参数有点不了解,所以对问题进行总结归纳来解决. 总述:第一次看到这个函数时,脑袋有点懵,总结了下总共有五个问题: 1.这个input_size是啥?要输入啥?feature num又是啥? 2.这个hidden_size是啥?要输入啥?feature num又是啥? 3.不是说RNN会有很多个节点连在一起的吗?这怎么定义连接的节点数呢? 4.num_layer中说的stack是怎么stack的?…

以下内容均来自: https://ptorch.com/news/11.html word embedding也叫做word2vec简单来说就是语料中每一个单词对应的其相应的词向量,目前训练词向量的方式最常使用的应该是word2vec(参考 http://www.cnblogs.com/bamtercelboo/p/7181899.html) Word Embedding 在自然语言处理中词向量是很重要的,首先介绍一下词向量. 之前做分类问题的时候大家应该都还记得我们会使用one-hot编码,比…

import torch import torch.nn as nn import numpy as np import torch.optim as optim class RNN(nn.Module): def __init__(self,input_dim , hidden_dim , out_dim): super(RNN,self).__init__() self.linear_1 = nn.Linear(input_dim , hidden_dim) self.linear_2 =…