Training iter #1: Batch Loss = 1.234543, Accuracy = 0.29866665601730347PERFORMANCE ON TEST SET: Batch Loss = 1.146768569946289, Accuracy = 0.370287150144577Training iter #10: Batch Loss = 1.137510, Accuracy = 0.3580000102519989PERFORMANCE ON TEST SET…

时间序列模型 时间序列预测分析就是利用过去一段时间内某事件时间的特征来预测未来一段时间内该事件的特征.这是一类相对比较复杂的预测建模问题,和回归分析模型的预测不同,时间序列模型是依赖于事件发生的先后顺序的,同样大小的值改变顺序后输入模型产生的结果是不同的. 举个栗子:根据过去两年某股票的每天的股价数据推测之后一周的股价变化:根据过去2年某店铺每周想消费人数预测下周来店消费的人数等等 RNN 和 LSTM 模型 时间序列模型最常用最强大的的工具就是递归神经网络(recurrent neural n…

    距离上一篇文章,正好两个星期. 这边文章9月15日 16:30 开始写. 可能几个小时后就写完了.用一句粗俗的话说, "当你怀孕的时候,别人都知道你怀孕了, 但不知道你被日了多少回 " ,纪念这两周的熬夜,熬夜.  因为某些原因,文章发布的有点仓促,本来应该再整理实验和代码比较合适.文章都是两个主要作用: 对自己的工作总结, 方便自己回顾和分享给有兴趣的朋友.   不说废话了, 进入正题. 本次的课题很简单, 深度神经网络(AI)来预测5日和22日后的走势. (22日尚未整理,…

LSTM是RNN的一种算法, 在序列分类中比较有用.常用于语音识别,文字处理(NLP)等领域. 等同于VGG等CNN模型在在图像识别领域的位置.  本篇文章是叙述LSTM 在MNIST 手写图中的使用. 用来给初步学习RNN的一个范例,便于学习和理解LSTM . 先把工作流程图贴一下: 代码片段 : 数据准备 def makedata(): img_rows, img_cols = 28, 28 mnist = fetch_mldata("MNIST original") # resc…

本节来介绍一下使用 RNN 的 LSTM 来做 MNIST 分类的方法,RNN 相比 CNN 来说,速度可能会慢,但可以节省更多的内存空间. 初始化 首先我们可以先初始化一些变量,如学习率.节点单元数.RNN 层数等: learning_rate = 1e- num_units = num_layer = input_size = time_step = total_steps = category_num = steps_per_validate = steps_per_test = batc…

简介 TensorFlow-Bitcoin-Robot:一个基于 TensorFlow LSTM 模型的 Bitcoin 价格预测机器人. 文章包括一下几个部分: 1.为什么要尝试做这个项目? 2.为什么选取了这个模型? 3.模型的数据从哪里来? 4.模型的优化过程? 5.项目可以进一步提升的方向. 对于以比特币为首的数字货币近期的表现,只能用疯狂来形容.来自比特币交易平台的最新价格行情显示,就在此前一天,比特币盘中最高价格达到29838.5元,距离3万元大关仅有咫尺之遥.比特币最近火热的行情,…

前言 在前面我们大致介绍了什么是意图识别,把这个问题抽象出来其实是一个分类问题.在结构上面,我们使用LSTM来提取特征,Softmax来进行最后的多分类.由于语料的限制,我们目前仅考虑电台,音乐,问答类等三类的意图识别.更多种类的意图识别, 其实也是把更多种类的语料加入进来,修改softmax的分类数.最后的目标是在这三类的分类准备率能够达到90%. 我们将考虑使用 keras(严格意义上只能说是一个接口)来实现这个意图识别的工作. 整体流程 图一 意图分类训练流程 我们整体的流程如图所示,首先…

RNN(Recurrent Neural Networks,循环神经网络)是一种具有短期记忆能力的神经网络模型,可以处理任意长度的序列,在自然语言处理中的应用非常广泛,比如机器翻译.文本生成.问答系统.文本分类等. 但由于梯度爆炸或梯度消失,RNN存在长期依赖问题,难以建立长距离的依赖关系,于是引入了门控机制来控制信息的累积速度,包括有选择地加入新信息,并有选择地遗忘之前积累的信息.比较经典的基于门控的RNN有LSTM(长短期记忆网络)和GRU(门控循环单元网络). 有关RNN,LSTM和GRU…

一.先看一个Example 1.描述,输入为一个字母,输出为这个字母的下一个顺序字母 A->B B->C C->D 2.Code import numpy from keras.models import Sequential from keras.layers import Dense from keras.layers import LSTM from keras.utils import np_utils # 固定每次的随机数都是相同的 numpy.random.seed(7) #…

一.RNN 全称为Recurrent Neural Network,意为循环神经网络,用于处理序列数据. 序列数据是指在不同时间点上收集到的数据,反映了某一事物.现象等随时间的变化状态或程度.即数据之间有联系. RNN的特点:1,,层间神经元也有连接(主要为隐层):2,共享参数 其结构如上图所示,数据为顺序处理,在处理长序列数据时,极易导致梯度消失问题. 二.LSTM LSTM为长短期记忆,是一种变种的RNN,在RNN的基础上引入了细胞状态,根据细胞状态可决定哪些状态应该保留下来,哪些状态应该被…