1. 项目的RNN模型: 项目中的输入x是这样的:…

本教程转载至:TensorFlow练习7: 基于RNN生成古诗词 使用的数据集是全唐诗,首先提供一下数据集的下载链接:https://pan.baidu.com/s/13pNWfffr5HSN79WNb3Y0_w              提取码:koss RNN不像传统的神经网络-它们的输出输出是固定的,而RNN允许我们输入输出向量序列.RNN是为了对序列数据进行建模而产生的.本帖代码移植自char-rnn,它是基于Torch的洋文模型,稍加修改即可应用于中文.char-rnn使用文本文件做为…

一.状态和模型 在CNN网络中的训练样本的数据为IID数据(独立同分布数据),所解决的问题也是分类问题或者回归问题或者是特征表达问题.但更多的数据是不满足IID的,如语言翻译,自动文本生成.它们是一个序列问题,包括时间序列和空间序列.这时就要用到RNN网络,RNN的结构图如下所示: 序列样本一般分为:一对多(生成图片描述),多对一(视频解说,文本归类),多对多(语言翻译).RNN不仅能够处理序列输入,也能够得到序列输出,这里的序列指的是向量的序列.RNN学习来的是一个程序,也可以说是一个状态机,…

最近看了不少关于写诗的博客,在前人的基础上做了一些小的改动,因比较喜欢一次输入很长的开头句,所以让机器人输出压缩为一个开头字生成两个诗句,写五言和七言诗,当然如果你想写更长的诗句是可以继续改动的. 在输入做了些改动,去除误输入的标点符号,例如输入下面词句: 怒发冲冠,凭栏处,潇潇雨歇.抬望眼,仰天长啸,壮怀激烈. 机器人写出如下: 怒漠多无度袍小,巡管山明恰见偷. 发杵共鸿莼散暮,家山曾住上阳台. 冲钩麻衣隐步障,楼舟复别赤轮楼. 冠盘一线倾中令,音信长思两足阴. 凭栏十字送月沈,莫待长筵韦与兵…

整个工程使用的是Windows版pyCharm和tensorflow. 源码地址:https://github.com/Irvinglove/tensorflow_poems/tree/master 代码与上篇唐诗生成基本一致,不做过多解释.详细解释,请看:Tensorflow生成唐诗和歌词(上) 歌词生成 一.读取歌词的数据集(lyrics.py) import collections import os import sys import numpy as np from utils.cle…

整个工程使用的是Windows版pyCharm和tensorflow. 源码地址:https://github.com/Irvinglove/tensorflow_poems/tree/master 唐诗生成 一.读取诗的数据集(poems.py) import collections import os import sys import numpy as np import codecs start_token = 'G' end_token = 'E' def process_poems(…

承前 接上节代码『TensotFlow』RNN中文文本_上, import numpy as np import tensorflow as tf from collections import Counter poetry_file = 'poetry.txt' poetrys = [] with open(poetry_file, 'r', encoding='utf-8') as f: for line in f: try: title, content = line.strip().sp…

中文文字预处理流程 文本处理 读取+去除特殊符号 按照字段长度排序 辅助数据结构生成 生成 {字符:出现次数} 字典 生成按出现次数排序好的字符list 生成 {字符:序号} 字典 生成序号list 文本预处理生成字典是需要去重的,一般的思路是使用set数据结构来达成,不过这里使用的是collection.Counter,可以去重还能计数 这里的文本以全唐诗为例,一般一行为1首,目的是去掉作者,生成为“[诗主体]”的格式作为RNN输入,为了保证等长,引入字符“_”在后续处理中为长度不够的诗句补齐…

  http://blog.topspeedsnail.com/archives/10542 主题 TensorFlow RNN不像传统的神经网络-它们的输出输出是固定的,而RNN允许我们输入输出向量序列.RNN是为了对序列数据进行建模而产生的. 样本序列性:样本间存在顺序关系,每个样本和它之前的样本存在关联.比如说,在文本中,一个词和它前面的词是有关联的:在气象数据中,一天的气温和前几天的气温是有关联的. 例如本帖要使用RNN生成古诗,你给它输入一堆古诗词,它会学着生成和前面相关联的字词.如果…

char RNN代码来源于https://github.com/hzy46/Char-RNN-TensorFlow 前言 本人在学习char RNN的过程中,遇到了很多的问题,但是依然选择一行代码一行代码的啃下来,并且注释好,我在啃代码的过程中,就想要是有一位大神在我旁边就好了,我在看代码的过程中,不懂那里,就问那里,可是现实中并没有,所有问题都要自己解决,今日我终于把代码全部弄懂了,也把代码分享给下一位想要学习char RNN的人.开源才能进步,中国加油.觉有有用希望大家可以点个赞,关注我,这…