from tensorflow.contrib import learn import numpy as np vocab_process = learn.preprocessing.VocabularyProcessor(max_document_length=8) # 定义sentence固定长度 vocab_process.fit(w2v_vocab) vocab_process.transform( np.reshape(' '.join(text1_words), [-1])) # t…

1.tensorflow中dynamic_rnn和rnn有什么区别?    在tensorflow中没有找到rnn这个方法难道是废弃掉了? rnn是静态图,比如有10个时间序列,那么它将全部展开,并且存储这十个图, dynamic_rnn是动态的,不会全部存储这些图 dynamic_rnn对于不同的时间步的batch可以是长度不同的数据,它会根据不同的迭代进行对齐 dynamic_rnn与static_rnn区别 1.输入输出的结构不一样 dynamic_rnn的输入[batch, n_step…

catalogue . 个人理解 . 基本使用 . MNIST(multiclass classification)入门 . 深入MNIST . 卷积神经网络:CIFAR- 数据集分类 . 单词的向量表示(Vector Representations of Words) . 循环神经网络(RNN).LSTM(Long-Short Term Memory, LSTM) . 用深度学习网络搭建一个聊天机器人 0. 个人理解 在学习的最开始,我在这里写一个个人对deep leanring和神经网络的粗…

收集一些碰到的关于细节的函数在这里记录下 1.tf.flags.DEFINE_xxx() 读别人家的代码的时候经常看到这个,结果两三天不看居然忘记了,这脑子绝对上锈了,决定记下来免得老是查来查去的... 内容包含如下几个我们经常看到的几个函数: ①tf.flags.DEFINE_xxx() ②FLAGS = tf.flags.FLAGS ③FLAGS._parse_flags() 简单的说: 用于帮助我们添加命令行的可选参数. 也就是说利用该函数我们可以实现在命令行中选择需要设定的参数来运行程序…

Ref: http://blog.csdn.net/mebiuw/article/details/60780813 Ref: https://medium.com/@erikhallstrm/hello-world-rnn-83cd7105b767 [Nice] Ref: https://medium.com/@erikhallstrm/tensorflow-rnn-api-2bb31821b185 [Nice] Code Analysis Download and pre-preprocess…

张量(tensor) 张量 是图中计算节点的运算结果的引用,由name,shape,type三个属性构成. 张量的命名 可以以“name:src_output”的形式给出,node为计算节点名称,src_output表示当前张量来自节点的第几个输出 张良的优点 1. 提高代码可读性 2. 方便获取中间结果 3. 用来获得计算结果(通过tf.Session.run(某张量)) 会话(session) 通过python上下文管理器来管理会话 with tf.Session() as sess: pa…

昨晚终于实现了Tensorflow模型的部署 使用TensorFlow Serving 1.使用Docker 获取Tensorflow Serving的镜像,Docker在国内的需要将镜像的Repository地址设置为阿里云的加速地址,这个大家可以自己去CSDN上面找 然后启动docker 2.使用Tensorflow 的 SaveModelBuilder保存Tensorflow的计算图模型,并且设置Signature, Signature主要用来标识模型的输入值的名称和类型 builder…

下面是分类的主函数入口 #! /usr/bin/env python import tensorflow as tf import numpy as np import os import time import datetime import data_helpers from text_cnn import TextCNN from tensorflow.contrib import learn # Parameters # =================================…

代码来源于:tensorflow机器学习实战指南(曾益强 译,2017年9月)——第七章:自然语言处理 代码地址:https://github.com/nfmcclure/tensorflow-cookbook 解决问题:使用“词袋”嵌入来进行垃圾短信的预测(使用逻辑回归算法) 缺点:不考虑相关单词顺序特征,长文本的处理困难 步骤如下: step1:导入需要的包 step2:准备数据集 step3:选择参数(每个文本保留多少单词数,最低词频是多少) step4:构建词袋 step5:分割数据集…

tf.contrib.learn.preprocessing.VocabularyProcessor (max_document_length, min_frequency=0, vocabulary=None, tokenizer_fn=None) 参数: max_document_length: 文档的最大长度.如果文本的长度大于最大长度,那么它会被剪切,反之则用0填充. min_frequency: 词频的最小值,出现次数小于最小词频则不会被收录到词表中. vocabulary: Cate…