https://www.jianshu.com/p/c0c5f1bdbb88 动机 其实差不多半年之前就想吐槽Tensorflow的seq2seq了(后面博主去干了些别的事情),官方的代码已经抛弃原来用静态rnn实现的版本了,而官网的tutorial现在还是介绍基于静态的rnn的模型,加bucket那套,看这里.   tutorial.png 看到了吗?是legacy_seq2seq的.本来Tensorflow的seq2seq的实现相比于pytorch已经很复杂了,还没有个正经的tutorial…

tensorflow中定义的tf.Variable时,可以通过trainable属性控制这个变量是否可以被优化器更新.但是,tf.Variable的trainable属性是只读的,我们无法动态更改这个只读属性.在定义tf.Variable时,如果指定trainable=True,那么会把这个Variable添加到"可被训练的变量"集合中. 把trainable指定为布尔变量是不管用的,trainable只在定义变量的那一瞬间有用. # trainable只能是bool值,不能是张量 t…

一.关于Attention,关于NMT 未完待续... 以google 的 nmt 代码引入 探讨下端到端: 项目地址:https://github.com/tensorflow/nmt 机器翻译算是深度学习在垂直领域应用最成功的之一了,深度学习在垂直领域的应用的确能解决很多之前繁琐的问题,但是缺乏范化能力不足,这也是各大公司一直解决的问题: 最近开源的模型: lingvo:一种新的侧重于sequence2sequence的框架: bert   :一种基于深度双向Transform的语言模型预训…

今天我们来解析下Tensorflow的Seq2Seq的demo.继上篇博客的PTM模型之后,Tensorflow官方也开放了名为translate的demo,这个demo对比之前的PTM要大了很多(首先,空间上就会需要大约20个G,另外差点把我的硬盘给运行死),但是也实用了很多.模型采用了encoder-decoder的框架结果,佐以attention机制来实现论文中的英语法语翻译功能.同时,模型的基础却来自之前的PTM模型.下面,让我们来一起来了解一下这个神奇的系统吧! 论文介绍及基础描写:…

1. 预加载数据 Preloaded data # coding: utf-8 import tensorflow as tf # 设计Graph x1 = tf.constant([2, 3, 4]) x2 = tf.constant([4, 0, 1]) y = tf.add(x1, x2) with tf.Session() as sess: print sess.run(y) # output: # [6 3 5] 预加载数据方式是将训练数据直接内嵌到tf的图中,需要提前将数据加载到内存…

1.获取python3.5.x https://www.python.org/ftp/python/3.5.4/python-3.5.4-amd64.exe 2.安装python3.5.x,默认安装即可,安装后将路径添加到环境变量PATH中 笔者安装后python的路径为:C:\Users\jello\AppData\Local\Programs\Python\Python35 pip路径为:C:\Users\jello\AppData\Local\Programs\Python\Python3…

之前在看<Semi-supervised Sequence Learning>这篇文章的时候对seq2seq半监督的方式做文本分类的方式产生了一定兴趣,于是开始简单研究了seq2seq.先来简单说一下这篇paper的内容: 创立的新形式Sequence AutoEncoder LSTM(SA-LSTM),Pre-trained RNNs are more stable, generalize better, and achieve state-of-the-art results on var…

实验涉及命令以及知识补充 连线 PC和交换机FastEtherNet接口 交换机和路由器FastEtherNet接口 路由器和路由器Serial接口 serial是串行口,一般用于连接设备,不能连接电脑. fastethernet是以太口,平时PC用的就是这种口. 串口 用于接串口设备或者pcm等 以太口 传统的网线口,插网线用的不解释 GBIC/sfp口 光模块接口,大的是GBIC模块:小的接GLC销模块 堆叠口 比如3750的堆叠口,在交换机背面,用于堆叠 路由器之间必须配置时钟才可以通信[…

介绍 在参与的项目和产品中,涉及到模型和算法的需求,主要以自然语言处理(NLP)和知识图谱(KG)为主.NLP涉及面太广,而聚焦在具体场景下,想要生产落地的还需要花很多功夫. 作为NLP的主要方向,情感分析,文本多分类,实体识别等已经在项目中得到应用.例如 通过实体识别,抽取文本中提及到的公司.个人以及金融产品等. 通过情感分析,判别新闻资讯,对其提到的公司和个人是否利好? 通过文本多分类,判断资讯是否是高质量?判断资讯的行业和主题? 具体详情再找时间分享.而文本生成.序列到序列(Sequenc…

sequence_loss是nlp算法中非常重要的一个函数.rnn,lstm,attention都要用到这个函数.看下面代码: # coding: utf-8 import numpy as np import tensorflow as tf from tensorflow.contrib.seq2seq import sequence_loss logits_np = np.array([ [[0.5, 0.5, 0.5, 0.5], [0.5, 0.5, 0.5, 0.5], [0.5,…