最近看了吴恩达老师的深度学习课程,又看了python深度学习这本书,对深度学习有了大概的了解,但是在实战的时候, 还是会有一些细枝末节没有完全弄懂,这篇文章就用来总结一下用keras实现深度学习算法的时候一些我自己很容易搞错的点. 一.与序列文本有关 1.仅对序列文本进行one-hot编码 比如:使用路透社数据集(包含许多短新闻及其对应的主题,包括46个不同的主题,每个主题有至少10个样本) from keras.datasets import reuters (train_data,train

one-hot映射时,如何选取TOPN作为每一个词承载的word2vec的信息? 我们已经知道,对于这种例子: 怎么绑定手机号? 怎么关联手机号? 他们的相似度取决于绑定和关联这两个词如何相似. #取top2词的相似度vec_i = np.array([1, 0.73, 0.71, 0])vec_j = np.array([0.71, 0.73, 1, 0.71]) dist = linalg.norm(vec_i - vec_j)sim = 1.0 / (1.0 + dist) print(s

目录 一.Doc2vec原理 二.代码实现 三.总结   一.Doc2vec原理 前文总结了Word2vec训练词向量的细节,讲解了一个词是如何通过word2vec模型训练出唯一的向量来表示的.那接着可能就会想到,有没有什么办法能够将一个句子甚至一篇短文也用一个向量来表示呢?答案是肯定有的,构建一个句子向量有很多种方法,今天我们接着word2vec来介绍下Doc2vc,看下Doc2vec是怎么训练一个句子向量的. 许多机器学习算法需要的输入是一个固定长度的向量,当涉及到短文时,最常用的固定长度的

1. one-hot编码 # 字符集的one-hot编码 import string samples = ['zzh is a pig','he loves himself very much','pig pig han'] characters = string.printable token_index = dict(zip(range(1,len(characters)+1),characters)) max_length =20 results = np.zeros((len(sampl

目录 词向量简介 1. 基于one-hot编码的词向量方法 2. 统计语言模型 3. 从分布式表征到SVD分解 3.1 分布式表征(Distribution) 3.2 奇异值分解(SVD) 3.3 基于SVD的词向量方法 4. 神经网络语言模型(Neural Network Language Model) 5. Word2Vec 5.1 两个模型 5.2 两个提速手段 5.3一些预处理细节 5.4 word2vec的局限性 6. GloVe 6.1 统计共现矩阵 6.2 Glove的由来 6.3

1. 引言 word embedding技术如word2vec,glove等已经广泛应用于NLP,极大地推动了NLP的发展.既然词可以embedding,句子也应该可以(其实,万物皆可embedding,Embedding is All You Need ^_^).近年来(2014-2018),许多研究者在研究如何进行句子表示学习,从而获得质量较高的句子向量(sentence embedding).事实上,sentence embedding在信息检索,句子匹配,句子分类等任务上均有广泛应用,并

之前我写过一篇文章,利用bert来生成token级向量(对于中文语料来说就是字级别向量),参考我的文章:<使用BERT模型生成token级向量>.但是这样做有一个致命的缺点就是字符序列长度最长为512(包含[cls]和[sep]).其实对于大多数语料来说已经够了,但是对于有些语料库中样本的字符序列长度都比较长的情况,这就有些不够用了,比如我做一个法院文书领域预测任务,里面的事实部分许多都大于1000字,我做TextCharCNN的时候定义的最大长度为1500(能够涵盖百分之95以上的样本).

摘要:文章将详细讲解Keras实现经典的深度学习文本分类算法,包括LSTM.BiLSTM.BiLSTM+Attention和CNN.TextCNN. 本文分享自华为云社区<Keras深度学习中文文本分类万字总结(CNN.TextCNN.BiLSTM.注意力)>,作者: eastmount. 一.文本分类概述 文本分类旨在对文本集按照一定的分类体系或标准进行自动分类标记,属于一种基于分类体系的自动分类.文本分类最早可以追溯到上世纪50年代,那时主要通过专家定义规则来进行文本分类:80年代出现了利

软件环境(Windows): Visual Studio Anaconda CUDA MinGW-w64 conda install -c anaconda mingw libpython CNTK TensorFlow-gpu Keras-gpu Theano MKL CuDNN 参考书籍:谢梁 , 鲁颖 , 劳虹岚.Keras快速上手:基于Python的深度学习实战 Keras 简介 Keras 这个名字来源于希腊古典史诗<奥德赛>的牛角之门(Gate of Horn):Those tha

catalogue . 引言 . 一些基本概念 . Sequential模型 . 泛型模型 . 常用层 . 卷积层 . 池化层 . 递归层Recurrent . 嵌入层 Embedding 1. 引言 Keras是一个高层神经网络库,Keras由纯Python编写而成并基Tensorflow或Theano 简易和快速的原型设计(keras具有高度模块化,极简,和可扩充特性) 支持CNN和RNN,或二者的结合 支持任意的链接方案(包括多输入和多输出训练) 无缝CPU和GPU切换 0x1: Kera

之前的博文已经介绍了CNN的基本原理,本文将大概总结一下最近CNN在NLP中的句子建模(或者句子表示)方面的应用情况,主要阅读了以下的文献: Kim Y. Convolutional neural networks for sentence classification[J]. arXiv preprint arXiv:1408.5882, 2014. Kalchbrenner N, Grefenstette E, Blunsom P. A convolutional neural networ

快速开始序贯(Sequential)模型 序贯模型是多个网络层的线性堆叠,也就是"一条路走到黑". 可以通过向Sequential模型传递一个layer的list来构造该模型: from keras.models import Sequential from keras.layers import Dense, Activation model = Sequential([ Dense(32, units=784), Activation('relu'), Dense(10), Act

 先从sklearn说起吧,如果学习了sklearn的话,那么学习Keras相对来说比较容易.为什么这样说呢? 我们首先比较一下sklearn的机器学习大致使用流程和Keras的大致使用流程: sklearn的机器学习使用流程: from sklearn.模型簇 import 模型名 from sklearn.metrics import 评价指标 ''' 数据预处理及训练测试集分离提取''' myModel = 模型名称() # 对象初始化 myModel.fit(训练集x , 训练集y) #

Sequential 序贯模型 序贯模型是函数式模型的简略版,为最简单的线性.从头到尾的结构顺序,不分叉,是多个网络层的线性堆叠. Keras实现了很多层,包括core核心层,Convolution卷积层.Pooling池化层等非常丰富有趣的网络结构. 我们可以通过将层的列表传递给Sequential的构造函数,来创建一个Sequential模型. from keras.models import Sequential from keras.layers import Dense, Activa

问题1:CUDA_ERROR_OUT_OF_MEMORY: How to activate multiple GPUs from Keras in Tensorflow import keras.backend as K config = K.tf.ConfigProto() config.gpu_options.allow_growth = True session = K.tf.Session(config=config) 讀作者的code就能了解數據的格式了.在process_data.p

转自:https://blog.csdn.net/fendouaini/article/details/79821852 1 词向量 在NLP里,最细的粒度是词语,由词语再组成句子,段落,文章.所以处理NLP问题时,怎么合理的表示词语就成了NLP领域中最先需要解决的问题. 因为语言模型的输入词语必须是数值化的,所以必须想到一种方式将字符串形式的输入词语转变成数值型.由此,人们想到了用一个向量来表示词组.在很久以前,人们常用one-hot对词组进行编码,这种编码的特点是,对于用来表示每个词组的向量

序贯(Sequential)模型 序贯模型是多个网络层的线性堆叠,也就是“一条路走到黑”. 可以通过向Sequential模型传递一个layer的list来构造该模型: from keras.models import Sequential from keras.layers import Dense, Activation model = Sequential([ Dense(32, units=784), Activation('relu'), Dense(10), Activation('

keras是基于tensorflow封装的的高级API,Keras的优点是可以快速的开发实验,它能够以TensorFlow, CNTK, 或者 Theano 作为后端运行. 模型构建 最简单的模型是 Sequential 顺序模型,它由多个网络层线性堆叠.对于更复杂的结构,你应该使用 Keras 函数式 API,它允许构建任意的神经网络图. 用Keras定义网络模型有两种方式, Sequential 顺序模型 Keras 函数式 API模型 1.Sequential 顺序模型 from kera

https://keras.io/zh/ https://keras.io/zh/getting-started/functional-api-guide/ https://github.com/keras-team/keras/tree/master/examples Keras 函数式 API 是定义复杂模型(如多输出模型.有向无环图,或具有共享层的模型)的方法.  函数式API: https://keras.io/zh/models/model/ 网络层的实例是可调用的,它以张量为参数,并

NLP中的Word2Vec讲解 word2vec是Google开源的一款用于词向量计算 的工具,可以很好的度量词与词之间的相似性: word2vec建模是指用CBoW模型或Skip-gram模型来计算不同 词语的向量(word vector) CBoW是给定上下文来预测输入词.Skip-gram给定输入词预测上下文,但最终都会得到词向量矩阵W 上图为词向量的部分可视化结构 Statistical Language Model (统计语言模型)  在深入word2vec之前,首先回顾下nlp中的一

1.对词用独热编码进行表示的缺点 向量的维度会随着句子中词的类型的增大而增大,最后可能会造成维度灾难2.任意两个词之间都是孤立的,仅仅将词符号化,不包含任何语义信息,根本无法表示出在语义层面上词与词之间的相关信息,而这一点是致命的. 2.用向量代表词的好处 3.词嵌入的由来 在上文中提过,one-hot 表示法具有维度过大的缺点,那么现在将 vector 做一些改进: 1.将 vector 每一个元素由整形改为浮点型,变为整个实数范围的表示: 2.将原来稀疏的巨大维度压缩嵌入到一个更小维度的空间