最近用tensorflow写了个OCR的程序,在实现的过程中,发现自己还是跳了不少坑,在这里做一个记录,便于以后回忆.主要的内容有lstm+ctc具体的输入输出,以及TF中的CTC和百度开源的warpCTC在具体使用中的区别. 正文 输入输出 因为我最后要最小化的目标函数就是ctc_loss,所以下面就从如何构造输入输出说起. tf.nn.ctc_loss 先从TF自带的tf.nn.ctc_loss说起,官方给的定义如下,因此我们需要做的就是将图片的label(需要OCR出的结果),图片,以及图…

SSD_300_vgg和SSD_512_vgg weights下载链接[需要科学上网~]: Model Training data Testing data mAP FPS SSD-300 VGG-based VOC07+12+COCO trainval VOC07 test 0.817 - SSD-300 VGG-based VOC07+12 trainval VOC07 test 0.778 - SSD-512 VGG-based VOC07+12+COCO trainval VOC07 t…

1. Embedding的使用 pytorch中实现了Embedding,下面是关于Embedding的使用. torch.nn包下的Embedding,作为训练的一层,随模型训练得到适合的词向量. 建立词向量层 embed = torch.nn.Embedding(n_vocabulary,embedding_size) 找到对应的词向量放进网络:词向量的输入应该是什么样子 实际上,上面通过随机初始化建立了词向量层后,建立了一个"二维表",存储了词典中每个词的词向量.每个mini-b…

一.简介 循环神经网络(recurrent neural network,RNN),是一类专门用于处理序列数据(时间序列.文本语句.语音等)的神经网络,尤其是可以处理可变长度的序列:在与传统的时间序列分析进行比较的过程之中,RNN因为其梯度弥散等问题对长序列表现得不是很好,而据此提出的一系列变种则展现出很明显的优势,最具有代表性的就是LSTM(long short-term  memory),而本文就从标准的循环神经网络结构和原理出发,再到LSTM的网络结构和原理,对其有一个基本的认识和阐述:…

看过前面的例子,会发现实现深度神经网络需要使用 tensorflow.nn 这个核心模块.我们通过源码来一探究竟. # Copyright 2015 Google Inc. All Rights Reserved. # # Licensed under the Apache License, Version 2.0 (the "License"); # you may not use this file except in compliance with the License. #…

一.LSTM(长短期记忆网络) LSTM是一种特殊的RNN类型,一般的RNN结构如下图所示,是一种将以往学习的结果应用到当前学习的模型,但是这种一般的RNN存在着许多的弊端.举个例子,如果我们要预测“the clouds are in the sky”的最后一个单词,因为只在这一个句子的语境中进行预测,那么将很容易地预测出是这个单词是sky.在这样的场景中,相关的信息和预测的词位置之间的间隔是非常小的,RNN 可以学会使用先前的信息.   标准的RNN结构中只有一个神经元,一个tanh层进行重复…

原文地址:https://blog.csdn.net/happyrocking/article/details/83657993 RNN(Recurrent Neural Network)是一类用于处理序列数据的神经网络.什么是序列呢?序列是一串有顺序的数据,比如某一条数据为 [x1,x2,x3,x4][x1,x2,x3,x4]      [x_1, x_2, x_3, x_4][x1​,x2​,x3​,x4​],其中每个元素可以是一个字符.一个单词.一个向量,甚至是一个声音.比如: 自然语言处…

参考Tensorflow Machine Leanrning Cookbook tf.ConfigProto()主要的作用是配置tf.Session的运算方式,比如gpu运算或者cpu运算 具体代码如下: import tensorflow as tf session_config = tf.ConfigProto( log_device_placement=True, inter_op_parallelism_threads=0, intra_op_parallelism_threads=0,…

123456789101112lstm=nn.LSTM(input_size,                     hidden_size,                      num_layers)x                         seq_len,                          batch,                              input_sizeh0            num_layers× \times×num_di…

最近在用到数据筛选,观看代码中有tf.where()的用法,不是很常用,也不是很好理解.在这里记录一下 tf.where( condition, x=None, y=None, name=None ) Return the elements, either from x or y, depending on the condition. 理解:where嘛,就是要根据条件找到你要的东西. condition:条件,是一个boolean x:数据 y:同x维度的数据. 返回,返回符合条件的数据.当…