import torch from torch import nn import numpy as np import matplotlib.pyplot as plt # 超参数 # Hyper Parameters TIME_STEP = 10 # rnn time step INPUT_SIZE = 1 # rnn input size LR = 0.02 # learning rate # 生成数据 # show data steps = np.linspace(0, np.pi * 2…

用pytorch1.0搭建简单的神经网络 import torch import torch.nn.functional as F # 包含激励函数 # 建立神经网络 # 先定义所有的层属性(__init__()), 然后再一层层搭建(forward(x))层于层的关系链接 class Net(torch.nn.Module): # 继承 torch 的 Module def __init__(self, n_feature, n_hidden, n_output): super(Net, se…

python的易上手和pytorch的动态图特性,使得pytorch在学术研究中越来越受欢迎,但在生产环境,碍于python的GIL等特性,可能达不到高并发.低延迟的要求,存在需要用c++接口的情况.除了将模型导出为ONNX外,pytorch1.0给出了新的解决方案:pytorch 训练模型 - 通过torch script中间脚本保存模型 -- C++加载模型.最近工作需要尝试做了转换,总结一下步骤和遇到的坑. 用torch script把torch模型转成c++接口可读的模型有两种方式:tr…

参加百度的一个竞赛,官方要求把提交的代码测试环境pyorch1.0,于是将自己计算机pytorch升级到1.0. 在ubuntu下用conda install pytorch 命令安装时,效果很差,解决方法是在win下用迅雷下载pip安装包,然后再ubuntu下用pip安装. 下载的是cuda9.0,python3.6对应的版本的,此时要求cudnn版本升级到7.4,方便以后再次安装,这里将cuda9.0,cudnn7.4,pytorch1.0的百度网盘链接放上. 链接:https://pan.…

官网下载Anaconda安装包,按步骤安装即可安装完后,打开DOS,或Anaconda自带的Anaconda Prompt终端查看Anaconda已安装的安装包C:\Users\jiangshan>conda list安装 matplotlibC:\Users\jiangshan>conda install matplotlib设置镜像# 添加Anaconda的清华镜像C:\Users\jiangshan>conda config --add channels https://mirro…

import torch from torch import nn import torchvision.datasets as dsets import torchvision.transforms as transforms import matplotlib.pyplot as plt # 超参数 # Hyper Parameters # 训练整批数据多少次, 为了节约时间, 只训练一次 EPOCH = 1 # train the training data n times, to sav…

pytorch1.0进行Optimizer 优化器对比 import torch import torch.utils.data as Data # Torch 中提供了一种帮助整理数据结构的工具, 叫做 DataLoader, 能用它来包装自己的数据, 进行批训练. import torch.nn.functional as F # 包含激励函数 import matplotlib.pyplot as plt LR = 0.01 # 学习率 BATCH_SIZE = 32 EPOCH = 12…

pytorch1.0批训练神经网络 import torch import torch.utils.data as Data # Torch 中提供了一种帮助整理数据结构的工具, 叫做 DataLoader, 能用它来包装自己的数据, 进行批训练. torch.manual_seed(1) # reproducible # 批训练的数据个数 BATCH_SIZE = 5 BATCH_SIZE = 8 x = torch.linspace(1, 10, 10) # this is x data (…

pytorch1.0网络保存.提取.加载 import torch import torch.nn.functional as F # 包含激励函数 import matplotlib.pyplot as plt # 假数据 x = torch.unsqueeze(torch.linspace(-1,1,100),dim=1) # x data (tensor), shape=(100, 1) y = x.pow(2) + 0.2*torch.rand(x.size()) # noisy y d…

用pytorch1.0搭建简单的神经网络:进行多分类分析 import torch import torch.nn.functional as F # 包含激励函数 import matplotlib.pyplot as plt # 假数据 # make fake data n_data = torch.ones(100, 2) x0 = torch.normal(2*n_data, 1) # class0 x data (tensor), shape=(100, 2) y0 = torch.z…

搭建简单的神经网络:进行回归分析 import torch import torch.nn.functional as F # 包含激励函数 import matplotlib.pyplot as plt # 建立数据集 x = torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1) # x data (tensor), shape=(100, 1) y = x.pow(2) + 0.2*torch.rand(x.size()) # noisy y…

LeNet 1998年,LeCun提出了第一个真正的卷积神经网络,也是整个神经网络的开山之作,称为LeNet,现在主要指的是LeNet5或LeNet-5,如图1.1所示.它的主要特征是将卷积层和下采样层相结合作为网络的基本机构,如果不计输入层,该模型共7层,包括2个卷积层,2个下采样层,3个全连接层. 图1.1 注:由于在接入全连接层时,要将池化层的输出转换成全连接层需要的维度,因此,必须清晰的知道全连接层前feature map的大小.卷积层与池化层输出的图像大小,其计算如图1.2所示. 图1…

记得第一次接触手写数字识别数据集还在学习TensorFlow,各种sess.run(),头都绕晕了.自从接触pytorch以来,一直想写点什么.曾经在2017年5月,Andrej Karpathy发表的一篇Twitter,调侃道:l've been using PyTorch a few months now, l've never felt better, l've more energy.My skin is clearer. My eye sight has improved.确实,使用p…

查看所有已安装的软件包$ conda list# packages in environment at S:\Users\jiangshan\Anaconda3:## Name Version Build Channel_ipyw_jlab_nb_ext_conf 0.1.0 py37_0 defaultsalabaster 0.7.12 py37_0 defaultsanaconda 2018.12 py37_0 defaults........ 查看当前存在哪些虚拟环境$ conda inf…

===========================================================================================[admin@localhost ~]$ sudo vim /etc/sudoersWe trust you have received the usual lecture from the local SystemAdministrator. It usually boils down to these three…

import torch import torch.nn as nn import numpy as np import matplotlib.pyplot as plt # 超参数设置 # Hyper Parameters BATCH_SIZE = 64 LR_G = 0.0001 # learning rate for generator LR_D = 0.0001 # learning rate for discriminator N_IDEAS = 5 # think of this a…

AutoEncoder (自编码器-非监督学习)神经网络也能进行非监督学习, 只需要训练数据, 不需要标签数据. 自编码就是这样一种形式.自编码能自动分类数据, 而且也能嵌套在半监督学习的上面, 用少量的有标签样本和大量的无标签样本学习. import torch import torch.nn as nn import torch.utils.data as Data import torchvision import matplotlib.pyplot as plt from mpl_too…

不用相当的独立功夫,不论在哪个严重的问题上都不能找出真理:谁怕用功夫,谁就无法找到真理. —— 列宁 本文主要介绍损失函数.优化器.反向传播.链式求导法则.激活函数.批归一化. 1 经典损失函数 1.1交叉熵损失函数——分类 (1)熵(Entropy) 变量的不确定性越大,熵也就越大,把它搞清楚所需要的信息量也就越大.log以2为底! H(x) = E[I(xi)] = E[ log(2,1/p(xi)) ] = -∑p(xi)log(2,p(xi)) (i=1,2,..n) (2)交叉熵(Cr…

人的理想志向往往和他的能力成正比. —— 约翰逊 最近一直在使用pytorch深度学习框架,很想用pytorch搞点事情出来,但是框架中一些基本的原理得懂!本次,利用pytorch实现ResNet神经网络对cifar-10数据集进行分类.CIFAR-10包含60000张32*32的彩色图像,彩色图像,即分别有RGB三个通道,一共有10类图片,每一类图片有6000张,其类别有飞机.鸟.猫.狗等. 注意,如果直接使用torch.torchvision的models中的ResNet18或者ResNet…

File "/usr/local/lib/python2.7/dist-packages/caffe2/python/utils.py", line 10, in <module> from future.utils import viewitemsImportError: No module named future.utils 其实是,future没有安装的缘故: sudo pip install future  -i https://pypi.tuna.tsinghu…

Logistic Regression 特别需要注意的是 exp 和 log 的使用. sigmoid 原始表达式为 1 / (1+exp(-z)),但如果直接使用 z=-710,会显示 overflow.因此对于 z<0 的情况,采用 exp(z) / (1 + exp(z)) ,这样一来,exp(-710) 就没问题了.这就是 scipy 包里的 expit 函数 log_logistic = log(sigmoid),注意和 expit 函数是一致的,分情况讨论. import numpy…

一.RNN 全称为Recurrent Neural Network,意为循环神经网络,用于处理序列数据. 序列数据是指在不同时间点上收集到的数据,反映了某一事物.现象等随时间的变化状态或程度.即数据之间有联系. RNN的特点:1,,层间神经元也有连接(主要为隐层):2,共享参数 其结构如上图所示,数据为顺序处理,在处理长序列数据时,极易导致梯度消失问题. 二.LSTM LSTM为长短期记忆,是一种变种的RNN,在RNN的基础上引入了细胞状态,根据细胞状态可决定哪些状态应该保留下来,哪些状态应该被…

这篇博文不介绍基础的RNN理论知识,只是初步探索如何使用Tensorflow,之后会用笔推导RNN的公式和理论,现在时间紧迫所以先使用为主~~ import numpy as np import tensorflow as tf import matplotlib.pyplot as plt import tensorflow.examples.tutorials.mnist.input_data as input_data from tensorflow.contrib import rnn…

0.背景 RNN模型,特别是包含着门控制的如LSTM等模型,近年来成了深度学习解决序列任务的标准结构.RNN层不但可以解决变长输入的问题,还能通过多层堆叠来增加网络的深度,提升表征能力和提升准确度.然而,标准的RNN(包括LSTM)受限于无法处理那些具有非常长的序列问题,例如文档分类或者字符级别的机器翻译:同样的,其也无法并行化的计算特征或者说,也无法同时针对文档不同部分状态进行计算. CNN模型,特别适合处理图片数据,可是近年来也用在处理序列编码任务了(如文献1).通过应用时间不变性的过滤器函…

1. 注意力模型 1.2 注意力模型概述 注意力模型(attention model)是一种用于做图像描述的模型.在笔记6中讲过RNN去做图像描述,但是精准度可能差强人意.所以在工业界,人们更喜欢用attention model. 结合下图,先简单地讲一下,注意力模型的运作原理. 第一步:进来一张图片 第二步:图片进入卷积神经网络,进行前向运算,将某个卷积层的结果输出.注意,上一个笔记中讲的RNN做图像描述,用的是全链接层的输出.至于说哪个层的输出好,没法下结论,这个需要去不同的场景中做实验比较…

对一张图片实现rnn操作,主要是通过先得到一个整体,然后进行切分,得到的最后input结果输出*_w[‘out’] + _b['out']  = 最终输出结果 第一步: 数据载入 import tensorflow as tf from tensorflow.contrib import rnn from tensorflow.examples.tutorials.mnist import input_data import numpy as np import matplotlib.pyplo…

说的再好,也不如实际行动,今天手写了一个RNN,没有使用Numpy库,自己写的矩阵运算方法,由于这也只是个学习用的demo,所以矩阵运算那一部分写的比较丑陋,见笑了. import com.mylearn.hw.Process as pr class RNN(object): def __init__(self , input_dim , hidden_dim , output_dim , alpha): self.input_dim = input_dim; self.hidden_dim =…

欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld. 技术交流QQ群:433250724,欢迎对算法.技术.应用感兴趣的同学加入. 前面介绍过线性回归的基本知识,线性回归因为它的简单,易用,且可以求出闭合解,被广泛地运用在各种机器学习应用中.事实上,除了单独使用,线性回归也是很多其他算法的组成部分.线性回归的缺点也是很明显的,因为线性回归是输入到输出的线性变换,拟合能力有限:另外,线性回归的目标值可以是(−∞,+∞),而有的时候,目标值的范围是[0,1](可…

0. 前言   这学期 Pattern Recognition 课程的 project 之一是手写数字识别,之二是做一个网站验证码的识别(鸭梨不小哇).面包要一口一口吃,先尝试把模式识别的经典问题——手写数字识别做出来吧.这系列博客参考deep learning tutorial ,记录下用以下三种方法的实现过程: Logistic Regression - using Theano for something simple Multilayer perceptron - introductio…

1. 经常使用类 class tf.contrib.rnn.BasicLSTMCell BasicLSTMCell 是最简单的一个LSTM类.没有实现clipping,projection layer.peep-hole等一些LSTM的高级变种,仅作为一个主要的basicline结构存在,假设要使用这些高级变种,需用class tf.contrib.rnn.LSTMCell这个类. 使用方式: lstm = rnn.BasicLSTMCell(lstm_size, forget_bias=1.0…