optimizer.zero_grad()

# zero the parameter gradients optimizer.zero_grad() # forward + backward + optimize outputs = net(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() optimizer.zero_grad()意思是把梯度置零,也就是把loss关于weight的导数变成0.…

pytorch实现VAE

一.VAE的具体结构二.VAE的pytorch实现 1加载并规范化MNIST import相关类: from __future__ import print_function import argparse import torch import torch.utils.data import torch.nn as nn import torch.optim as optim from torch.autograd import Variable from torchvision impor…

PyTorch教程之Training a classifier

我们已经了解了如何定义神经网络,计算损失并对网络的权重进行更新. 接下来的问题就是: 一.What about data? 通常处理图像.文本.音频或视频数据时,可以使用标准的python包将数据加载到numpy数组中.然后你可以将这个数组转换成一个torch.Tensor. 对于图片, 涉及到的库有Pillowh和OpenCV. 对于音频,涉及到的库有scipy和librosa 对于文本,无论是原始的Python还是基于Cython的加载,都会用到NLTK或者SpaCy. 我们已经创建了一个名…

PyTorch教程之Neural Networks

我们可以通过torch.nn package构建神经网络. 现在我们已经了解了autograd,nn基于autograd来定义模型并对他们有所区分. 一个 nn.Module模块由如下部分构成:若干层,以及返回output的forward(input)方法. 例如,这张图描述了进行数字图像分类的神经网络: 这是一个简单的前馈( feed-forward)网络,读入input内容,每层接受前一级的输入,并输出到下一级,直到给出outpu结果. 一个经典神经网络的训练程序如下: 1.定义具有可学习参…

PyTorch官方中文文档：torch.optim

torch.optim torch.optim是一个实现了各种优化算法的库.大部分常用的方法得到支持,并且接口具备足够的通用性,使得未来能够集成更加复杂的方法. 如何使用optimizer 为了使用torch.optim,你需要构建一个optimizer对象.这个对象能够保持当前参数状态并基于计算得到的梯度进行参数更新. 构建为了构建一个Optimizer,你需要给它一个包含了需要优化的参数(必须都是Variable对象)的iterable.然后,你可以设置optimizer的参数选项,比如学…

深度学习之 cnn 进行 CIFAR10 分类

深度学习之 cnn 进行 CIFAR10 分类 import torchvision as tv import torchvision.transforms as transforms from torchvision.transforms import ToPILImage show = ToPILImage() import torch as t import torch.nn as nn import torch.nn.functional as F transform = transfo…

深度学习之 rnn 台词生成

深度学习之 rnn 台词生成写一个台词生成的程序,用 pytorch 写的. import os def load_data(path): with open(path, 'r', encoding="utf-8") as f: data = f.read() return data text = load_data('./moes_tavern_lines.txt')[81:] train_count = int(len(text) * 0.6) val_count = int(l…

深度学习之 mnist 手写数字识别

深度学习之 mnist 手写数字识别开始学习深度学习,先来一个手写数字的程序 import numpy as np import os import codecs import torch from PIL import Image lr = 0.01 momentum = 0.5 epochs = 10 def get_int(b): return int(codecs.encode(b, 'hex'), 16) def read_label_file(path): with open(pa…

pytorch深度学习60分钟闪电战

https://pytorch.org/tutorials/beginner/deep_learning_60min_blitz.html 官方推荐的一篇教程 Tensors #Construct a 5x3 matrix, uninitialized: x = torch.empty(5, 3) #Construct a randomly initialized matrix: x = torch.rand(5, 3) # Construct a matrix filled zeros and…

Pytorch实现UNet例子学习

参考:https://github.com/milesial/Pytorch-UNet 实现的是二值汽车图像语义分割,包括 dense CRF 后处理. 使用python3,我的环境是python3.6 1.使用 1> 预测 1)查看所有的可用选项: python predict.py -h 返回: (deeplearning) userdeMBP:Pytorch-UNet-master user$ python predict.py -h usage: predict.py [-h] [--m…

pytorch识别CIFAR10：训练ResNet-34（准确率80%）

版权声明:本文为博主原创文章,欢迎转载,并请注明出处.联系方式:460356155@qq.com CNN的层数越多,能够提取到的特征越丰富,但是简单地增加卷积层数,训练时会导致梯度弥散或梯度爆炸. 何凯明2015年提出了残差神经网络,即Reset,并在ILSVRC-2015的分类比赛中获得冠军. ResNet可以有效的消除卷积层数增加带来的梯度弥散或梯度爆炸问题. ResNet的核心思想是网络输出分为2部分恒等映射(identity mapping).残差映射(residual mapping)…

深度学习识别CIFAR10：pytorch训练LeNet、AlexNet、VGG19实现及比较（一）

版权声明:本文为博主原创文章,欢迎转载,并请注明出处.联系方式:460356155@qq.com 前面几篇文章介绍了MINIST,对这种简单图片的识别,LeNet-5可以达到99%的识别率. CIFAR10是另一个著名的深度学习图像分类识别数据集,比MINIST更复杂,而且是RGB彩色图片. 看看较简单的LeNet-5可以达到多少准确率.网络结构基本和前面MINIST代码中的差不多,主要是输入图片的通道数不同,代码如下: # -*- coding:utf-8 -*- u"""…

图像风格迁移（Pytorch）

图像风格迁移最后要生成的图片是怎样的是难以想象的,所以朴素的监督学习方法可能不会生效, Content Loss 根据输入图片和输出图片的像素差别可以比较损失 $l_{content} = \frac{1}{2}\sum (C_c-T_c)^2$ Style Loss 从中间提取多个特征层来衡量损失. 利用$Gram$ $Matrix$(格拉姆矩阵)可以衡量风格的相关性,对于一个实矩阵$X$,矩阵$XX^T$是$X$的行向量的格拉姆矩阵 \(l_{style}=\sum…

用CNN对CIFAR10进行分类（pytorch）

CIFAR10有60000个$32*32$大小的有颜色的图像,一共10种类别,每种类别有6000个. 训练集一共50000个图像,测试集一共10000个图像. 先载入数据集 import numpy as np import torch import torch.optim as optim from torchvision import datasets import torchvision.transforms as transforms transform = transforms.C…

学习笔记-ResNet网络

ResNet网络 ResNet原理和实现总结一.ResNet原理和实现神经网络第一次出现在1998年,当时用5层的全连接网络LetNet实现了手写数字识别,现在这个模型已经是神经网络界的“helloworld”,一些能够构建神经网络的库比如TensorFlow.keras等等会把这个模型当成第一个入门例程.后来卷积神经网络(Convolutional Neural Networks, CNN)一出现就秒杀了全连接神经网络,用卷积核代替全连接,大大降低了参数个数,网络因此也能延伸到十几层到二…

【转载】PyTorch系列 (二)：pytorch数据读取

原文:https://likewind.top/2019/02/01/Pytorch-dataprocess/ Pytorch系列: PyTorch系列(一) - PyTorch使用总览 PyTorch系列(二) - PyTorch数据读取 PyTorch系列(三) - PyTorch网络构建 PyTorch系列(四) - PyTorch网络设置参考: PyTorch documentation PyTorch 码源本文首先介绍了有关预处理包的源码,接着介绍了在数据处理中的具体应用: 其主要…

Pytorch学习笔记（二）---- 神经网络搭建

记录如何用Pytorch搭建LeNet-5,大体步骤包括:网络的搭建->前向传播->定义Loss和Optimizer->训练 # -*- coding: utf-8 -*- # All codes and comments from <<深度学习框架Pytorch入门与实践>> # Code url : https://github.com/zhouzhoujack/pytorch-book # lesson_2 : Neural network of PT(Py…

encode与decode

import torch from torch import nn import numpy as np import matplotlib.pyplot as plt import torch.utils.data as Data import torchvision from mpl_toolkits.mplot3d import Axes3D #画3D图 from matplotlib import cm # Hyper Parameters EPOCH=10 BATCH_SIZE=64…

RNN回归

import torch from torch import nn import numpy as np import matplotlib.pyplot as plt # torch.manual_seed(1) # reproducible # Hyper Parameters TIME_STEP = 10 # rnn time step INPUT_SIZE = 1 # rnn input size LR = 0.02 # learning rate # show data steps =…

RNN和LSTM

一.RNN 全称为Recurrent Neural Network,意为循环神经网络,用于处理序列数据. 序列数据是指在不同时间点上收集到的数据,反映了某一事物.现象等随时间的变化状态或程度.即数据之间有联系. RNN的特点:1,,层间神经元也有连接(主要为隐层):2,共享参数其结构如上图所示,数据为顺序处理,在处理长序列数据时,极易导致梯度消失问题. 二.LSTM LSTM为长短期记忆,是一种变种的RNN,在RNN的基础上引入了细胞状态,根据细胞状态可决定哪些状态应该保留下来,哪些状态应该被…

CNN卷积神经网络

import os # third-party library import torch import torch.nn as nn import torch.utils.data as Data import torchvision import matplotlib.pyplot as plt # torch.manual_seed(1) # reproducible # Hyper Parameters EPOCH = 1 # train the training data n times…

Pytoch机器学习乱玩(一):数学建模作业,体重与心率

动物心率与体重的模型动物消耗的能量p主要用于维持体温,而体内热量通过其表面积S散失,记动物体重为w,则$P \propto S \propto w^{\alpha}$.又$P$正比于血流量$Q$,而$Q=wr$,其中$q$是动物每次心跳泵出的血流量,$r$为心率.假设$q$与$r$成正比,于是$P \propto wr$.于是有$r \propto w^{\alpha-1}=w^a$,有$r=kw^a+b$. import numpy as np i…

Pytorch多GPU训练

Pytorch多GPU训练临近放假, 服务器上的GPU好多空闲, 博主顺便研究了一下如何用多卡同时训练原理多卡训练的基本过程首先把模型加载到一个主设备把模型只读复制到多个设备把大的batch数据也等分到不同的设备最后将所有设备计算得到的梯度合并更新主设备上的模型参数代码实现(以Minist为例) #!/usr/bin/python3 # coding: utf-8 import torch from torchvision import datasets, transforms…

pytorch: 准备、训练和测试自己的图片数据

大部分的pytorch入门教程,都是使用torchvision里面的数据进行训练和测试.如果我们是自己的图片数据,又该怎么做呢? 一.我的数据我在学习的时候,使用的是fashion-mnist.这个数据比较小,我的电脑没有GPU,还能吃得消.关于fashion-mnist数据,可以百度,也可以点此了解一下,数据就像这个样子: 下载地址:https://github.com/zalandoresearch/fashion-mnist 但是下载下来是一种二进制文件,并不是图片,因此我先转换成了…

Pytorch入门实例：mnist分类训练

#!/usr/bin/env python # -*- coding: utf-8 -*- __author__ = 'denny' __time__ = '2017-9-9 9:03' import torch import torchvision from torch.autograd import Variable import torch.utils.data.dataloader as Data train_data = torchvision.datasets.MNIST( './m…