PyTorch基础 摘抄自<深度学习之Pytorch>. Tensor(张量) PyTorch里面处理的最基本的操作对象就是Tensor,表示的是一个多维矩阵,比如零维矩阵就是一个点,一维就是向量,二维就是一般的矩阵,多维就相当于一个多维数组,这和numpy是对应,而且PyTorch的Tensor可以和numpy的ndarray相互转换,唯一不同的是PyTorch可以在GPU上运行,而numpy的ndarray只能在CPU上运行. 常用的不同数据类型的Tensor有32位浮点型torch.Fl…

Pytorch 1.0.0 学习笔记: Pytorch 的学习可以参考:Welcome to PyTorch Tutorials Pytorch 是什么? 快速上手 Pytorch! Tensors(张量) from __future__ import print_function import torch 创建一个没有初始化的 \(5\times 3\) 矩阵: x = torch.empty(5, 3) print(x) tensor([[0.0000e+00, 0.0000e+00, 0.…

DEADLINE: 2020-07-25 22:00 写在最前面: 本课程的主要思路还是要求大家大量练习 pytorch 代码,在写代码的过程中掌握深度学习的各类算法,希望大家能够坚持练习,相信经度过这个酷暑,不知不觉中,你会感觉自己有显著提高.代码教程在 github 上,如遇到图片不显示的情况,可参考博客解决问题:https://blog.csdn.net/qq_38232598/article/details/91346392 目录 1. 视频学习 1.1 绪论 1.2 深度学习概述 1.…

一些基础的操作: import torch as th a=th.rand(3,4) #随机数,维度为3,4的tensor b=th.rand(4)print(a)print(b) a+b tensor([[0.3777, 0.4128, 0.6244, 0.7772], [0.0859, 0.9350, 0.1705, 0.9116], [0.4136, 0.1211, 0.5960, 0.8962]]) tensor([0.5063, 0.4809, 0.4810, 0.4716]) ten…

张量==容器 张量是现代机器学习的基础,他的核心是一个容器,多数情况下,它包含数字,因此可以将它看成一个数字的水桶. 张量有很多中形式,首先让我们来看最基本的形式.从0维到5维的形式 0维张量/标量:装在水桶中的每个数字称为“标量”.标量就是一个数字. 1维张量/标量:数组,一维张量,也被视为“向量",可以把向量视为一个单列或者单行的数字. 2维张量:矩阵.典型的例子就是邮件列表,比如我们有10000个人,每个人都有7个特征(名字,性别,城市等等),张量具有形状,形状是一个水桶,既装着我们数据也…

在神经网络训练时,还涉及到一些tricks,如网络权重的初始化方法,优化器种类(权重更新),图片预处理等,继续填坑. 1. 神经网络初始化(Network Initialization ) 1.1 初始化原因 我们构建好网络,开始训练前,不能默认的将所有权重系数都初始化为零,因为所有卷积核的系数都相等时,提取特征就会一样,反向传播时的梯度也会存在对称性,网络会退化会线性模型.另外网络层数较深时,初始化权重过大,会出现梯度爆炸,而过小又会出现梯度消失.一般权重初始化时需要考虑两个问题: (1)权重…

在炼丹师的路上越走越远,开始入手pytorch框架的学习,越炼越熟吧... 1. 张量的创建和操作 创建为初始化矩阵,并初始化 a = torch.empty(, ) #创建一个5*3的未初始化矩阵 nn.init.zeros_(a) #初始化a为0 nn.init.constant_(a, ) # 初始化a为3 nn.init.uniform_(a) #初始化为uniform分布 随机数矩阵 torch.rand(, ) # * , [, )的随机数torch.rand_like(m) #创建…

本文将自己在pytorch学习中遇见的各种问题整理起来,并且持续更新. 1:torch.Tensor和torch.tensor的区别 开始使用torch.tensor和torch.Tensor的时候发现结果都是一样的.都能生成新的张量.但根源上是有差别的. import torch n=torch.tensor([[3,4],[1,2]]) x=torch.Tensor([[3,4],[1,2]]) print(n,'|||',x) print(n.shape,'|||',x.shape) pr…

一.介绍 内容 "基于神经网络的机器翻译"出现了"编码器+解码器+注意力"的构架,让机器翻译的准确度达到了一个新的高度.所以本次主题就是"基于深度神经网络的机器翻译技术". 我们首先会尝试使用"编码器+简单解码器"的构架,来观察普通编码器-解码器构架能够取得的效果.然后会尝试"编码器+带有注意力机制的解码器"构架,看看加上注意力能让模型获得怎样的提高. 实验知识点 机器翻译"平行语料"的…

一.介绍 内容 使用 RNN 进行序列预测 今天我们就从一个基本的使用 RNN 生成简单序列的例子中,来窥探神经网络生成符号序列的秘密. 我们首先让神经网络模型学习形如 0^n 1^n 形式的上下文无关语法.然后再让模型尝试去生成这样的字符串.在流程中将演示 RNN 及 LSTM 相关函数的使用方法. 实验知识点 什么是上下文无关文法 使用 RNN 或 LSTM 模型生成简单序列的方法 探究 RNN 记忆功能的内部原理 二.什么是上下文无关语法 上下文无关语法 首先让我们观察以下序列: 01 0…