目录 0. 教程和笔记 1. 模型操作 2. 网络设计 卷积图示 填充(padding) 升采样 全连接层 3. 损失函数 交叉熵 4. 系统或环境交互 模型加载 5. 犯过的错误 损失异常 测试显存过大 0. 教程和笔记 PyTorch官方教程学习笔记:https://www.cnblogs.com/RyanXing/p/10814926.html 最近官方还出了一本书:Deep learning with PyTorch. 1. 模型操作 假设我们有一个用self.arcnn = nn.Se…

目录 1. 快速入门PYTORCH 1.1. 什么是PyTorch 1.1.1. 基础概念 1.1.2. 与NumPy之间的桥梁 1.2. Autograd: Automatic Differentiation 1.2.1. Tensor 1.2.2. Gradients 1.3. Neural Networks 1.3.1. Defind the network 1.3.2. Process inputs and call backward 1.3.3. Loss function 1.3.4…

参考Getting Started with PyTorch Part 1: Understanding how Automatic Differentiation works 非常好的文章,讲解的非常细致. 注意这篇文章基于v0.3,其中的Variable和Tensor在后来把版本中已经合并. from torch import FloatTensor from torch.autograd import Variable # Define the leaf nodes a = Variabl…

(Demo) 这是最近两个月来的一个小总结,实现的demo已经上传github,里面包含了CNN.LSTM.BiLSTM.GRU以及CNN与LSTM.BiLSTM的结合还有多层多通道CNN.LSTM.BiLSTM等多个神经网络模型的的实现.这篇文章总结一下最近一段时间遇到的问题.处理方法和相关策略,以及经验(其实并没有什么经验)等,白菜一枚. Demo Site:  https://github.com/bamtercelboo/cnn-lstm-bilstm-deepcnn-clstm-in-…

torch.nn Parameters class torch.nn.Parameter() 艾伯特(http://www.aibbt.com/)国内第一家人工智能门户,微信公众号:aibbtcom Variable的一种,常被用于模块参数(module parameter). Parameters 是 Variable 的子类.Paramenters和Modules一起使用的时候会有一些特殊的属性,即:当Paramenters赋值给Module的属性的时候,他会自动的被加到 Module的 参…

主要是用函数torch.nn.utils.rnn.PackedSequence()和torch.nn.utils.rnn.pack_padded_sequence()以及torch.nn.utils.rnn.pad_packed_sequence()来进行的,分别来看看这三个函数的用法. 1.torch.nn.utils.rnn.PackedSequence() NOTE: 这个类的实例不能手动创建.它们只能被 pack_padded_sequence() 实例化. PackedSequence…

参考:https://pytorch-cn.readthedocs.io/zh/latest/package_references/torch-autograd/#detachsource 当我们再训练网络的时候可能希望保持一部分的网络参数不变,只对其中一部分的参数进行调整:或者值训练部分分支网络,并不让其梯度对主网络的梯度造成影响,这时候我们就需要使用detach()函数来切断一些分支的反向传播 1   detach()[source] 返回一个新的Variable,从当前计算图中分离下来的,…

Transformer注解及PyTorch实现 原文:http://nlp.seas.harvard.edu/2018/04/03/attention.html 作者:Alexander Rush 转载自机器之心:https://www.jiqizhixin.com/articles/2018-11-06-10?from=synced&keyword=transformer 在学习的过程中,将代码及排版整理了一下,方便阅读. "Attention is All You Need"…

作者用游戏的暂停与继续聊明白了checkpoint的作用,在三种主流框架中演示实际使用场景,手动点赞. 转自:https://blog.floydhub.com/checkpointing-tutorial-for-tensorflow-keras-and-pytorch/ Checkpointing Tutorial for TensorFlow, Keras, and PyTorch This post will demonstrate how to checkpoint your trai…

以下是对pytorch 1.0版本 的seq2seq+注意力模型做法语--英语翻译的理解(这个代码在pytorch0.4上也可以正常跑): # -*- coding: utf-8 -*- """ Translation with a Sequence to Sequence Network and Attention ************************************************************* **Author**: `Sean…