参考:1. pytorch学习笔记(九):PyTorch结构介绍

2.pytorch学习笔记(七):pytorch hook 和 关于pytorch backward过程的理解

3.Pytorch入门学习(三):Neural Networks

4.forward

神经网络的典型处理如下所示:

1. 定义可学习参数的网络结构(堆叠各层和层的设计);
2. 数据集输入;
3. 对输入进行处理(由定义的网络层进行处理),主要体现在网络的前向传播;
4. 计算loss ,由Loss层计算;
5. 反向传播求梯度;
6. 根据梯度改变参数值,最简单的实现方式(SGD)为:
   weight = weight - learning_rate * gradient
下面是利用PyTorch定义深度网络层(Op)示例:

  1.  
    class FeatureL2Norm(torch.nn.Module):
  2.  
    def __init__(self):
  3.  
    super(FeatureL2Norm, self).__init__()
  4.  
     
  5.  
    def forward(self, feature):
  6.  
    epsilon = 1e-6
  7.  
    # print(feature.size())
  8.  
    # print(torch.pow(torch.sum(torch.pow(feature,2),1)+epsilon,0.5).size())
  9.  
    norm = torch.pow(torch.sum(torch.pow(feature,2),1)+epsilon,0.5).unsqueeze(1).expand_as(feature)
  10.  
    return torch.div(feature,norm)
  1.  
    class FeatureRegression(nn.Module):
  2.  
    def __init__(self, output_dim=6, use_cuda=True):
  3.  
    super(FeatureRegression, self).__init__()
  4.  
    self.conv = nn.Sequential(
  5.  
    nn.Conv2d(225, 128, kernel_size=7, padding=0),
  6.  
    nn.BatchNorm2d(128),
  7.  
    nn.ReLU(inplace=True),
  8.  
    nn.Conv2d(128, 64, kernel_size=5, padding=0),
  9.  
    nn.BatchNorm2d(64),
  10.  
    nn.ReLU(inplace=True),
  11.  
    )
  12.  
    self.linear = nn.Linear(64 * 5 * 5, output_dim)
  13.  
    if use_cuda:
  14.  
    self.conv.cuda()
  15.  
    self.linear.cuda()
  16.  
     
  17.  
    def forward(self, x):
  18.  
    x = self.conv(x)
  19.  
    x = x.view(x.size(0), -1)
  20.  
    x = self.linear(x)
  21.  
    return x

由上例代码可以看到,不论是在定义网络结构还是定义网络层的操作(Op),均需要定义forward函数,下面看一下PyTorch官网对PyTorch的forward方法的描述:

那么调用forward方法的具体流程是什么样的呢?具体流程是这样的:

以一个Module为例:
1. 调用module的call方法
2. module的call里面调用module的forward方法
3. forward里面如果碰到Module的子类,回到第1步,如果碰到的是Function的子类,继续往下
4. 调用Function的call方法
5. Function的call方法调用了Function的forward方法。
6. Function的forward返回值
7. module的forward返回值
8. 在module的call进行forward_hook操作,然后返回值
上述中“调用module的call方法”是指nn.Module 的__call__方法。定义__call__方法的类可以当作函数调用,具体参考Python的面向对象编程。也就是说,当把定义的网络模型model当作函数调用的时候就自动调用定义的网络模型的forward方法。nn.Module 的__call__方法部分源码如下所示:

  1.  
    def __call__(self, *input, **kwargs):
  2.  
    result = self.forward(*input, **kwargs)
  3.  
    for hook in self._forward_hooks.values():
  4.  
    #将注册的hook拿出来用
  5.  
    hook_result = hook(self, input, result)
  6.  
    ...
  7.  
    return result

可以看到,当执行model(x)的时候,底层自动调用forward方法计算结果。具体示例如下:

  1.  
    class Function:
  2.  
    def __init__(self):
  3.  
    ...
  4.  
    def forward(self, inputs):
  5.  
    ...
  6.  
    return outputs
  7.  
    def backward(self, grad_outs):
  8.  
    ...
  9.  
    return grad_ins
  10.  
    def _backward(self, grad_outs):
  11.  
    hooked_grad_outs = grad_outs
  12.  
    for hook in hook_in_outputs:
  13.  
    hooked_grad_outs = hook(hooked_grad_outs)
  14.  
    grad_ins = self.backward(hooked_grad_outs)
  15.  
    hooked_grad_ins = grad_ins
  16.  
    for hook in hooks_in_module:
  17.  
    hooked_grad_ins = hook(hooked_grad_ins)
  18.  
    return hooked_grad_ins

model = LeNet()
y = model(x)
如上则调用网络模型定义的forward方法。

PyTorch之前向传播函数自动调用forward的更多相关文章

  1. pytorch 调用forward 的具体流程

    forward方法的具体流程: 以一个Module为例:1. 调用module的call方法2. module的call里面调用module的forward方法3. forward里面如果碰到Modu ...

  2. 根据判断PC浏览器类型和手机屏幕像素自动调用不同CSS的代码

    1.媒体查询方法在 css 里面这样写 -------------------- @media screen and (min-width: 320px) and (max-width: 480px) ...

  3. paintEvent(QPaintEvent*)是系统自动调用的

    qt中函数paintEvent(QPaintEvent*)是被系统自动调用. paintEvent(QPaintEvent *)函数是QWidget类中的虚函数,用于ui的绘制,会在多种情况下被其他函 ...

  4. QT5.3无法自动调用incomingConnection函数的问题(4.7没有这个问题)

    最近将qt4.7的一个工程移到5.3,遇到了几个麻烦事,主要是这个incomingConnection监听后无法自动调用的问题,在4.7上是完全没有问题的,到了5.3就不行,网上也查了下,网友们都是放 ...

  5. 如果浏览器自动调用quirks模式打开的话

    (从已经死了一次又一次终于挂掉的百度空间人工抢救出来的,发表日期 2014-03-21) 则肯定你的html的声明,没有写好. 今天遇到几个,前面莫名其妙的多了个空格(在网页上看源码是多空格,复制到n ...

  6. PHP中 对象自动调用的方法:__set()、__get()、__tostring()

    总结: (1)__get($property_name):获取私有属性$name值时,此对象会自动调用该方法,将属性name值传给参数$property_name,通过这个方法的内部 执行,返回我们传 ...

  7. C++构造函数的自动调用(调用一个父类的构造函数,有显性调用最好,否则就默认调用无参数的构造函数)——哲学思想:不调用怎么初始化父类的成员数据和VMT?

    我总是记不住构造函数的特点,关键还是没有领会那个哲学思想:父类的构造函数一方面要初始化它自己的成员数据,另一方面也要建立它自己的VMT呀!心里默念一百遍:一定调用父类构造函数,一定调用父类构造函数,一 ...

  8. Object之魔术函数__toString() 直接输出对象引用时自动调用

    __toString()是快速获取对象的字符串信息的便捷方式 在直接输出对象引用时自动调用的方法. __toString()的作用 当我们调试程序时,需要知道是否得出正确的数据.比如打印一个对象时,看 ...

  9. QT5.3无法自动调用incomingConnection函数的问题

    最近将qt4.7的一个工程移到5.3,遇到了几个麻烦事,主要是这个incomingConnection监听后无法自动调用的问题,在4.7上是完全没有问题的,到了5.3就不行,网上也查了下,网友们都是放 ...

随机推荐

  1. 2018 8.8 提高A组模拟赛

    T1 Description 被污染的灰灰草原上有羊和狼.有N只动物围成一圈,每只动物是羊或狼. 该游戏从其中的一只动物开始,报出[1,K]区间的整数,若上一只动物报出的数是x,下一只动物可以报[x+ ...

  2. HR招聘_(九)_招聘方法论(面试环节·薪资谈判和心理把控)

    .薪资谈判 薪资谈判在整个过程中非常重要,如果这一环出现问题前期的所有付出都功亏一篑,无法达成招聘目标. 谈判过程中需要遵循以下原则: 明确 通过面试后需要再次确认候选人的目前薪资和期望,虽然第一次电 ...

  3. Mybatis使用 爬坑记录

    1.mapper.xml可以直接 使用map集合, parameterType="java.util.Map" resultType="java.util.Map&quo ...

  4. Liferay JSP Tag Libraries介绍

    Liferay自带了很多标签库,这极大地提高了开发Liferay项目的效率. 下面让我们一起来探索吧. 什么是标签库? 什么是JSP标签? 什么是JSTL? 标签库由下面这几部分组成: Tag Lib ...

  5. Array操作的方法

    //concat连接数组连接一个或多个数组 //var a = [1,2,3]; //var c=[4,5] //var b = a.concat(c); //console.log(b); //jo ...

  6. 反射技术总结 Day25

    反射总结 反射的应用场合: 在编译时根本无法知道该对象或类属于那些类, 程序只依靠运行时信息去发现类和对象的真实信息 反射的作用: 通过反射可以使程序代码访问到已经装载到JVM中的类的内部信息(属性 ...

  7. CSS Specificity

    CSS的specificity特性或称非凡性,它是一个衡量CSS值优先级的一个标准. 其实就是解决冲突,当同一个元素被CSS选择符选中,按照优先权取舍不同的CSS规则. specificity用一个四 ...

  8. C++ 求向量的交集、并集、差集

    #include<iostream> #include<stdio.h> #include<list> #include<algorithm> //se ...

  9. HDOJ1016 Prime Ring Problem(DFS深层理解)

      Prime Ring Problem                                                                       时间限制: 200 ...

  10. 当pip安装因为网络超时而无法安装的时候慢

    2.4 尝试pip --default-timeout=1000 install  https://download.pytorch.org/whl/cu100/torch-1.1.0-cp36-cp ...