在本节中，我们将学习如何利用DataParallel使用多个GPU。

在PyTorch中使用多个GPU非常容易，你可以使用下面代码将模型放在GPU上：

  1. model.gpu()

然后，你可以将所有张量拷贝到GPU上：

  1. mytensor = my_tensor.gpu()

请注意，仅仅调用my_tensor.gpu()并不会将张量拷贝到GPU上，你需要将它指派给一个新的张量，然后在GPU上使用这个新张量。

在多个GPU上执行你的前向和后向传播是一件很自然的事情。然而，PyTorch默认情况下只会使用一个GPU。不过，通过利用DataParallel使你的模型并行地运行，这样你就能很容易地将操作运行在多个GPU上：

  1. model = nn.DataParallel(model)

这正是本节的核心。下面，我们将更详细地分析该技术。

0x01 导入和参数

下面，导入PyTorch模块并定义相关参数：

  1. import torch
  2. import torch.nn as nn
  3. from torch.autograd import Variable
  4. from torch.utils.data import Dataset, DataLoader
  6. # Parameters and DataLoaders
  7. input_size = 5
  8. output_size = 2
  10. batch_size = 30
  11. data_size = 100

0x02 虚拟数据集

创建一个虚拟的（随机的）数据集。你只需要实现__getitem__方法：

  1. class RandomDataset(Dataset):
  3.     def __init__(self, size, length):
  4.         self.len = length
  5.         self.data = torch.randn(length, size)
  7.     def __getitem__(self, index):
  8.         return self.data[index]
  10.     def __len__(self):
  11.         return self.len
  13. rand_loader = DataLoader(dataset=RandomDataset(input_size, 100),batch_size=batch_size, shuffle=True)

0x03 简单模型

在该demo中，我们的模型只会接受一个输入，并进行一个线性操作，然后给出输出结果。然而，你可以在任何模型（CNN、RNN、Capsule Net等等）上使用DataParallel。

在模型内部我们添加了一个打印语句，以监控输入和输出的张量大小。请注意在rank 0批次时打印的内容：

  1. class Model(nn.Module):
  2.     # Our model
  4.     def __init__(self, input_size, output_size):
  5.         super(Model, self).__init__()
  6.         self.fc = nn.Linear(input_size, output_size)
  8.     def forward(self, input):
  9.         output = self.fc(input)
  10.         print("  In Model: input size", input.size(),
  11.               "output size", output.size())
  13.         return output

0x04 创建模型和数据并行化

这是本教程的核心部分。首先，我们需要创建一个模型实例，并检查我们是否拥有多个GPU。如果拥有多个GPU，那么可以使用nn.DataParallel来封装我们的模型。然后，利用model.gpu()将模型放到GPU上：

  1. model = Model(input_size, output_size)
  2. if torch.cuda.device_count() > 1:
  3.   print("Let's use", torch.cuda.device_count(), "GPUs!")
  4.   # dim = 0 [30, xxx] -> [10, ...], [10, ...], [10, ...] on 3 GPUs
  5.   model = nn.DataParallel(model)
  7. if torch.cuda.is_available():
  8.    model.cuda()

0x05 运行模型

现在，我们可以查看输入与输出张量的大小：

  1. for data in rand_loader:
  2.     if torch.cuda.is_available():
  3.         input_var = Variable(data.cuda())
  4.     else:
  5.         input_var = Variable(data)
  7.     output = model(input_var)
  8.     print("Outside: input size", input_var.size(),
  9.           "output_size", output.size())

输出结果：

  1. In Model: input size torch.Size([30, 5]) output size torch.Size([30, 2])
  2. Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
  3.   In Model: input size torch.Size([30, 5]) output size torch.Size([30, 2])
  4. Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
  5.   In Model: input size torch.Size([30, 5]) output size torch.Size([30, 2])
  6. Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
  7.   In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
  8. Outside: input size torch.Size([10, 5]) output_size torch.Size([10, 2])

0x06 结果

当我们将输入和输出都以30个作为批量大小时，正常情况下该模型会得到30并输出30。但如果你有多个GPU，那么你将会得到下面的结果：

2个GPU

如果你有2个GPU，你将看到：

  1. # on 2 GPUs
  2. Let's use 2 GPUs!
  3.     In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2])
  4.     In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2])
  5. Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
  6.     In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2])
  7.     In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2])
  8. Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
  9.     In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2])
  10.     In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2])
  11. Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
  12.     In Model: input size torch.Size([5, 5]) output size torch.Size([5, 2])
  13.     In Model: input size torch.Size([5, 5]) output size torch.Size([5, 2])
  14. Outside: input size torch.Size([10, 5]) output_size torch.Size([10, 2])

3个GPU

如果你有3个GPU，你将看到：

  1. Let's use 3 GPUs!
  2.     In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
  3.     In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
  4.     In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
  5. Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
  6.     In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
  7.     In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
  8.     In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
  9. Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
  10.     In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
  11.     In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
  12.     In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
  13. Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
  14.     In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
  15.     In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
  16.     In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
  17. Outside: input size torch.Size([10, 5]) output_size torch.Size([10, 2])

8个GPU

如果你有8个GPU，你将看到：

  1. Let's use 8 GPUs!
  2.     In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
  3.     In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
  4.     In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
  5.     In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
  6.     In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
  7.     In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
  8.     In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
  9.     In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
  10. Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
  11.     In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
  12.     In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
  13.     In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
  14.     In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
  15.     In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
  16.     In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
  17.     In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
  18.     In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
  19. Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
  20.     In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
  21.     In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
  22.     In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
  23.     In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
  24.     In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
  25.     In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
  26.     In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
  27.     In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
  28. Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
  29.     In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
  30.     In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
  31.     In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
  32.     In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
  33.     In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
  34. Outside: input size torch.Size([10, 5]) output_size torch.Size([10, 2])

0x07 总结

DataParallel会自动分割数据，并将作业顺序发送给多个GPU上的多个模型。在每个模型完成它们的作业之后，DataParallel会收集并合并结果，然后再返回给你。

关于并行计算的更多信息，可以阅读这里。

【PyTorch深度学习60分钟快速入门 】Part5：数据并行化的更多相关文章

  1. 【PyTorch深度学习60分钟快速入门 】Part1：PyTorch是什么？

      0x00 PyTorch是什么? PyTorch是一个基于Python的科学计算工具包,它主要面向两种场景: 用于替代NumPy,可以使用GPU的计算力 一种深度学习研究平台,可以提供最大的灵活性 ...

  2. 【PyTorch深度学习60分钟快速入门 】Part0：系列介绍

      说明:本系列教程翻译自PyTorch官方教程<Deep Learning with PyTorch: A 60 Minute Blitz>,基于PyTorch 0.3.0.post4 ...

  3. 【PyTorch深度学习60分钟快速入门 】Part4：训练一个分类器

      太棒啦!到目前为止,你已经了解了如何定义神经网络.计算损失,以及更新网络权重.不过,现在你可能会思考以下几个方面: 0x01 数据集 通常,当你需要处理图像.文本.音频或视频数据时,你可以使用标准 ...

  4. 【PyTorch深度学习60分钟快速入门 】Part3：神经网络

      神经网络可以通过使用torch.nn包来构建. 既然你已经了解了autograd,而nn依赖于autograd来定义模型并对其求微分.一个nn.Module包含多个网络层,以及一个返回输出的方法f ...

  5. 【PyTorch深度学习60分钟快速入门 】Part2：Autograd自动化微分

      在PyTorch中,集中于所有神经网络的是autograd包.首先,我们简要地看一下此工具包,然后我们将训练第一个神经网络. autograd包为张量的所有操作提供了自动微分.它是一个运行式定义的 ...

  6. pytorch深度学习60分钟闪电战

    https://pytorch.org/tutorials/beginner/deep_learning_60min_blitz.html 官方推荐的一篇教程 Tensors #Construct a ...

  7. Vue.js 60 分钟快速入门

    Vue.js 60 分钟快速入门 转载 作者:keepfool 链接:http://www.cnblogs.com/keepfool/p/5619070.html Vue.js介绍 Vue.js是当下 ...

  8. 不会几个框架，都不好意思说搞过前端： Vue.js - 60分钟快速入门

    Vue.js——60分钟快速入门   Vue.js是当下很火的一个JavaScript MVVM库,它是以数据驱动和组件化的思想构建的.相比于Angular.js,Vue.js提供了更加简洁.更易于理 ...

  9. Vue.js——60分钟快速入门（转）

    vue:Vue.js——60分钟快速入门 <!doctype html> <html lang="en"> <head> <meta ch ...

随机推荐

  1. boost asio 学习(四)使用strand将任务排序

    http://www.gamedev.net/blog/950/entry-2249317-a-guide-to-getting-started-with-boostasio?pg=5 4. Seri ...

  2. 20170805_Elasticsearch_简介和安装

    官网地址: https://www.elastic.co/guide/en/elasticsearch/reference/current/getting-started.html Elk 是一个可高 ...

  3. 微信公众号自定义菜单中添加emoji表情

    做微信公众号开发,可能会遇到如何加入emoji表情的问题.今天在“海南旅游小管家”公众号的菜单中加入了emoji表情,特此记录备忘. 1.登录微信公众号,在左侧找到[开发者工具]菜单,点击进入,找到[ ...

  4. FJOI2018 部分题解

    领导集团问题 考虑对每一个点暴力dpdpdp:fi,jf_{i,j}fi,j​表示iii为根的子树选出来的点集最小值不小于jjj的点集元素个数最大值. 那么显然fi,j=∑max⁡{fv,k≥j}+1 ...

  5. ESP-IDF版本更新说明（V2.1版）转自github（https://github.com/espressif/esp-idf/releases/）

    ESP-IDF Release v2.1  igrr 发布了这个 on 29 Jul · 自此发布以来,我承诺要 承诺414 自v2.0以来的变化. 突破变化 版本v2.1旨在大大兼容为ESP-IDF ...

  6. socketserver实现FTP

    功能: 1.用户加密认证 2.允许同时多用户登录 3.每个用户有自己的家目录 ,且只能访问自己的家目录 4.对用户进行磁盘配额,每个用户的可用空间不同 5.允许用户在ftp server上随意切换目录 ...

  7. Hive记录-Beeline常用操作命令

    Beeline和其他工具有一些不同,执行查询都是正常的SQL输入,但是如果是一些管理的命令, 比如进行连接,中断,退出,执行Beeline命令需要带上"!",不需要终止符.常用命令 ...

  8. Junit 命令行测试 报错：Could not find class 理解及解决方法

    一.报错 : 『Could not find class』 下面给出三个示例比较,其中只有第一个是正确的. 1. MyComputer:bin marikobayashi$ java -cp .:./ ...

  9. KeepAlived+Nginx 安装

    yum install -y gcc gcc-c++ openssl openssl-devel 目前keepalived最新版本下载:[root@rhel ~]#wget -c http://www ...

  10. JavaScript实现页面显示倒计时功能

    下面是用JS中的日期函数和定时器完成的一个倒计时的例子,效果如图: 代码如下: <!DOCTYPE html> <html> <head> <title> ...