C#使用CUDA
随着信息处理的爆炸增长,传统使用CPU计算已经无法满足计算作业增长的需求,GPU的出现为批量作业提供了新的契机。GPU计算拥有很类库,比如CUDA、OpenCL等,但是可以发现CUDA是其中相对比较成熟的一个,也是目前应用最为广发的一种。于此同时开发语言的飞速发展,呈现百花齐放状态,C#语言简单高效,所以本文讲述如何使用C#调用CUDA进行GPU计算。
前言
最近几年计算机有了巨大发展,各种开发语言百花齐放,但是笔者还是钟爱C#语言,尤其是目前微软的生态开放,.NET 技术的跨平台加上方便高效的Visual Studio IDE,使得C#语言的占比不断增加。
【B站小飞机】C#调用CUDA实现GPU计算
本文使用的是C#语言调用C++开发的CUDA类库实现GPU计算,基本条件如下:
选项 | 内容 |
---|---|
操作系统 | Windows 10 |
CUDA版本 | 10.1 |
Visual Studio | 2019 Enterprise |
上述的环境是笔者的环境,如有异同按实际条件。
方法论
本小结介绍使用C++语言开发CUDA程序的共享链接库的方法以及如何使用C#语言调用CUDA类库。
创建C++类库
首先打开Visual Studio,然后创建C++的动态链接库项目,注意一定是动态链接库,请勿使用静态链接库,可能会有错误。
项目创建完毕之后可以看到下面的界面:
创建一个和外界交互的cudaApi.h
文件、两个和CUDA相关的文件CudaKernel.cuh
和CudaKernel.cu
,当然可以缺省为一个文件,但是本着约定大于配置的原则,建议使用两个文件,一个是CUDA的源码文件一个是CUDA的头文件,在头文件中声明函数,源码文件对函数进行实现,之后效果如下:
然后配置一下工程,需要注意的是建议全局是x64环境,必须保证C++的动态链接库项目和C#的项目是同一种类型,一般FX(.NET Framework)默认的是Any CPU,不要使用这个选项,直接指定x64或者x86。
右键选中项目,【生成依赖】 --> 【自定义生成】 --> 【勾选CUDA10】(当然不排除你的事CUDA9或者CUDA8)
然后选择两个CUDA的核文件,选择属性,选中CUDA C/C++
最后选中项目右键,找到【连接器】--> 【输入】,在类库中输入cudart.lib
,点击确定。
作为初期实验,建议先复制我的代码,先理解这个流程之后再自己自定义创建CUDA类库。
//cudaApi.h
#pragma once
#define CUDADD_API __declspec(dllexport)
extern "C" {
//CUDA API
CUDADD_API int arrayAdd(int* a, int* b, int* c, int size);
}
//CudaKernel.cuh
#include "cudaApi.h"
#include "cuda_runtime.h"
#include "device_launch_parameters.h"
__global__ void addKernel(int* c, const int* a, const int* b);
CUDADD_API int arrayAdd(int* a, int* b, int* c, int size);
CUDA核心实现代码\(^{[1]}\):
//CudaKernel.cu
#include "CudaKernel.cuh"
__global__ void addKernel(int* c, const int* a, const int* b)
{
int i = threadIdx.x;
c[i] = a[i] + b[i];
}
CUDADD_API int arrayAdd(int c[], int a[], int b[], int size)
{
int result = -1;
int* dev_a = 0;
int* dev_b = 0;
int* dev_c = 0;
cudaError_t cudaStatus;
cudaStatus = cudaSetDevice(0);
if (cudaStatus != cudaSuccess) {
result = 1;
goto Error;
}
cudaStatus = cudaMalloc((void**)& dev_c, size * sizeof(int));
if (cudaStatus != cudaSuccess) {
result = 2;
goto Error;
}
cudaStatus = cudaMalloc((void**)& dev_a, size * sizeof(int));
if (cudaStatus != cudaSuccess) {
result = 3;
goto Error;
}
cudaStatus = cudaMalloc((void**)& dev_b, size * sizeof(int));
if (cudaStatus != cudaSuccess) {
result = 4;
goto Error;
}
cudaStatus = cudaMemcpy(dev_a, a, size * sizeof(int), cudaMemcpyHostToDevice);
if (cudaStatus != cudaSuccess) {
result = 5;
goto Error;
}
cudaStatus = cudaMemcpy(dev_b, b, size * sizeof(int), cudaMemcpyHostToDevice);
if (cudaStatus != cudaSuccess) {
result = 6;
goto Error;
}
addKernel << <10, size >> > (dev_c, dev_a, dev_b);
cudaStatus = cudaDeviceSynchronize();
if (cudaStatus != cudaSuccess) {
result = 7;
goto Error;
}
cudaStatus = cudaMemcpy(c, dev_c, size * sizeof(int), cudaMemcpyDeviceToHost);
if (cudaStatus != cudaSuccess) {
result = 8;
goto Error;
}
result = 0;
cudaStatus = cudaDeviceReset();
if (cudaStatus != cudaSuccess) {
return 9;
}
Error:
cudaFree(dev_c);
cudaFree(dev_a);
cudaFree(dev_b);
return result;
}
重新生成程序如果不报错就可以成功生成一个CUDA的DLL动态链接库。
到此为止CUDA的动态链接库编写完成,开始编写C#程序,本程序使用的是.NET Core 2.2
,如果你的电脑没有此环境可以自己创建一个C#的控制台项目,代码均相同。
创建C#类库
创建C#项目不再赘述,直接创建控制台项目即可完成测试,下面提供一个我的C#的一个类作为参考:
//CudaRunner.cs
class CudaRunner
{
public void Run()
{
var a = new int[] { 1, 2, 3, 45, 456, 454, 1, 4, 65, 32, 456, 1, 56, 32, 512, 3, 5416, 86, 54, 4236, 12, 113, 321 };
var b = new int[] { 1, 2, 3, 45, 456, 454, 1, 4, 65, 32, 456, 1, 56, 32, 512, 3, 5416, 86, 54, 4236, 12, 113, 321 };
var c = new int[a.Length];
arrayAdd(c, a, b, a.Length);
for (int i = 0; i < c.Length; i++)
{
Console.WriteLine("{0} + {1} = {2}", a[i], b[i], c[i]);
}
}
//.NET Framework 可以相对路径,.NET Core 就需要用绝对路径,或者自己配置
[DllImport(@"C:\Users\muxuan\source\repos\CudaSharpDemo\x64\Debug\CudaSharp.dll", CallingConvention = CallingConvention.StdCall)]
public static extern int arrayAdd(int[] c, int[] a, int[] b, int size);
}
然后在控制台的Program.cs
中调用一下即可,再次强调,这里不要使用Any CPU
!!!
实验环节
实验环节很简单,如果你是用的我的程序可以直接运行查看效果,这是一个矩阵的加法。
结论与总结
到上面的实验环节基本程序部分已经结束,但是你可能会发现使用GPU计算这些数据的速度并没有CPU的快速,原因在哪呢?归结一下两个原因\(^{[2]}\):
计算量太小,不够复杂。GPU的优势是核心较多,每一个核心的计算时间越长,整体的时间差异就会越明显,比如每一个核心计算数耗时是1ms,有1000个计算大概需要耗时1s左右,但是对于GPU(1060)超过1000个CUDA核心时,将在1ms内计算完毕,CPU的理论时间消耗是GPU的1000倍左右。
GPU设备初始化。初始化时间主要来自几个部分:设备初始化、数据拷贝,其中数据初始化耗时是不可控的,属于硬件底层,数据拷贝是指从CPU拷贝数据到GPU计算数据,然后GPU将数据重新拷贝到CPU的过程,这个过程耗时可控也是主导部分。
参考文献
[1] C与CUDA混合编程的配置问题
[2] 新手问下关于CUDA效率的问题
附录
C#使用CUDA的更多相关文章
- CUDA[2] Hello,World
Section 0:Hello,World 这次我们亲自尝试一下如何用粗(CU)大(DA)写程序 CUDA最新版本是7.5,然而即使是最新版本也不兼容VS2015 ...推荐使用VS2012 进入VS ...
- CUDA[1] Introductory
Section 0 :Induction of CUDA CUDA是啥?CUDA®: A General-Purpose Parallel Computing Platform and Program ...
- Couldn't open CUDA library cublas64_80.dll etc. tensorflow-gpu on windows
I c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\stream_executor\dso_load ...
- ubuntu 16.04 + N驱动安装 +CUDA+Qt5 + opencv
Nvidia driver installation(after download XX.run installation file) 1. ctrl+Alt+F1 //go to virtual ...
- 手把手教你搭建深度学习平台——避坑安装theano+CUDA
python有多混乱我就不多说了.这个混论不仅是指整个python市场混乱,更混乱的还有python的各种附加依赖包.为了一劳永逸解决python的各种依赖包对深度学习造成的影响,本文中采用pytho ...
- [CUDA] CUDA to DL
又是一枚祖国的骚年,阅览做做笔记:http://www.cnblogs.com/neopenx/p/4643705.html 这里只是一些基础知识.帮助理解DL tool的实现. “这也是深度学习带来 ...
- 基于Ubuntu14.04系统的nvidia tesla K40驱动和cuda 7.5安装笔记
基于Ubuntu14.04系统的nvidia tesla K40驱动和cuda 7.5安装笔记 飞翔的蜘蛛人 注1:本人新手,文章中不准确的地方,欢迎批评指正 注2:知识储备应达到Linux入门级水平 ...
- CUDA程序设计(一)
为什么需要GPU 几年前我启动并主导了一个项目,当时还在谷歌,这个项目叫谷歌大脑.该项目利用谷歌的计算基础设施来构建神经网络. 规模大概比之前的神经网络扩大了一百倍,我们的方法是用约一千台电脑.这确实 ...
- 使用 CUDA范例精解通用GPU编程 配套程序的方法
用vs新建一个cuda的项目,然后将系统自动生成的那个.cu里头的内容,除了头文件引用外,全部替代成先有代码的内容. 然后程序就能跑了. 因为新建的是cuda的项目,所以所有的头文件和库的引用系统都会 ...
- CUDA代码移植
如果CUDA的代码移植,一个是要 include文件夹对不对,这个是.h文件能否找到的关键,另一个就是lib,这个是.lib文件能否找到的关键.具体检查地方,见下头. include: lib:
随机推荐
- SQL 删除重复记录,只保留一条记录
DELETE FROM py_bond_shenzhen_exchange_opinion_2_1 WHERE id NOT IN (SELECT id FROM (SELECT min(id) AS ...
- centos ntfs-3g not find
1,CentOS默认源里没有ntfs3g,想要添加ntfs支持,需要自己下载编译安装或者加源yum安装.我这里使用的是添加aliyun的epel源来yum安装的方式. 2,添加epel yum源wge ...
- vue 配置CDN加速
1.首先index.html 中配置cdn 引入 <!-- 引入样式 --> <link rel="stylesheet" href="//cdn.bo ...
- C语言学习系列(二)面向过程和面向对象
一.基本定义 (一).面向过程(procedure oriented programming POP) 面向过程是分析解决问题的步骤,然后用函数把这些步骤一步一步的实现,然后在使用的时候一一调用则可. ...
- position:absolute 按钮左右分布:left:0 和 right:0 以及雪碧图
问题:把两个a标签按钮 垂直居中,并且分别把两个按钮放在水平左右两边顶部1,祖父元素设定:position:relative2,把.arrow 设定上下垂直居中 position:absolute; ...
- Appium自动化测试教程-自学网-monkey简介
Monkey简介 在Android的官方自动化测试领域有一只非常著名的“猴子”叫Monkey,这只“猴子”一旦启动,就会让被测的Android应用程序像猴子一样活蹦乱跳,到处乱跑.人们常用这只“猴子” ...
- 004_FreeRTOS创建与删除任务
(一)创建与删除任务函数 (二)上面的四个函数目前只用动态创建任务和删除任务 (三)动态创建任务 函数 xTaxkCreate() 1. 宏 configSUPPORT_DYNAMIC_ALLOCAT ...
- GitLab 如何删除 Forked from
在 GitLab 中有 Forked from. 如何删除这个? 在 Settings 中选择 General 然后选择 Advanced 高级选项 然后单击移除 fork 关系的选项,你就可以将这个 ...
- 实战 Prometheus 搭建监控系统
实战 Prometheus 搭建监控系统 Prometheus 是一款基于时序数据库的开源监控告警系统,说起 Prometheus 则不得不提 SoundCloud,这是一个在线音乐分享的平台,类似于 ...
- elasticsearch _source
默认地,Elasticsearch 在 _source 字段存储代表文档体的JSON字符串.和所有被存储的字段一样, _source 字段在被写入磁盘之前先会被压缩.这个字段的存储几乎总是我们想要的, ...