封装cuda/cudnn写卷积网络前向计算程序
参考:http://galoisplusplus.coding.me/blog/2018/05/22/cudaErrorCudartUnloading/
主要是在linux下,使用cuda安装包里的cuda-memcheck来检查内存,它是类似于valgrind的存在。
基本编译配置
首先添加path:
vim ~/.zshrc
export PATH=$PATH:/usr/local/cuda/bin
基于CMake编写C程,cuda相关的内容:
option(use_cuda "Use CUDA?" ON)
if (use_cuda)
#list(APPEND CMAKE_PREFIX_PATH "/usr/local/cuda")
if (CMAKE_SYSTEM_NAME MATCHES "Linux")
set(CUDA_DIR "/usr/local/cuda")
find_package(CUDA REQUIRED)
include_directories("${CUDA_DIR}/include")
link_directories("${CUDA_DIR}/lib64")
elseif (CMAKE_SYSTEM_NAME MATCHES "Windows")
set(CUDA_DIR "$ENV{CUDA_PATH}")
find_package(CUDA REQUIRED)
include_directories("${CUDA_DIR}/include")
link_directories("${CUDA_DIR}/lib/x64")
endif()
endif()
if(use_cuda)
list(APPEND TESTBED_DEP_LIBS
cudart
cudart_static
cuda
cublas_device
cudnn
cublas
)
endif()
target_link_libraries(testbed ${TESTBED_DEP_LIBS})
使用:
cd ~/work/mycode
mkdir build
cd build
cmake ..
make
cuda-memcheck ./run
一些常识
如果cudaMalloc()后忘记cudaFree(),用cuda-memcheck检查不出来这个错误。。据网友说是会自动回收,不知道cuda是否自带了gc功能2333
BN层的坑
如果是卷积层,可以直接调用cudnnConvolutionForward()
函数,它使用caffe一样的padding方式:它的内部默默的做了对称的padding(pad_left == pad_right),调用起来挺容易的。
倒是BN层卡了好久,主要是官方文档有错误。官方文章这样写的:
Note: The input transformation performed by this function is defined as: y := alpha*y + beta *(bnScale * (x-estimatedMean)/sqrt(epsilon + estimatedVariance)+bnBias)
...
alpha, beta
Inputs. Pointers to scaling factors (in host memory) used to blend the layer output value with prior value in the destination tensor as follows: dstValue = alpha[0]*resultValue + beta[0]*priorDstValue.
按照贴出来的文档内容,按它第一行的说法,alpha应该设定为0,beta应该设定为1;按照后面几行的说法,应该是alpha设定为1,beta设定为0。
- Caffe:已经很久没有人来修了,它压根没有调用cudnnBatchNormalizationForwardInference()
- TensorFlow: 并没有调用。。不信你grep查一下,或者github上网页里在repo中搜索,找不到的。
- PyTorch: 还是比较良心,调用了cudnnBatchNormalizationForwardInference( )
- mini-caffe: 也是调用了cudnnBatchNormalizationForwardInference( )
主要参考mini-caffe和PyTorch,发现BN层应该设定alpha为1, beta为0,这样才能正确算出结果来。看看PyTorch的调用:
AT_CUDNN_CHECK(cudnnBatchNormalizationForwardInference(
handle, mode, &one, &zero, //这里,alpha是one, beta是zero
idesc.desc(), input->data_ptr(),
idesc.desc(), output->data_ptr(),
wdesc.desc(),
weight->data_ptr(),
bias->data_ptr(),
running_mean->data_ptr(),
running_var->data_ptr(),
epsilon));
当然这里还有一个教训:但凡用CuDNN的xxxDescriptor参数说明的地方,它后面紧接着的几个变量,应该是gpu指针,也就是其值为GPU上的地址,而如果是CPU上的地址就会导致内存错误,比如代码为4或77。
举例:
cudnnStatus = cudnnBatchNormalizationForwardInference(
layer_base->handle_cudnn,
CUDNN_BATCHNORM_PER_ACTIVATION,
&alpha,
&beta,
bnlayer->bn_layer_input_desc,
layer_base->bottom_blobs_ptr[0]->gpu_data_ptr, //gpu上的
bnlayer->bn_layer_output_desc,
layer_base->top_blobs_ptr[0]->gpu_data_ptr, //gpu上的
bnlayer->bn_layer_scale_bias_mean_var_desc,
bnlayer->scale_dev, //gpu上的
bnlayer->shift_dev, //gpu上的
bnlayer->mean_dev, //gpu上的
bnlayer->variance_dev,//gpu上的
bnlayer->eps
);
cuda基础
CUDA架构的目的,就是减轻早期GPU计算中存在的限制,这些限制使之前的GPU在通用计算中没有广泛应用。
换言之,CUDA就是为了让NVIDIA GPU用于通用计算的技术。
CUDA编程,使用C/C++即可,它仅仅是增加了个别关键字。不需要使用Shader Language,不需要掌握OpenGL,因此编程门槛降低。
编译器:CUDA C程序需要同时在CPU和N卡上执行计算,分别需要各自的编译器。GPU上的编译器,也就是nvcc了。CPU上的话cl.exe/gcc/clang等。
host和device: CPU以及main memory,叫做host;GPU上的memory称为device。 内存拷贝的时候,用cudaMemcpy(),要指定内存拷贝的来源和目的地,是host还是device。
kernel: GPU上执行的函数称为kernel。
向cuda核函数传入结构体指针?
C语言传参,本质上是拷贝一份,因此:简单数据类型直接传入即可,反正复制成本低;复杂类型则传入指针,复制成本低。
而如果需要向函数传入多个参数,就希望传入一个结构体或其指针,作为他们的一个封装。
然而,直接向cuda kernel函数传入CPU下的结构体指针是不行的。问题很明显:把host上的指针给device用,寻址会出现问题。
解决思路有三种:
- 使用host和device的统一寻址
- 分别创建host和device上的结构体指针,参考https://blog.csdn.net/u013701860/article/details/52605137
- 向cuda kernel函数传入多个参数
举个栗子:传入结构体的拷贝是OK的(just_demo
),传入host上结构体指针的拷贝,cuda kernel函数会报废的(just_demo2
):
#include <stdio.h>
#define CHECK_CUDA(call) \
{ \
const cudaError_t cudaStatus = call; \
if (cudaStatus != cudaSuccess) { \
printf("Error! in file %s, line %d, ", __FILE__, __LINE__); \
printf("code: %d, reason: %s\n", cudaStatus, cudaGetErrorString(cudaStatus)); \
exit(1); \
} \
}
typedef struct Pad{
int left;
int right;
int top;
int bottom;
}Pad;
__global__ void just_demo(Pad pad) {
printf("blockIdx: (%d, %d, %d), threadIdx: (%d, %d, %d)",
blockIdx.x, blockIdx.y, blockIdx.z,
threadIdx.x, threadIdx.y, threadIdx.z);
printf("pad: left=%d, right=%d, top=%d, bottom=%d\n",
pad.left,
pad.right,
pad.top,
pad.bottom);
}
__global__ void just_demo2(Pad* pad) {
printf("blockIdx: (%d, %d, %d), threadIdx: (%d, %d, %d)",
blockIdx.x, blockIdx.y, blockIdx.z,
threadIdx.x, threadIdx.y, threadIdx.z);
printf("pad: left=%d, right=%d, top=%d, bottom=%d\n",
pad->left,
pad->right,
pad->top,
pad->bottom);
}
int main(void){
Pad pad;
pad.left = 1;
pad.right = 0;
pad.top = 1;
pad.bottom = 0;
size_t buf_size = 3*4*4*sizeof(float);
float* data_host = (float*)malloc(buf_size);
float* data_dev;
CHECK_CUDA(cudaMalloc(&data_dev, buf_size));
just_demo<<<3, 5>>> (pad); // this is OK
//just_demo2<<<3, 5>>> (&pad); // this will cause unspecified launch failure
CHECK_CUDA(cudaMemcpy(data_host, data_dev, buf_size, cudaMemcpyDeviceToHost));
return 0;
}
封装cuda/cudnn写卷积网络前向计算程序的更多相关文章
- 2. CNN卷积网络-前向传播算法
1. CNN卷积网络-初识 2. CNN卷积网络-前向传播算法 3. CNN卷积网络-反向更新 1. 前言 我们已经了解了CNN的结构,CNN主要结构有输入层,一些卷积层和池化层,后面是DNN全连接层 ...
- 3. CNN卷积网络-反向更新
1. CNN卷积网络-初识 2. CNN卷积网络-前向传播算法 3. CNN卷积网络-反向更新 1. 前言 如果读者详细的了解了DNN神经网络的反向更新,那对我们今天的学习会有很大的帮助.我们的CNN ...
- 1. CNN卷积网络-初识
1. CNN卷积网络-初识 2. CNN卷积网络-前向传播算法 3. CNN卷积网络-反向更新 1. 前言 卷积神经网络是一种特殊的深层的神经网络模型,它的特殊性体现在两个方面, 它的神经元间的连接是 ...
- 学习笔记CB009:人工神经网络模型、手写数字识别、多层卷积网络、词向量、word2vec
人工神经网络,借鉴生物神经网络工作原理数学模型. 由n个输入特征得出与输入特征几乎相同的n个结果,训练隐藏层得到意想不到信息.信息检索领域,模型训练合理排序模型,输入特征,文档质量.文档点击历史.文档 ...
- 基于TensorFlow解决手写数字识别的Softmax方法、多层卷积网络方法和前馈神经网络方法
一.基于TensorFlow的softmax回归模型解决手写字母识别问题 详细步骤如下: 1.加载MNIST数据: input_data.read_data_sets('MNIST_data',one ...
- 利用TensorFlow识别手写的数字---基于两层卷积网络
1 为什么使用卷积神经网络 Softmax回归是一个比较简单的模型,预测的准确率在91%左右,而使用卷积神经网络将预测的准确率提高到99%. 2 卷积网络的流程 3 代码展示 # -*- coding ...
- EdgeFormer: 向视觉 Transformer 学习,构建一个比 MobileViT 更好更快的卷积网络
前言 本文主要探究了轻量模型的设计.通过使用 Vision Transformer 的优势来改进卷积网络,从而获得更好的性能. 欢迎关注公众号CV技术指南,专注于计算机视觉的技术总结.最新技术跟 ...
- Pytorch从0开始实现YOLO V3指南 part3——实现网络前向传播
本节翻译自:https://blog.paperspace.com/how-to-implement-a-yolo-v3-object-detector-from-scratch-in-pytorch ...
- [框架安装趟雷指南]Ubuntu+1060+cuda+cudnn+Keras+TH+TF+MXnet
[框架安装趟雷指南]Ubuntu+1060+cuda+cudnn+Keras+TH+TF+MXnet https://zhuanlan.zhihu.com/p/23480983 天清 9 个月前 写这 ...
随机推荐
- SpringCloud概述
⒈官网说明 SpringCloud是基于SpringBoot提供了一套微服务解决方案,包括服务注册与发现.配置中心.全链路监控.服务网关.负载均衡.熔断器等组件,除了基于Netflix的开源组件做高度 ...
- PHP连接MySQL查询中文时显示Notice: Trying to get property of non-object
1.保证MySQL和PHP的编码一致 MySQL 修改整个数据库的编码格式 注意:如果数据不重要的话,可以直接使用更改数据库的编码格式,再重新建表即可.(此例中的数据库是test) alter ...
- V4L2 API详解 <二> Camera详细设置【转】
转自:http://blog.sina.com.cn/s/blog_602f87700101bf36.html 作者: Sam (甄峰) sam_code@hotmail.com Camera的 ...
- MySQL中binlog参数:binlog_rows_query_log_events-记录具体的SQL【转】
在使用RBR也就是行格式的时候,去解析binlog,需要逆向才能分析出对应的原始SQL是什么,而且,里面对应的是每一条具体行变更的内容.当然,你可以开启general log,但如果我们需要的只是记录 ...
- ffmpeg 增加视频流媒体质量评估滤镜 (Video Multimethod Assessment Fusion, VMAF)
URL: https://github.com/Netflix/vmaf libvmaf Obtain the VMAF (Video Multi-Method Assessment Fusion) ...
- RocketMQ实战快速入门
转自:https://www.jianshu.com/p/824066d70da8 一.RocketMQ 是什么 Github 上关于 RocketMQ 的介绍:RcoketMQ 是一款低延 ...
- web中绝对路径换虚拟路径
最近在做一个web项目,将图片上传到服务器后,再访问时拿到的是绝对路劲,而需要的是虚拟路劲.经过一番折腾找到了下列方法可以直接转换. /// <summary> /// 将W ...
- oracle 定时 job
最近在工作中遇到了要在oracle里面创建一个定时job,从远程数据库里面定时把某张表里面的数据更新到本地服务器上某个表里,具体操作: 1.在自己数据库里面先创建一张表test create tabl ...
- 洛谷P3246 [HNOI2016]序列 [莫队]
传送门 思路 看到可离线.无修改.区间询问,相信一定可以想到莫队. 然而,莫队怎么转移是个大问题. 考虑\([l,r]\rightarrow[l,r+1]\)时答案会怎样变化?(左端点变化时同理) \ ...
- AMD-requireJS
require.js是AMD的一种实现形式. 加载: <script src="require.js" data-main="main"></ ...