title: [CUDA 基础]5.3 减少全局内存访问 categories: - CUDA - Freshman tags: - 共享内存 - 归约 toc: true date: 2018-06-04 19:47:29 Abstract: 本文介绍使用共享内存进行归约,并比较全局内存归约与共享内存归约之间的性能差距 Keywords: 共享内存,归约 开篇废话 逻辑是非常重要的,一旦你学会了逻辑,很多假的东西你可以轻松的识别出来,这会使你更加强大而不会被任何人或者组织洗脑. 废话少说,开始…

title: [CUDA 基础]4.0 全局内存 categories: - CUDA - Freshman tags: - 全局内存 - CUDA内存模型 - CUDA内存管理 - 全局内存编程 - 全局内存访问模式 - 全局内存数据布局 - 统一内存编程 - 提高内存吞吐量 toc: true date: 2018-04-28 09:43:50 Abstract: 本文为学习CUDA编程的第四章的概要,主要介绍第四章研究的对象 Keywords: 全局内存,CUDA内存模型,CUDA内存管理…

title: [CUDA 基础]5.4 合并的全局内存访问 categories: - CUDA - Freshman tags: - 合并 - 转置 toc: true date: 2018-06-04 21:34:22 Abstract: 本文介绍使用共享内存进行矩阵转置以减少内存的交叉访问 Keywords: 合并,转置 开篇废话 没废话,看以前的废话感觉自己像个傻瓜..就像以后看我正在写的文字一样. 还记得我们矩阵转置的例子么,在全局内存部分介绍的:4.4核函数可达到的带宽 在4.4中我…

title: [CUDA 基础]5.0 共享内存和常量内存 categories: - CUDA - Freshman tags: - 共享内存 - 常量内存 toc: true date: 2018-06-01 16:46:49 Abstract: 本文是第五章关于CUDA共享内存和常量内存的概述 Keywords: 共享内存,常量内存 开篇废话 本文是CUDA第五章的概论,来给出本章的大概思路,文章短小,不说废话. 共享内存和常量内存 在本章中,我们要学习: 数据在共享内存中的安排 二维共享…

title: [CUDA 基础]5.2 共享内存的数据布局 categories: - CUDA - Freshman tags: - 行主序 - 列主序 toc: true date: 2018-06-02 21:01:03 Abstract: 本文主要研究几个关于共享内存的例子,以此来了解共享内存的性质,为我们的核函数加速 Keywords: 行主序,列主序,填充与无填充,从线程索引体映射数据元素 开篇废话 同一个东西,A花大工夫做到极致,成本100,售价200:C模仿A的做法快速的通过仿制…

title: [CUDA 基础]4.3 内存访问模式 categories: - CUDA - Freshman tags: - 内存访问模式 - 对齐 - 合并 - 缓存 - 结构体数组 - 数组结构体 toc: true date: 2018-05-03 22:08:07 Abstract: 本文介绍内存的访问过程,也就是从应用发起请求到硬件实现的完整操作过程,这里是优化内存瓶颈的关键之处,也是CUDA程序优化的基础. Keywords: 内存访问模式,对齐,合并,缓存,结构体数组,数组结构…

title: [CUDA 基础]5.1 CUDA共享内存概述 categories: - CUDA - Freshman tags: - CUDA共享内存模型 - CUDA共享内存分配 - CUDA共享内存访问 - CUDA共享内存配置 - CUDA共享内存同步 toc: true date: 2018-06-01 17:46:23 Abstract: 本文为CUDA内存的概述,介绍共享内存的模型,分配,访问,配置,同步等内容 Keywords: 模型,分配,访问,配置,同步 开篇废话 这里首先…

ps:这是英伟达二面面的一道相关CUDA的题目.<NVIDIA CUDA编程指南>第57页开始          在合并访问这里,不要跟shared memory的bank conflict搞混淆了,这里很重要.          global memory没有被缓存(面试答错了!),因此,使用正确的存取模式来获得最大的内存带宽,更为重要,尤其是如何存取昂贵的设备内存device memory.          首先,设备device有能力,在一个单一指令下,从global memory中读…

在 CUDA C/C++ kernel中使用内存 如何在主机和设备之间高效地移动数据.本文将讨论如何有效地从内核中访问设备存储器,特别是 全局内存 . 在 CUDA 设备上有几种内存,每种内存的作用域.生存期和缓存行为都不同.到目前为止,已经使用了驻留在设备 DRAM 中的 全局内存 ,用于主机和设备之间的传输,以及内核的数据输入和输出.这里的名称 global 是指作用域,因为它可以从主机和设备访问和修改.全局内存可以像下面代码片段的第一行那样使用 __device__ de Clara 说明…

title: [CUDA 基础]4.5 使用统一内存的向量加法 categories: - CUDA - Freshman tags: - 统一内存 - Uniform Memory toc: true date: 2018-05-14 17:24:55 Abstract: 使用统一内存的CUDA程序--向量加法 Keywords: 统一内存,Uniform Memory 开篇废话 本文太短,不说废话. 本文是前面关于统一内存的补充 参考:https://face2ai.com/CUDA-F-4…

title: [CUDA 基础]4.1 内存模型概述 categories: - CUDA - Freshman tags: - CUDA内存模型 - CUDA内存层次结构 - 寄存器 - 共享内存 - 本地内存 - 常量内存 - 纹理内存 - 全局内存 toc: true date: 2018-04-28 22:28:08 Abstract: 本文介绍CUDA编程的内存模型个概述,主要讲解CUDA包含的几种内存,以及各种内存的主要特点和用途,这篇作为内存部分地图一样,指导我们后面的写作和学习.…

CUDA Pro:通过向量化内存访问提高性能 许多CUDA内核受带宽限制,而新硬件中触发器与带宽的比率不断提高,导致带宽受限制的内核更多.这使得采取措施减轻代码中的带宽瓶颈非常重要.本文将展示如何在CUDA C / C ++中使用向量加载和存储,以帮助提高带宽利用率,同时减少已执行指令的数量. 从以下简单的内存复制内核开始. __global__ void device_copy_scalar_kernel(int* d_in, int* d_out, int N) { int idx = bl…

title: [CUDA 基础]4.2 内存管理 categories: - CUDA - Freshman tags: - CUDA内存管理 - CUDA内存分配和释放 - CUDA内存传输 - 固定内存 - 零拷贝内存 - 统一虚拟寻址 - 统一内存寻址 toc: true date: 2018-05-01 21:39:47 Abstract: 本文主要介绍CUDA内存管理,以及CUDA内存模型下的各种内存的特点. Keywords: CUDA内存管理,CUDA内存分配和释放,CUDA内存传…

一.GPU简介 1985年8月20日ATi公司成立,同年10月ATi使用ASIC技术开发出了第一款图形芯片和图形卡,1992年4月ATi发布了Mach32图形卡集成了图形加速功能,1998年4月ATi被IDC评选为图形芯片工业的市场领导者,但那时候这种芯片还没有GPU的称号,很长的一段时间ATi都是把图形处理器称为VPU,直到AMD收购ATi之后其图形芯片才正式采用GPU的名字. NVIDIA公司在1999年发布GeForce 256图形处理芯片时首先提出GPU的概念.GPU使显卡削减了对CPU…

title: [CUDA 基础]5.6 线程束洗牌指令 categories: - CUDA - Freshman tags: - 线程束洗牌指令 toc: true date: 2018-06-06 19:53:12 Abstract: 本文介绍线程束洗牌指令的用法 Keywords: 线程束洗牌指令 开篇废话 赶紧写博客,少说废话. 前面介绍了共享内存,常量内存,只读内存的使用,今天我们来研究一个比较特殊的机制,名字也很特殊,叫做线程束洗牌指令. 支持线程束洗牌指令的设备最低也要3.0以上,…

title: [CUDA 基础]4.4 核函数可达到的带宽 categories: - CUDA - Freshman tags: - 带宽 - 吞吐量 - 矩阵转置 toc: true date: 2018-05-13 12:08:02 Abstract: 本文通过矩阵转置这一个例子,调整,优化核函数,使其达到最优的内存带宽 Keywords: 带宽,吞吐量,矩阵转置 开篇废话 下面是废话,与本文知识无关,可以直接跳到下面红字处开始本文知识的学习. 废话继续,这两天没更新博客了,上一篇是转发的…

title: [CUDA 基础]3.6 动态并行 categories: - CUDA - Freshman tags: - 动态并行 - 嵌套执行 - 隐式同步 toc: true date: 2018-04-24 20:57:48 Abstract: 本文介绍CUDA动态并行--在设备上运行时的网格启动新的子网格 Keywords: 动态并行,嵌套执行 动态并行 本文作为第三章CUDA执行模型的最后一篇介绍动态并行,书中关于动态并行有一部分嵌套归约的例子,但是我认为,这个例子应该对我们用途不…

title: [CUDA 基础]3.5 展开循环 categories: - CUDA - Freshman tags: - 展开归约 - 归约 - 模板函数 toc: true date: 2018-04-19 21:02:08 Abstract: 本文介绍循环展开技术,在归约的基础上继续加速. Keywords: 展开归约,归约,模板函数 开篇废话 博客从CSDN那边截流了一些流量,现在网站访问突然增多到让我有点不适应,于是,想想还是别总盯着流量看吧,注意文章质量,同时保证一定的更新,从数学…

- title: [CUDA 基础]3.4 避免分支分化 categories: - CUDA - Freshman tags: - 规约问题 - 分支分化 toc: true date: 2018-04-17 23:32:55 Abstract: 介绍规约问题中的分支分化问题 Keywords: 规约问题,分支分化 此篇有些结果和参考书中结果相反,需要更深入的技术才能解决 开篇废话 我坚持写博客是因为我上次最困惑最难过的那段时间通过写博客改变了我的非常不好的情况,所以我认为写些东西梳理自己的思…

title: [CUDA 基础]2.3 组织并行线程 categories: CUDA Freshman tags: Thread Block Grid toc: true date: 2018-03-09 21:00:38 Abstract: 本文介绍CUDA模型中的线程组织模式 Keywords: Thread,Block,Grid 开篇废话 一天写两段废话也是有点累了,天天写废话,后面可以开个系列叫做废话.写一句吧,做研究别有民科精神就好,用自己的理论A证明自己的理论B,在用理论B证明理论…

首先我们来看一个公式,MySQL中内存分为全局内存和线程内存两大部分(其实并不全部,只是影响比较大的 部分): 复制代码 代码如下: per_thread_buffers=(read_buffer_size+read_rnd_buffer_size+sort_buffer_size+thread_stack+join_buffer_size+binlog_cache_size+tmp_table_size)*max_connectionsglobal_buffers=innodb_buffer_…

白杨 http://baiy.cn 在我几年前开始写<C++编码规范与指导>一文时,就已经规划着要加入这样一篇讨论 C++ 异常机制的文章了.没想到时隔几年以后才有机会把这个尾巴补完 :-). 还是那句开场白:“在恰当的场合使用恰当的特性” 对每个称职的 C++ 程序员来说都是一个基本标准.想要做到这点,就必须要了解语言中每个特性的实现方式及其时空开销.异常处理由于涉及大量底层内容,向来是 C++ 各种高级机制中较难理解和透彻掌握的部分.本文将在尽量少引入底层细节的前提下,讨论 C++ 中这一…

title: [CUDA 基础]3.2 理解线程束执行的本质(Part I) categories: CUDA Freshman tags: 线程束分化 CUDA分支 toc: true date: 2018-03-14 21:31:16 Abstract: 本文介绍CUDA执行模型最核心的部分,线程束的执行实质第一部分 Keywords: CUDA分支,线程束分化 开篇废话 我们前面已经大概的介绍了CUDA执行模型的大概过程,包括线程网格,线程束,线程间的关系,以及硬件的大概结构,例如SM的大…

waylau/netty-4-user-guide: Chinese translation of Netty 4.x User Guide. 中文翻译<Netty 4.x 用户指南> https://github.com/waylau/netty-4-user-guide Rich Buffer Data Structure 丰富的缓冲实现 · GitBook https://waylau.com/netty-4-user-guide/Architectural%20Overview/Ric…

Jvm基础(2)-Java内存模型 主内存和工作内存 Java内存模型包括主内存和工作内存两个部分:主内存用来存储线程之间的共享变量:而工作内存中存储每个线程的相关变量. 如下图所示: 需要注意的是:这里所讲的主内存.工作内存与上篇文章里所讲的Java内存区域中的Java堆.栈.方法区等并不是同一个层次的内存划分,这两者基本上是没有关系的. 内存间交互操作 在上图中可以看到,工作内存和主内存直接,要通过Save和Load等操作进行数据同步,具体来讲,操作包括: lock(锁定):作用于主内存的变…

一.为什么需要内存对齐? 无论做什么事情,我都习惯性的问自己:为什么我要去做这件事情? 是啊,这可能也是个大家都会去想的问题, 因为我们都不能稀里糊涂的或者.那为什么需要内存对齐呢?这要从cpu的内存访问机制说起. 为了了解清楚cpu的内存访问机制,昨天整晚都在查找资料,但是还是找不到很好的介绍资料.后来只是找到了相关 的一些介绍的博客. 这些博客中大多都是以介绍内存对齐为主要目的,然后顺带着说一下cpu的内存访问机制,所以 找不到权威的资料,后来听说<<汇编语言编程艺术>>这本书…

全局存储器,即普通的显存,整个网格中的随意线程都能读写全局存储器的任何位置. 存取延时为400-600 clock cycles  很easy成为性能瓶颈. 訪问显存时,读取和存储必须对齐,宽度为4Byte.假设没有正确的对齐,读写将被编译器拆分为多次操作,减少訪存性能. 多个warp的读写操作假设可以满足合并訪问,则多次訪存操作会被合并成一次完毕.合并訪问的条件,1.0和1.1的设备要求较严格,1.2及更高能力的设备上放宽了合并訪问的条件. 1.2及其更高能力的设备支持对8 bit.16 bi…

我相信大家都有过这样的经历,在面试过程中,考官通常会给你一道题目,然后问你某个变量存储在什么地方,在内存中是如何存储的等等一系列问题.不仅仅是在面试中,学校里面的考试也会碰到同样的问题.  如果你还不知道答案,请接着往下看.接下来,我们将在Linux操作系统上,以GCC编译器为例来讲解变量的存储.  在计算机系统中,目标文件通常有三种形式: 1. 可重定位的目标文件:包含二进制代码和数据,与其他可重定位目标文件合并起来,创建一个可执行目标文件. 2. 可执行的目标文件:包含二进制代码和数据,其形…

 C#中使用泛型对照使用通用基础类型效率减少近一倍 以下是測试结果: CSharp class and generic TotalMilliseconds: 270772.9229CSharp generic TotalMilliseconds: 269963.3999CSharp normal TotalMilliseconds: 159716.9094 測试代码: using System; using System.Collections.Generic; using System.L…

全局内存版 #include <stdio.h> #include <assert.h> #include "cuda.h" #include "cuda_runtime.h" #include "device_launch_parameters.h" //检查CUDA运行时是否有错误 void checkCUDAError(const char* msg); // Part3: 在全局内存执行内核 /* blockDim…