CUDA上深度学习模型量化的自动化优化
CUDA上深度学习模型量化的自动化优化
深度学习已成功应用于各种任务。在诸如自动驾驶汽车推理之类的实时场景中,模型的推理速度至关重要。网络量化是加速深度学习模型的有效方法。在量化模型中,数据和模型参数都用诸如int8和float16低精度数据类型表示。降低的数据带宽减少了推理时间和存储器/存储要求,以及功耗。在适当的量化方案下,可以最小化量化模型的精度下降。因此,量化模型特别适合研究人员和开发人员,使大型模型适合在各种设备(例如GPU,CPU和移动设备)上部署。
通常通过手工微内核,针对不同的工作量来优化量化算子,或者依赖于cuDNN和TensorRT等黑盒专有解决方案。在集成中编写高性能微内核,可能非常困难,通常需要大量的工程工作。此外,很难使这些临时微内核,适应新兴的工作负载和新设备。
图1. TVM,TensorRT和MXNet上不同模型的推理时间
TVM通过全栈编译器和基于机器学习的优化器,自动生成计算内核,从而解决了这一难题。TVM可以通过在人为设计的搜索空间,进行自动搜索来生成有效的内核。在VGG和ResNet等标准工作负载中,TVM与其它最新框架相比具有竞争优势。在诸如ResNeXt和Deformable ConvNets之类的新兴模型中,自动优化使TVM可以轻松适应这些新工作负载并显着提高性能。
本文将展示如何使用TVM在CUDA上自动优化量化深度学习模型。
在TVM中表达量化的CUDA内核
通过张量化利用张量本征
许多平台都为特殊的计算模式,提供了特定于体系结构的指令,例如x86上的SIMD指令dp4a以及hfmaCUDA上的指令。这些内部指令针对特定设备进行了高度优化。通过利用硬件内部函数,可以为量化算子带来显着的性能提升。
目前,dp4a已被CUDA上的TVM int8 算子广泛使用。dp4a是Compute Capability 6.1设备上固有的CUDA。这是一种混合精度指令,可以高效地计算两个4元素8位整数向量之间的点积,并以32位格式累加结果。使用dp4a,可以在8位整数向量之间实现点积,其元素数可以被4整除。使用高效的点积算子,可以实现高级算子,例如2D卷积和密集层,这些算子通常由点积支持。
为了说明这一点,在二维卷积中,沿着内核的通道,宽度和高度进行累积。这是的典型用例dp4a。TVM使用张量化来支持调用外部内部函数。不需要修改原始的计算声明;使用调度原语tensorize,用dp4a张量内部函数代替累加。
数据布局重排
张量化的挑战之一,可能需要设计特殊的计算逻辑,适应张量本征的要求。尽管在密集算子中沿张量的内轴累积是很自然的,conv2d但可能更具挑战性。在conv2d期望采取切片作为输入端的通道尺寸dp4a,因为信道数目通常是4的倍数(否则回落到原来conv2d在NCHW布局)。为了实现内存局部性,先沿最内轴减小。考虑到这些因素,使用自定义数据布局来应对这一挑战。
在CUDA int8 2d卷积中,根据经验选择NCHW4c作为数据布局和OIHW4o4i权重布局。模板可以很容易地推广到NCHW[x]c和OIHW[x]o[x]i,其中x是可以被4整除的任意正整数。选择数据布局中,通道切片位于打包的最里面维度中。同样,在权重的输入和输出通道尺寸中打包切片,以使输出与输入具有一致的数据布局,从而防止了图层之间的多余布局转换。
在图2中显示了2d卷积输出的一个元素的计算。超尺寸(包含打包元素的块状布局的外部尺寸)每个位置的元素NCHW和OIHW分别是打包的输入和内核。打包内核的每一列都来自不同的过滤器。使用dp4a来计算压缩输入和压缩内核中每一行之间的点积,将结果累加到输出张量。
图2. NCHW4c中的数据布局和OIHW4o4i中的权重布局的二维卷积。 左:NCHW4c布局中的输入张量。内核的一个移动的过滤器被染成蓝色。输入和内核的一个元素以灰色显示。 中:灰色块中的打包输入和内核。 右:NCHW4c布局中的输出。所示一个元素内,通道子维度中有四个压缩元素。
在指定卷积层的布局之后,其它算子(例如add和激活),可以在Relay的AlterOpLayout传递期间,自动适应所选的布局。权重的布局转换,可以离线进行预先计算。可以在相同的布局中,运行整个模型而无需额外的开销。
设计搜索空间以进行自动优化
在量化算子中获得良好性能的关键是与基于机器学习的自动优化相集成。一个问题是如何设计有效的调度搜索空间。有效的调度模板意味着在自动调整中,可以通过合理的迭代次数获得良好的性能。一般而言,努力定义一个灵活的模板,覆盖搜索空间中的不同配置。另一方面,利用性能优化方面的先验知识。例如,由于在CUDA编程中将数据缓存在共享内存中是一种常见的做法,利用共享内存,使用机器学习来选择最佳的图块大小。还进行了一些手动平铺,例如将轴分割为4或16,以便于向量化内存访问。
在量化的2d卷积中,设计了一个搜索空间,其中包括一组可调选项,例如图块大小,要融合的轴,循环展开和双缓冲的配置。在CUDA上注册了量化模板conv2d和denseCUDA模板int8。在自动调整期间,可以通过设置template_key参数来为这些量化算子创建调整任务。
一般工作流程
图3.运行量化模型的工作流程
TVM提供了一个简单的工作流程,可以从其它框架量化训练后的模型,自动优化算子(使用AutoTVM),部署到其它设备。
首先,使用Relay前端导入现有模型。在这里,以带有(1, 3, 224, 224)输入形状的MXNet模型为例。
sym, arg_params, aux_params = mxnet.model.load_checkpoint(model_path, epoch)
net, params = relay.from_mxnet(sym, shape={'data': (1, 3, 224, 224)}, arg_params=arg_params, aux_params=aux_params)
接下来,使用Relay量化API将其转换为量化模型。
net = relay.quantize.quantize(net, params=params)
然后,使用AutoTVM为模型中的算子,提取调整任务并执行自动优化。
最后,建立模型并以量化模式运行推理。
with relay.build_config(opt_level=3):
graph, lib, params = relay.build(net, target)
结果relay.build是可部署的库。可以直接在GPU上运行推理,也可以通过RPC部署在远程设备上。
基准
为了验证TVM中量化算子的性能,对几种流行的网络模型(包括VGG-19,ResNet-50和Inception V3)的性能进行了基准测试。还对来自可变形卷积网络的DRN-C-26,ResNeXt-50和DCN-ResNet-101进行基准测试,以显示新兴模型的性能,其中包含较少的常规算子,例如膨胀卷积,组卷积和可变形卷积。选择NVIDIA TensorRT作为基准。据报道,在float32模式下MXNet 1.4 + cuDNN 7.3的结果显示了量化的加快。实验是在NVIDIA GTX 1080上进行的。当以批处理大小=1和16运行时,报告每个图像的推理时间。
如图1所示,TVM使用量化实现了高达8倍的加速。在VNG和ResNet等标准CNN模型中,TVM与TensorRT的最新结果保持一致。
在对新兴模型进行基准测试时,TVM取得了令人印象深刻的结果。在ResNeXt和DCN-ResNet-101上获得了可观的性能提升。TensorRT的DCN-ResNet-101的结果不可用,因为尚无可变形卷积的正式实现。TVM中的自动优化,可以轻松灵活地支持和优化新兴的工作负载。
CUDA上深度学习模型量化的自动化优化的更多相关文章
- CUDA上的量化深度学习模型的自动化优化
CUDA上的量化深度学习模型的自动化优化 深度学习已成功应用于各种任务.在诸如自动驾驶汽车推理之类的实时场景中,模型的推理速度至关重要.网络量化是加速深度学习模型的有效方法.在量化模型中,数据和模型参 ...
- NVIDIA GPUs上深度学习推荐模型的优化
NVIDIA GPUs上深度学习推荐模型的优化 Optimizing the Deep Learning Recommendation Model on NVIDIA GPUs 推荐系统帮助人在成倍增 ...
- TVM将深度学习模型编译为WebGL
使用TVM将深度学习模型编译为WebGL TVM带有全新的OpenGL / WebGL后端! OpenGL / WebGL后端 TVM已经瞄准了涵盖各种平台的大量后端:CPU,GPU,移动设备等.这次 ...
- AI佳作解读系列(一)——深度学习模型训练痛点及解决方法
1 模型训练基本步骤 进入了AI领域,学习了手写字识别等几个demo后,就会发现深度学习模型训练是十分关键和有挑战性的.选定了网络结构后,深度学习训练过程基本大同小异,一般分为如下几个步骤 定义算法公 ...
- 『高性能模型』Roofline Model与深度学习模型的性能分析
转载自知乎:Roofline Model与深度学习模型的性能分析 在真实世界中,任何模型(例如 VGG / MobileNet 等)都必须依赖于具体的计算平台(例如CPU / GPU / ASIC 等 ...
- 深度学习模型stacking模型融合python代码,看了你就会使
话不多说,直接上代码 def stacking_first(train, train_y, test): savepath = './stack_op{}_dt{}_tfidf{}/'.format( ...
- 利用 TFLearn 快速搭建经典深度学习模型
利用 TFLearn 快速搭建经典深度学习模型 使用 TensorFlow 一个最大的好处是可以用各种运算符(Ops)灵活构建计算图,同时可以支持自定义运算符(见本公众号早期文章<Tenso ...
- Roofline Model与深度学习模型的性能分析
原文链接: https://zhuanlan.zhihu.com/p/34204282 最近在不同的计算平台上验证几种经典深度学习模型的训练和预测性能时,经常遇到模型的实际测试性能表现和自己计算出的复 ...
- 在NLP中深度学习模型何时需要树形结构?
在NLP中深度学习模型何时需要树形结构? 前段时间阅读了Jiwei Li等人[1]在EMNLP2015上发表的论文<When Are Tree Structures Necessary for ...
随机推荐
- Ball
玉 図のように二股に分かれている容器があります.1 から 10 までの番号が付けられた10 個の玉を容器の開口部 A から落とし.左の筒 B か右の筒 C に玉を入れます.板 D は支点 E を中心に ...
- 【golang】golang中结构体的初始化方法(new方法)
准备工作: 定义结构体:Student import ( "fmt" "reflect") type Student struct { StudentId st ...
- 【Feign】Feign ,OpenFeign以及Ribbon之间的区别?
Ribbon Ribbon 是 Netflix开源的基于HTTP和TCP等协议负载均衡组件 Ribbon 可以用来做客户端负载均衡,调用注册中心的服务 Ribbon的使用需要代码里手动调用目标服务,请 ...
- 【CPU100%排查】CPU100%问题排查方案
1.使用top -c 查看CPU 占用情况 ,按P(大写)可以倒序查看占CPU占用率 2.找到占用率高的进程以后,再定位到具体线程 比如 此时进程ID 14724 CPU占用高,进一步使用top - ...
- Word/Excel文档伪装病毒-kspoold.exe分析
一. 病毒样本基本信息 样本名称:kspoold.exe 样本大小: 285184 字节 样本MD5:CF36D2C3023138FE694FFE4666B4B1B2 病毒名称:Win32/Troja ...
- PAT 乙级 -- 1010 -- 一元多项式求导
题目简述 设计函数求一元多项式的导数.(注:xn(n为整数)的一阶导数为n*xn-1.) 输入格式:以指数递降方式输入多项式非零项系数和指数(绝对值均为不超过1000的整数).数字间以空格分隔. 输出 ...
- Iptables防火墙实验
先说明一下环境,这里有四台主机,中间的Centos充当防火墙.右上角的win XP和右下角的Rhel7充当服务器,最左边的win7充当主机.四者之间的网卡都已经配置好.而且我们已经在Centos6.5 ...
- POJ1149 PIGS(最大流)
题意: 有一个人,他有m个猪圈,每个猪圈里面有一定数量的猪,但是每个猪圈的门都是锁着的,他自己没有钥匙,只有顾客有钥匙,一天依次来了n个顾客,(记住是依次来的)他们每个人都有一些钥匙,和他 ...
- xposed结合Zygote分析
android中zygote相信大家都很熟悉,它执行的函数是app_main.cpp,而xposed主要实现的就是替换app_main.cpp.所以在分析xposed时有必要来认识下zygote.好了 ...
- 『政善治』Postman工具 — 4、HTTP请求基础组成部分介绍
目录 1.Method 2.URL 3.Headers 4.body 一般来说,所有的HTTP Request都有最基础的4个部分组成:URL. Method. Headers和body. 1.Met ...