作者:王彪 | 旷视框架部异构计算组工程师 一.背景 什么是天元 旷视天元(MegEngine)是一个深度学习框架,它主要包含训练和推理两方面内容.训练侧一般使用 Python 搭建网络:而推理侧考虑到产品性能的因素,一般使用 C++ 语言集成天元框架.无论在训练侧还是推理侧,天元都担负着将训练和推理的代码运行到各种计算后端上的任务.目前天元支持的计算后端有 CPU.GPU.ARM 和一些领域专用的加速器,覆盖了云.端.芯等各个场景. 天元主要有三大特征: 1.训推一体,不管是训练任务还是推理任…

MegEngine计算图.MatMul优化解析 本文针对天元在推理优化过程中所涉及的计算图优化与 MatMul 优化进行深度解读,希望能够帮助广大开发者在利用天元 MegEngine「深度学习,简单开发」的同时,也能够了解 CPU 优化的相关知识.从而帮助大家在模型部署的整体流程中更好地进行加速:在实际模型部署时能够评估模型在特定平台上运行所能达到的性能以及内存使用情况:以及在算法设计时可以设计出更利于 CPU 优化加速的卷积 Opr 等. 本文针对旷视天元深度学习框架在推理优化过程中所涉及的计…

MegEngine 框架设计 MegEngine 技术负责人许欣然将带了解一个深度学习框架是如何把网络的定义逐步优化并最终执行的,从框架开发者的视角来看待深度学习. 背景 AI 浪潮一波又一波,仿佛不会算法就落后于时代. 深度学习框架处理了各种设备的计算细节.求导.计算优化序列的工作,而在动态.静态两套截然不同的世界中,这些步骤又各自有他们不同的优化点和瓶颈. 如何在中间获取一个高效的平衡呢?以及如何克服训练完的模型在推理部署中无数的坑(闻者落泪),那个堪称对此进行降维打击的"训练推理一体化&q…

MegEngine亚线性显存优化 MegEngine经过工程扩展和优化,发展出一套行之有效的加强版亚线性显存优化技术,既可在计算存储资源受限的条件下,轻松训练更深的模型,又可使用更大batch size,进一步提升模型性能,稳定batchwise算子.使用MegEngine训练ResNet18/ResNet50,显存占用分别最高降低23%/40%:在更大的Bert模型上,降幅更是高达75%,而额外的计算开销几乎不变. 基于梯度检查点的亚线性显存优化方法[1]由于较高的计算/显存性价比受到关注.M…

Megengine量化 量化指的是将浮点数模型(一般是32位浮点数)的权重或激活值用位数更少的数值类型(比如8位整数.16位浮点数)来近似表示的过程. 量化后的模型会占用更小的存储空间,还能够利用许多硬件平台上的专属算子进行提速.比如在 MegEngine 中使用8位整数来进行量化,相比默认的32位浮点数,模型大小可以减少为1/4,而运行在特定的设备上其计算速度也能提升为2-4倍. 量化的目的是为了追求极致的推理计算速度,为此舍弃了数值表示的精度,直觉上会带来较大的模型掉点,但是在使用一系列精细…

Mono 3.2.7已经发布,带来了很多新特性,如改进的JIT.新的面向LINQ的解释器以及使用了64位原生指令等等. 这是一次主要特性发布,累积了大约5个月的开发工作.看上去大部分改进都是底层的性能改进.优化以及更好的兼容性.以下是一些值得重点强调的特性: 对ARM上的HardFP ABI(Application Binary Interface,应用程序二进制接口)提供了初步支持.这就使得Mono可以应用于更新的Linux版本上,同时可以针对这些目标平台生成更好的代码.要进一步了解,可以阅读…

前言 由于匹夫本人是做游戏开发工作的,所以平时也会加一些玩家的群.而一些困扰玩家的问题,同样也困扰着我们这些手机游戏开发者.这不最近匹夫看自己加的一些群,常常会有人问为啥这个游戏一更新就要重新下载,而不能游戏内更新呢?作为游戏开发者,或者说Unity3D程序猿,我们都清楚Unity3D不支持热更新,甚至于在IOS平台上生成新的代码都会导致游戏报错崩溃(匹夫之所以在此处强调生成新的代码这几个字,就是提醒各位不要混淆Reflection.Emit和反射).但我们是否和普通的玩家一样,看到的仅仅是“不…

前言 在看<CLR>的时候,作者在开篇的时候提到了NGen.exe,前面一节执行程序集的代码中提到:程序或方法执行前会执行MSCorEE.dll中的JIT函数把要执行方法的IL转换成本地的CPU指令,讲代码放在内存块中,第二次调用方法的时候,由于已对方法进行了验证和编译,所以会直接执行内存块中的代码,不需要再执行JIT函数编译了.因为在方法没调用之前都会要调用JIT函数编译,在这一节的最后作者也提到,通过实验表明,CLR的JIT编译器似乎没有使自己的应用程序达到应有的性能,然后就提到了.Net…

.Net JIT(转) JIT…

今天开始实战Java虚拟机之五“开启JIT编译” 总计有5个系列 实战Java虚拟机之一“堆溢出处理” 实战Java虚拟机之二“虚拟机的工作模式” 实战Java虚拟机之三“G1的新生代GC” 实战Java虚拟机之四“禁用System.gc()” 实战Java虚拟机之五“开启JIT编译” Java虚拟机有3种执行方式,分别是解释执行.混合模式和编译执行,默认情况下处于混合模式中.使用命令行java –version可以查看虚拟机的执行模式: C:\Users\Administrator>java…