CUDA02 - 的内存调度与优化 前面一篇(传送门)简单介绍了CUDA的底层架构和一些线程调度方面的问题,但这只是整个CUDA的第一步,下一个问题在于数据的访存:包括数据以何种形式在CPU/GPU之间进行通信.迁移,以及在GPU内部进行存储.访问. 1 global .shared .constant.local 通常来讲,待计算的数据都存放在内存或者硬盘(外部存储设备)中,由CPU来进行调度.想要在device上计算.处理数据,就首先需要将数据转移至CUDA,这样的转移操作通常需要经过数据总…

本文转自:http://blog.163.com/wujiaxing009@126/blog/static/71988399201701224540201/ 1.引言 CUDA性能优化----sp, sm, thread, block, grid, warp概念中提到:逻辑上,CUDA中所有thread是并行的,但是,从硬件的角度来说,实际上并不是所有的thread能够在同一时刻执行,接下来我们将深入学习和了解有关warp的一些本质.   2.Warps and Thread Blocks wa…

MySQL性能优化--优化数据库结构之优化数据大小   By:授客  QQ:1033553122 尽量减少表占用的磁盘空间.通常,执行查询期间处理表数据时,小表占用更少的内存. 表列 l   尽可能使用最效率(最小)的数据类型.比如,使用更小的整型以便于获取更小的表.相比INT,MEDIUMINT 通常是个更好的选择,因为MEDIUMINT列少使用25%的空间. l   尽可能的定义列为NOT NULL,这有利于更好的使用索引,可以让sql操作更快. 行格式 l   MySQL 5.7.8及以前…

豆瓣读书:http://book.douban.com/subject/19969386/ 第一章 Java性能调优概述 1.性能的参考指标 执行时间: CPU时间: 内存分配: 磁盘吞吐量: 网络吞吐量: 响应时间: 2.木桶定律   系统的最终性能取决于系统中性能表现最差的组件,例如window系统内置的评分就是选取最低分.可能成为系统瓶颈的计算资源如,磁盘I/O,异常,数据库,锁竞争,内存等. 性能优化的几个方面,如设计优化,Java程序优化,并行程序开发及优化,JVM调优,Java性能调…

一.理解MySQL的Query Optimizer MySQL Optimizer是一个专门负责优化SELECT 语句的优化器模块,它主要的功能就是通过计算分析系统中收集的各种统计信息,为客户端请求的Query 给出他认为最优的执行计划,也就是他认为最优的数据检索方式. 二.Query 语句优化基本思路和原则 在分析如何优化MySQL Query 之前,我们需要先了解一下Query 语句优化的基本思路和原则.一般来说,Query 语句的优化思路和原则主要体现在以下几个方面: 重中之重,需熟背 1…

转自http://isky000.com/database/mysql-perfornamce-tuning-schema MySQL 数据库性能优化之缓存参数优化 MySQL数据库性能优化之硬件瓶颈分析 MySQL 数据库性能优化之表结构优化   DataBaseJan 25th,2017 作者:Sky.Jian | 可以任意转载, 但转载时务必以超链接形式标明文章原始出处 和 作者信息 及 版权声明 链接:http://isky000.com/database/mysql-perfornam…

背景 线上某集群峰值TPS超过100万/秒左右(主要为写流量,读流量很低),峰值tps几乎已经到达集群上限,同时平均时延也超过100ms,随着读写流量的进一步增加,时延抖动严重影响业务可用性.该集群采用mongodb天然的分片模式架构,数据均衡的分布于各个分片中,添加片键启用分片功能后实现完美的负载均衡.集群每个节点流量监控如下图所示: 从上图可以看出集群流量比较大,峰值已经突破120万/秒,其中delete过期删除的流量不算在总流量里面(delete由主触发删除,但是主上面不会显示,只会在从节…

随着数据量的增大,数据库的性能问题也是个值得关注的问题,很多公司对mysql性能方面没有太过重视,导致服务浪费过多资源.mysql服务性能差从而直接影响用户体验,这里我们简单的先来聊聊什么影响了mysql性能,从而能关注这些问题. 影响性能的几个方面 服务器硬件 服务器系统 数据库存储引擎的选择(插件形式的) MyISAM: 不支持事务,表级锁 InnoDB: 事务级存储引擎,完美支持行级锁,事务ACID特性 数据库参数配置 数据库结构设计和SQL语句 慢查询(数据库表结构设计) SQL语句的编…

MegEngine亚线性显存优化 MegEngine经过工程扩展和优化,发展出一套行之有效的加强版亚线性显存优化技术,既可在计算存储资源受限的条件下,轻松训练更深的模型,又可使用更大batch size,进一步提升模型性能,稳定batchwise算子.使用MegEngine训练ResNet18/ResNet50,显存占用分别最高降低23%/40%:在更大的Bert模型上,降幅更是高达75%,而额外的计算开销几乎不变. 基于梯度检查点的亚线性显存优化方法[1]由于较高的计算/显存性价比受到关注.M…

好的互联网产品不仅仅在功能上要高人一筹,在性能层面也需要出类拔萃,否则金玉其外败絮其中,页面是美轮美奂了,结果首屏半天加载不出来,难免让用户乘兴而来,败兴而归. 幸运的是,前端的性能优化有诸多有迹可循的理论和方法,其中相对权威的,无疑是LightHouse. LightHouse 是一个开源的自动化工具,它作为 Chrome 浏览器的扩展程序运行,提供一套完整的站点评分标准,我们可以依据此标准对站点进行基准测试,从而达到优化的效果. 怎么打开LightHouse?可以在Chrome浏览器开发人员…