唯品会HDFS性能挑战和优化实践

唯品会HDFS性能挑战和优化实践原创: 大数据平台唯技术 4月1日 https://mp.weixin.qq.com/s/LMa99ubgACI4eaDV3G-6gw …

背景与挑战随着腾讯自研上云及公有云用户的迅速增长,一方面,腾讯云容器服务TKE服务数量和核数大幅增长, 另一方面我们提供的容器服务类型(TKE托管及独立集群.EKS弹性集群.edge边缘计算集群.mesh服务网格.serverless knative)也越来越丰富.各类容器服务类型背后的核心都是K8s,K8s核心的存储etcd又统一由我们基于K8s构建的etcd平台进行管理.基于它我们目前管理了千级etcd集群,背后支撑了万级K8s集群. 在万级K8s集群规模下的我们如何高效保障etcd集群的…

etcd 性能优化实践

https://mp.weixin.qq.com/s/lD2b-DZyvRJ3qWqmlvHpxg 从零开始入门 K8s | etcd 性能优化实践原创陈星宇阿里巴巴云原生 2019-12-16 作者 | 陈星宇(宇慕) 阿里云基础技术中台技术专家本文整理自<CNCF x Alibaba 云原生技术公开课>第 17 讲,点击"阅读原文"直达课程页面. 关注"阿里巴巴云原生"公众号,回复关键词"入门",即可下载从零入门 K8s…

万级K8s集群背后 etcd 稳定性及性能优化实践

1背景与挑战随着腾讯自研上云及公有云用户的迅速增长,一方面,腾讯云容器服务TKE服务数量和核数大幅增长, 另一方面我们提供的容器服务类型(TKE托管及独立集群.EKS弹性集群.edge边缘计算集群.mesh服务网格.serverless knative)也越来越丰富.各类容器服务类型背后的核心都是K8s,K8s核心的存储etcd又统一由我们基于K8s构建的etcd平台进行管理.基于它我们目前管理了千级etcd集群,背后支撑了万级K8s集群.在万级K8s集群规模下的我们如何高效保障etcd集群的稳…

直播推流端弱网优化策略 | 直播 SDK 性能优化实践

弱网优化的场景网络直播行业经过一年多的快速发展,衍生出了各种各样的玩法.最早的网络直播是主播坐在 PC 前,安装好专业的直播设备(如摄像头和麦克风),然后才能开始直播.后来随着手机性能的提升和直播技术的进步,主播只需要有手机和有网络就可以直播.直播发展到现在,单一的室内聊天互动直播已经无法满足观众的需求.主播们开始走向户外,在更多的场景下直播.在可以预见的未来,这种直播形式会快速发展.直播的内容会更优质,直播的形式也会从单纯的娱乐转向体验.直播想延伸到户外需要克服很多困难,而最主要的困难就是应…

手游录屏直播技术详解 | 直播 SDK 性能优化实践

在上期<直播推流端弱网优化策略 >中,我们介绍了直播推流端是如何优化的.本期,将介绍手游直播中录屏的实现方式. 直播经过一年左右的快速发展,衍生出越来越丰富的业务形式,也覆盖越来越广的应用领域.手游直播就是现在常见的一种新兴应用场景.手游直播与一般直播最大的不同点,同时也是它的技术难点,在于录屏技术.游戏玩家录屏功能,实时地把自己玩游戏的场景分享展示给其他观众.录屏给很多游戏制作平台和直播内容平台提供了一种新的产品思路. 录屏实现的四个步骤: 采集:获取屏幕采集的视频数据.麦克风采集的音频数据…

携程App的网络性能优化实践

首先介绍一下携程App的网络服务架构.由于携程业务众多,开发资源导致无法全部使用Native来实现业务逻辑,因此有相当一部分频道基于Hybrid实现.网络通讯属于基础&业务框架层中基础设施的一部分,为App提供统一的网络服务: 1Native端的网络服务 Native模块是携程的核心业务模块(酒店.机票.火车票.攻略等),Native模块的网络服务主要通过TCP连接实现,而非常见的Restful HTTP API那种HTTP连接,只有少数轻量级服务使用HTTP接口作为补充. TCP连接网络服务模…

C#性能优化实践

性能主要指两个方面:内存消耗和执行速度.性能优化简而言之,就是在不影响系统运行正确性的前提下,使之运行地更快,完成特定功能所需的时间更短. 本文以.NET平台下的控件产品MultiRow为例,描述C#性能优化的实践. 性能优化原则 · 理解需求 MultiRow的一个性能需求是:“百万行数据绑定下平滑滚动.”整个MultiRow项目的开发过程一直在考虑这个目标. · 理解瓶颈 99%的性能消耗是由于1%的代码造成的.大部分性能优化都是针对这1%的瓶颈代码进行的.具体实施也就分为两步:“发现瓶颈”…

C#性能优化实践【转】

性能主要指两个方面:内存消耗和执行速度.性能优化简而言之,就是在不影响系统运行正确性的前提下,使之运行地更快,完成特定功能所需的时间更短. 本文以.NET平台下的控件产品MultiRow为例,描述C#性能优化的实践. 性能优化原则相关厂商内容 InfoQ百度云专题上线,网罗百度云最新报道和深度分享虚拟座谈会:PaaS的路由延时问题与架构设计思路百度云世界里的“七种武器”:PCS.BAE.Site App.ScreenX等 Martin Thompson,LMAX CTO,大数据处理专家…

转：携程App的网络性能优化实践

http://kb.cnblogs.com/page/519824/ 携程App的网络性能优化实践受益匪浅的一篇文章,让我知道网络交互并不是简单的传输和接受数据.真正的难点在于后面的性能优化下面对文章中的几点进行总结和整理,作为个人的笔记常见的网络性能问题: 1.DNS问题 DNS被劫持或失效 DNS解析慢或者失败 2.TCP连接问题 TCP的连接端口被封 TCP连接超时 3.write/Read问题设置合理的读写超时时长客户端所处环境的常用端口被限制网络切换(即当用户的网络在WIF…

Lazy<T>在Entity Framework中的性能优化实践

Lazy<T>在Entity Framework中的性能优化实践(附源码) 2013-10-27 18:12 by JustRun, 328 阅读, 4 评论, 收藏, 编辑在使用EF的过程中,导航属性的lazy load机制,能够减少对数据库的不必要的访问.只有当你使用到导航属性的时候,才会访问数据库.但是这个只是对于单个实体而言,而不适用于显示列表数据的情况. 这篇文章介绍的是,使用Lazy<T>来提高显示列表页面的效率. 这里是相关的源代码 PerformanceTest.…

部分转载[C#性能优化实践]

全文出处:http://www.infoq.com/cn/articles/C-sharp-performance-optimization 1.性能主要指两个方面:内存消耗和执行速度.性能优化简而言之,就是在不影响系统运行正确性的前提下,使之运行地更快,完成特定功能所需的时间更短. 2.理解瓶颈 99%的性能消耗是由于1%的代码造成的.大部分性能优化都是针对这1%的瓶颈代码进行的.具体实施也就分为两步:“发现瓶颈”和“消除瓶颈”. 3.切忌过度性能优化本身是有成本的.这个成本不…

Redis各种数据结构性能数据对比和性能优化实践

很对不起大家,又是一篇乱序的文章,但是满满的干货,来源于实践,相信大家会有所收获.里面穿插一些感悟和生活故事,可以忽略不看.不过听大家普遍的反馈说这是其中最喜欢看的部分,好吧,就当学习之后轻松一下. Redis各种数据结构性能数据对比测试工具:perf4j 性能指标:平均值,最小值,最大值,方差对比将814条数据按单条插入到哈希MAP和哈希SET: 对比从814条数据的哈希MAP和哈希SET中判断一个元素是否存在(map的hasKey和set的isMember): 大量数据插入哈希MAP,运…

基于 Nginx 的 HTTPS 性能优化实践

前言分享一个卓见云的较多客户遇到HTTPS优化案例. 随着相关浏览器对HTTP协议的“不安全”.红色页面警告等严格措施的出台,以及向 iOS 应用的 ATS 要求和微信.支付宝小程序强制 HTTPS 需求,以及在合规方面如等级保护对传输安全性的要求都在推动 HTTPS 的发展. 虽然 HTTPS 优化了网站访问体验(防劫持)以及让传输更加安全,但是很多网站主赶鸭子上架式的使用了 HTTPS 后往往都会遇到诸如:页面加载速度变慢.服务器负载过高以及证书过期不及时更新等问题. 所以本文就来探讨一下…

C#性能优化实践(转载)

原文地址http://www.infoq.com/cn/articles/C-sharp-performance-optimization?utm_source=infoq&utm_medium=related_content_link&utm_campaign=relatedContent_news_clk 性能主要指两个方面:内存消耗和执行速度.性能优化简而言之,就是在不影响系统运行正确性的前提下,使之运行地更快,完成特定功能所需的时间更短. 本文以.NET平台下的控件产品MultiR…

一个Web报表项目的性能分析和优化实践(五):重构有助于性能优化么?

项目从初次开发到现在,已经快3年了.期间,有N个工程师参与过. 需求方面:增加减少,反反复复,无数次:人力方面:增加减少,不稳定:时间方面:功能开发着急上线,Bug开发紧急修复. 因此,代码臃肿,问题颇多. 自从毕业加入到项目,深感代码质量问题对项目开发效率的影响,因此经常会对项目进行"重构"和"优化". 主要经历了2次大的重构和无数次小的改进. 今天,特别整理下,希望今后可以做得更好. 重构事项 1.统一标准. 包.类.方法.字段等命名按照Java标准规范那样…

【Vuejs】335-(超全) Vue 项目性能优化实践指南

点击上方"前端自习课"关注,学习起来~ 前言 Vue 框架通过数据双向绑定和虚拟 DOM 技术,帮我们处理了前端开发中最脏最累的 DOM 操作部分, 我们不再需要去考虑如何操作 DOM 以及如何最高效地操作 DOM:但 Vue 项目中仍然存在项目首屏优化.Webpack 编译配置优化等问题,所以我们仍然需要去关注 Vue 项目性能方面的优化,使项目具有更高效的性能.更好的用户体验.本文是作者通过实际项目的优化实践进行总结而来,希望读者读完本文,有一定的启发思考,从而对自己的项目进行优化…

Tree-Shaking性能优化实践 - 原理篇

Tree-Shaking性能优化实践 - 原理篇一. 什么是Tree-shaking 先来看一下Tree-shaking原始的本意上图形象的解释了Tree-shaking 的本意,本文所说的前端中的tree-shaking可以理解为通过工具"摇"我们的JS文件,将其中用不到的代码"摇"掉,是一个性能优化的范畴.具体来说,在 webpack 项目中,有一个入口文件,相当于一棵树的主干,入口文件有很多依赖的模块,相当于树枝.实际情况中,虽然依赖了某个模块,但其实…

Hadoop YARN：调度性能优化实践(转)

https://tech.meituan.com/2019/08/01/hadoop-yarn-scheduling-performance-optimization-practice.html 文章对性能优化的思路,如果评测性能,找到性能瓶颈,优化,优化效果评估,上线部署给出了很好的教科书式的案例,值得一看!! 背景 YARN作为Hadoop的资源管理系统,负责Hadoop集群上计算资源的管理和作业调度. 美团的YARN以社区2.7.1版本为基础构建分支.目前在YARN上支撑离线业务.实时业务…

让Elasticsearch飞起来!——性能优化实践干货

原文:让Elasticsearch飞起来!--性能优化实践干货版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/wojiushiwo987/article/details/85109769 0.题记 Elasticsearch性能优化的最终目的:用户体验爽. 关于爽的定义--著名产品人梁宁曾经说过"人在满足时候的状态叫做愉悦,人不被满足就会难受,就会开始寻求.如果这个人在寻求中,能立刻得到…

Go RPC 框架 KiteX 性能优化实践原创基础架构团队字节跳动技术团队 2021-01-18

Go RPC 框架 KiteX 性能优化实践原创基础架构团队字节跳动技术团队 2021-01-18…

第17 章：深入理解 etcd：etcd 性能优化实践

深入理解 etcd:etcd 性能优化实践本文将主要分享以下五方面的内容: etcd 前节课程回顾复习: 理解 etcd 性能: etcd 性能优化 -server 端: etcd 性能优化 -client 端. etcd 前节课程回顾复习 etcd 诞生于 CoreOs 公司,使用 Golang 语言开发,是一个分布式 KeyValue 存储引擎.我们可以利用 etcd 来作为分布式系统元数据的存储数据库,存储系统里面重要的元信息.etcd 同样也被各大公司广泛使用. 下图为 etcd 的基…

C#性能优化实践资料整理

缓存(Cache)是性能优化中最常用的优化手段.适用的情况是频繁的获取一些数据,而每次获取这些数据需要的时间比较长.这时,第一次获取的时候会用正常的方法,并且在获取之后把数据缓存下来.之后就使用缓存的数据. 如果使用了缓存的优化方法,需要特别注意缓存数据的同步,就是说,如果真实的数据发生了变化,应该及时的清除缓存数据,确保不会因为缓存而使用了错误的数据. 举例: 使用缓存的情况比较多.最简单的情况就是缓存到一个Field或临时变量里. for(int i = 0; i < gcMultiRow.…