在我当前所做的web项目中,采用前后端分离模式前端通过Django 提供restful接口,后端采用微服务架构,微服务之间的调用采用jsonrpc,由于微服务之间的调用很频繁,导致前端得到的响应很慢,所以就不得不做性能优化. JSON-RPC是一种基于JSON的跨语言远程调用协议.比xml-rpc.webservice等基于文本的协议传输数据格小:但是JSON格式的解析开销太大. GRPC:GRPC是一个高性能.通用的开源RPC框架,由Google主要面向移动应用开发并基于HTTP/2协议(注意…

最近,业务增长的很迅猛,对于我们后台这块也是一个不小的挑战,这次遇到的核心业务接口的性能瓶颈,并不是单独的一个问题导致的,而是几个问题揉在一起:我们解决一个之后,发上线,之后发现还有另一个的性能瓶颈问题.这也是我经验不足,导致没能一下子定位解决:而我又对我们后台整个团队有着固执的自尊,不想通过大量水平扩容这种方式挺过压力高峰,导致线上连续几晚都出现了不同程度的问题,肯定对于我们的业务增长是有影响的.这也是我不成熟和要反思的地方.这系列文章主要记录下我们针对这次业务增长,对于我们后台微服务系统做的…

最近,业务增长的很迅猛,对于我们后台这块也是一个不小的挑战,这次遇到的核心业务接口的性能瓶颈,并不是单独的一个问题导致的,而是几个问题揉在一起:我们解决一个之后,发上线,之后发现还有另一个的性能瓶颈问题.这也是我经验不足,导致没能一下子定位解决:而我又对我们后台整个团队有着固执的自尊,不想通过大量水平扩容这种方式挺过压力高峰,导致线上连续几晚都出现了不同程度的问题,肯定对于我们的业务增长是有影响的.这也是我不成熟和要反思的地方.这系列文章主要记录下我们针对这次业务增长,对于我们后台微服务系统做的…

背景 前段时间我们的服务遇到了性能瓶颈,由于前期需求太急没有注意这方面的优化,到了要还技术债的时候就非常痛苦了. 在很低的 QPS 压力下服务器 load 就能达到 10-20,CPU 使用率 60% 以上,而且在每次流量峰值时接口都会大量报错,虽然使用了服务熔断框架 Hystrix,但熔断后服务却迟迟不能恢复.每次变更上线更是提心吊胆,担心会成为压死骆驼的最后一根稻草,导致服务雪崩. 在需求终于缓下来后,leader 给我们定下目标,限我们在两周内把服务性能问题彻底解决.近两周的排查和梳理中,…

优化Nginx服务的worker进程个数 修改nginx主配置文件 worker_processes 1; #指定了Nginx要开启的进程数,结尾数字就是进程个数 Nginx有Master进程和worker进程之分,Master为管理进程,真正接待“顾客”的是worker进程. 优化Nginx进程个数的策略 (1)worker_processes参数大小的设置最好和网站的用户数量相关联, (2)新搭建服务器时,worker进程数最开始的设置可以等于CPU的核数,高流量高并发场合也可以考虑将进程数…

用户模型简介 知乎 AI 用户模型服务于知乎两亿多用户,主要为首页.推荐.广告.知识服务.想法.关注页等业务场景提供数据和服务, 例如首页个性化 Feed 的召回和排序.相关回答等用到的用户长期兴趣特征,问题路由.回答排序中用到的 TPR「作者创作权威度」,广告定向投放用到的基础属性等. 主要功能 提供的数据和功能主要有: 用户兴趣:长期兴趣.实时兴趣.分类兴趣.话题兴趣.keyword 兴趣.作者创作权威度等, 用户 Embedding 表示:最近邻用户.人群划分.特定用户圈定等, 用户社交属…

MYSQL服务器my.cnf配置文档详解硬件:内存16G [client]port = 3306socket = /data/3306/mysql.sock [mysql]no-auto-rehash [mysqld]user = mysqlport = 3306socket = /data/3306/mysql.sockbasedir = /usr/local/mysqldatadir = /data/3306/dataopen_files_limit = 10240 back_log = 6…

sort_buffer_size,join_buffer_size,read_buffer_size参数对应的分配内存也是每个连接独享 这配置已经优化的不错了,如果你的mysql没有什么特殊情况的话,可以直接使用该配置参数 MYSQL服务器my.cnf配置文档详解硬件:内存16G [client]port = 3306socket = /data/3306/mysql.sock [mysql]no-auto-rehash [mysqld]user = mysqlport = 3306socket…

这配置已经优化的不错了,如果你的mysql没有什么特殊情况的话,可以直接使用该配置参数 MYSQL服务器my.cnf配置文档详解硬件:内存16G [client]port = 3306socket = /data/3306/mysql.sock [mysql]no-auto-rehash [mysqld]user = mysqlport = 3306socket = /data/3306/mysql.sockbasedir = /usr/local/mysqldatadir = /data/33…

一. 微服务架构下的性能测试挑战 微服务与DevOps 微服务是实现DevOps的重要架构 微服务3S原则 DevOps核心点 微服务架构下的业务特点 亿级用户的平台 单服务业务随时扩容 服务之间存在相互调用关系 版本更新快,上线周期短 微服务架构下的性能测试挑战 单服务流量激增时扩容调用链条变长,调用关系更加复杂微服务拆分导致故障点增多▼ ▼ ▼单服务变更性能影响如何评估?性能瓶颈在各微服务间漂移,如何做好性能测试?应对突发流量需求,扩容能否解决问题,如何扩容?服务实例数量众多,如何收集信息,…