作者 吕亚霖,2019年加入作业帮,作业帮基础架构-架构研发团队负责人,在作业帮期间主导了云原生架构演进.推动实施容器化改造.服务治理.GO微服务框架.DevOps的落地实践. 张浩然,2019年加入作业帮,作业帮基础架构-高级架构师,在作业帮期间,推动了作业帮云原生架构演进.负责多云k8s集群建设.k8s组件研发.linux内核优化调优.底层服务容器化相关工作. 背景 大规模检索系统一直都是各个公司平台业务的底层基石,往往是以千台裸金属服务器级别的超大规模集群的方式运行,数据量巨大,对于性能.…

作者 吕亚霖,作业帮基础架构 - 架构研发团队负责人.负责技术中台和基础架构工作.在作业帮期间主导了云原生架构演进.推动实施容器化改造.服务治理.GO 微服务框架.DevOps 的落地实践. 别路,作业帮基础架构-高级研发工程师,在作业帮期间,负责多云 K8s 集群建设.K8s 组件研发.Linux 内核优化调优相关工作. 背景 作业帮在云原生容器化改造的过程中,随着集群规模越来越大.业务混合部署的场景越来越复杂,面临的集群问题也越来越多,走到了 Kubernetes 及容器化的深水区, 尤其是…

作者 刘如梦,腾竞体育研发工程师,擅长高并发.微服务治理.DevOps,主要负责电竞服务平台架构设计和基础设施建设. 詹雪娇,腾讯云弹性容器服务EKS产品经理,主要负责 EKS 虚拟节点.容器实例相关的产品策划. 业务介绍 自 2019 年,腾竞整个电竞赛事数据服务完全由腾讯云 TKE 容器服务承载.腾竞赛事数据开放平台目前主要提供职业赛事数据的授权与查询,随着斗鱼.虎牙.企鹅.掌盟.微信直播.微博等平台的相继接入,平台整体流量有了爆发式的增长. 此前 2021英雄联盟全球总决赛(以下简称 S1…

作者 吕亚霖,2019年加入作业帮,作业帮架构研发负责人,在作业帮期间主导了云原生架构演进.推动实施容器化改造.服务治理.GO微服务框架.DevOps的落地实践. 简介 调度系统的本质是为计算服务/任务匹配合适的资源,使其能够稳定高效地运行,以及在此的基础上进一步提高资源使用密度,而影响应用运行的因素非常多,比如 CPU.内存.IO.差异化的资源设备等等一系列因素都会影响应用运行的表现.同时,单独和整体的资源请求.硬件/软件/策略限制. 亲和性要求.数据区域.负载间的干扰等因素以及周期性流量场景…

按照这篇博文的介绍,可以在ACK集群上通过Helm的方式部署虚拟节点,提升集群的弹性能力.现在,通过虚拟节点部署的ECI弹性容器实例也支持将stdout输出.日志文件同步到阿里云日志服务(SLS)进行统一管理,所有日志能够被统一收集同一个日志服务project里面.并且,日志收集方式与集群上普通容器收集方式一致,无缝结合. 本文将结合虚拟节点弹性伸缩的能力来介绍日志收集. 在ACK集群部署日志服务支撑组件 在ACK集群安装界面勾选使用日志服务,集群会安装支持日志收集的必要组件. 集群安装完毕后,…

在11月4日举办的2021腾讯数字生态大会云原生专场上,腾讯云联合中国信通院.作业帮等率先在国内重磅发布了<降本之源-云原生成本管理白皮书>(简称白皮书),基于腾讯云在业内最大规模的 Kubernetes 实践经验,系统性呈现云原生成本优化方法论和最佳实践路径. 腾讯云容器产品总经理邹辉表示:"Kubernetes 是云原生技术栈的核心,腾讯云原生经过多年的技术积累以及众多腾讯内外部复杂业务考验已经步入非常成熟的阶段.TKE 目前拥有国内最大规模的 Kubernetes 集群以及业界…

作者 | 唐慧芬(黛忻) 阿里云产品专家 导读:毫无疑问,Serverless 能够在效率和成本上给用户带来巨大收益.那具体到落地又应该怎么做呢?本文就给大家详细解读 Serverless 的落地实践. Serverless 落地企业级应用的挑战 Serverless 技术是继虚拟机.容器之后的第三代通用计算技术.相对于传统后台架构,Serverless 具有免运维.省成本.快速部署交付.灵活弹性等优点,近年来获得越来越多企业和开发者的关注和青睐.但对于企业级应用落地来说,仍存在一些挑战. 根据…

源:http://daiwa.ninja/index.php/2015/07/18/storm-cpu-overload/ 2015-07-18AUTHORDAIWA STORM在线业务实践-集群空闲CPU飙高问题排查有2条评论 STORM在线业务实践-集群空闲CPU飙高问题排查 最近将公司的在线业务迁移到Storm集群上,上线后遇到低峰期CPU耗费严重的情况.在解决问题的过程中深入了解了storm的内部实现原理,并且解决了一个storm0.9-0.10版本一直存在的严重bug,目前代码已经合并…

最近将公司的在线业务迁移到Storm集群上,上线后遇到低峰期CPU耗费严重的情况.在解决问题的过程中深入了解了storm的内部实现原理,并且解决了一个storm0.9-0.10版本一直存在的严重bug,目前代码已经合并到了storm新版本中,在这篇文章里会介绍这个问题出现的场景.分析思路.解决的方式和一些个人的收获. 背景 首先简单介绍一下Storm,熟悉的同学可以直接跳过这段. Storm是Twitter开源的一个大数据处理框架,专注于流式数据的处理.Storm通过创建拓扑结构(Topolog…

在上一篇博文中(https://yq.aliyun.com/articles/647119),我们展示了如何手动执行yaml文件给Kubernetes集群添加虚拟节点,然而,手动执行的方式用户体验并不友好,也无法以组件的方式持续升级和管理.现在我们已经可以通过Helm的方式,让ack-virtual-node的部署和管理变得更加简单.首先,让我们简单回顾一下虚拟节点Virtual Node是如何运行的. 虚拟节点Virtual Node 虚拟节点来源于社区virtual kubelet技术,其实…