作者 吕亚霖,作业帮基础架构 - 架构研发团队负责人.负责技术中台和基础架构工作.在作业帮期间主导了云原生架构演进.推动实施容器化改造.服务治理.GO 微服务框架.DevOps 的落地实践. 别路,作业帮基础架构-高级研发工程师,在作业帮期间,负责多云 K8s 集群建设.K8s 组件研发.Linux 内核优化调优相关工作. 背景 作业帮在云原生容器化改造的过程中,随着集群规模越来越大.业务混合部署的场景越来越复杂,面临的集群问题也越来越多,走到了 Kubernetes 及容器化的深水区, 尤其是…

在11月4日举办的2021腾讯数字生态大会云原生专场上,腾讯云联合中国信通院.作业帮等率先在国内重磅发布了<降本之源-云原生成本管理白皮书>(简称白皮书),基于腾讯云在业内最大规模的 Kubernetes 实践经验,系统性呈现云原生成本优化方法论和最佳实践路径. 腾讯云容器产品总经理邹辉表示:"Kubernetes 是云原生技术栈的核心,腾讯云原生经过多年的技术积累以及众多腾讯内外部复杂业务考验已经步入非常成熟的阶段.TKE 目前拥有国内最大规模的 Kubernetes 集群以及业界…

作者 吕亚霖,2019年加入作业帮,作业帮架构研发负责人,在作业帮期间主导了云原生架构演进.推动实施容器化改造.服务治理.GO微服务框架.DevOps的落地实践. 简介 调度系统的本质是为计算服务/任务匹配合适的资源,使其能够稳定高效地运行,以及在此的基础上进一步提高资源使用密度,而影响应用运行的因素非常多,比如 CPU.内存.IO.差异化的资源设备等等一系列因素都会影响应用运行的表现.同时,单独和整体的资源请求.硬件/软件/策略限制. 亲和性要求.数据区域.负载间的干扰等因素以及周期性流量场景…

Google Borg 是资源调度管理和离在线混部领域的鼻祖,同时也是 Kubernetes 的起源与参照,已成为从业人员首要学习的典范.本文尝试管中窥豹,简单从<Large-scale cluster management at Google with Borg>一文中剖析 Google Borg 的设计理念和功能特点,用以抛砖引玉. Google Borg 是什么? Google Borg 是 Google 内部自研的一套资源管理系统,用于集群资源管控.分配和调度等.在 Borg 中,资源…

摘要:本文结合华为CCE团队在混合部署方面的研究和实战,介绍了混合部署的背景.概念.混部技术的设计方案和实际落地情况,以及对未来的计划和展望. 现代互联网数据中心的规模随着应用服务需求的快速增长而不断扩大,但服务器资源利用率却一直很低,导致企业基础设施成本不断上涨.随着云原生技术的发展,混合部署成为了降低成本的一大手段.本文结合华为CCE团队在混合部署方面的研究和实战,介绍了混合部署的背景.概念.混部技术的设计方案和实际落地情况,以及对未来的计划和展望. 云原生与资源利用率现状 云原生概念在20…

作者 吕亚霖,2019年加入作业帮,作业帮基础架构-架构研发团队负责人,在作业帮期间主导了云原生架构演进.推动实施容器化改造.服务治理.GO微服务框架.DevOps的落地实践. 张浩然,2019年加入作业帮,作业帮基础架构-高级架构师,在作业帮期间,推动了作业帮云原生架构演进.负责多云k8s集群建设.k8s组件研发.linux内核优化调优.底层服务容器化相关工作. 背景 大规模检索系统一直都是各个公司平台业务的底层基石,往往是以千台裸金属服务器级别的超大规模集群的方式运行,数据量巨大,对于性能.…

源:http://daiwa.ninja/index.php/2015/07/18/storm-cpu-overload/ 2015-07-18AUTHORDAIWA STORM在线业务实践-集群空闲CPU飙高问题排查有2条评论 STORM在线业务实践-集群空闲CPU飙高问题排查 最近将公司的在线业务迁移到Storm集群上,上线后遇到低峰期CPU耗费严重的情况.在解决问题的过程中深入了解了storm的内部实现原理,并且解决了一个storm0.9-0.10版本一直存在的严重bug,目前代码已经合并…

最近将公司的在线业务迁移到Storm集群上,上线后遇到低峰期CPU耗费严重的情况.在解决问题的过程中深入了解了storm的内部实现原理,并且解决了一个storm0.9-0.10版本一直存在的严重bug,目前代码已经合并到了storm新版本中,在这篇文章里会介绍这个问题出现的场景.分析思路.解决的方式和一些个人的收获. 背景 首先简单介绍一下Storm,熟悉的同学可以直接跳过这段. Storm是Twitter开源的一个大数据处理框架,专注于流式数据的处理.Storm通过创建拓扑结构(Topolog…

作者 吕亚霖,2019年加入作业帮,作业帮架构研发负责人,在作业帮期间主导了云原生架构演进.推动实施容器化改造.服务治理.GO微服务框架.DevOps的落地实践. 莫仁鹏,2020年加入作业帮,作业帮高级架构师,在作业帮期间,推动了作业帮云原生架构演进,负责作业帮服务治理体系的设计和落地.服务感知体系建设以及自研mesh.MQproxy研发工作. 摘要 日志是服务观察的主要方式,我们依赖日志去感知服务的运行状态.历史状况:当发生错误时,我们又依赖日志去了解现场,定位问题.日志对研发工程师来说异常…

Kubernetes Job与CronJob(离线业务) Job Job分为普通任务(Job)  一次性执行 应用场景:离线数据处理,视频解码等业务 官方文档:https://kubernetes.io/docs/concepts/workloads/controllers/jobs-run-to-completion/ 1.创建yaml文件 vim job.yaml apiVersion: batch/v1 kind: Job metadata: name: pi spec: template…