Background kubernetes是master-slave结构,master node是集群的大脑, 当master node发生故障时整个集群都"out of control".master node中最重要的当属apiserver组件, 它负责处理所有请求, 并持久化状态到etcd. 一般我们会部署多份apiserver实现高可用.官方建议在多个apiserver前面部署一个LB进行负载均衡,当其中一台apiserver发生故障之后,LB 自动将流量切换到其他实例上面.这

问题描述 使用 Zuul 作为网关,偶发超时问题及第一次调用触发熔断问题 解决方案 超时问题 ribbon: ReadTimeout: 10000 SocketTimeout: 60000 第一次调用触发熔断 hystrix: command: default: execution: isolation: thread: timeoutInMilliseconds: 10000 因为 Zuul 采用了懒加载机制,第一次访问的时候才会加载某些类,由于默认的时间原本就比较短,加载这些类又需要一些时间

问题描述 微服务之间使用 Feign 调用,偶发超时问题,配置如下: feign: client: config: default: connectTimeout: 10000 readTimeout: 10000 详细参考官方文档:https://cloud.spring.io/spring-cloud-netflix/multi/multi_spring-cloud-feign.html ​

一.简介 RKE:Rancher Kubernetes Engine 一个极其简单,闪电般快速的Kubernetes安装程序,可在任何地方使用. 二.准备工作 I.配置系统 系统:CentOS 7 / Ubuntu 配置完系统后安装必要的软件: yum install lvm2 parted lrzsz -y # 查看需要配置的磁盘 fdisk -l # 如:/dev/sda fdisk /dev/sda # 根据提示进行分区 # 配置lvm卷 pvcreate /dev/sda1 vgcrea

摘要:遥感影像,作为地球自拍照,能够从更广阔的视角,为人们提供更多维度的辅助信息,来帮助人类感知自然资源.农林水利.交通灾害等多领域信息. 本文分享自华为云社区<AI+云原生,把卫星遥感虐的死去活来>,作者:tsjsdbd. AI牛啊,云原生牛啊,所以1+1>2? 遥感影像,作为地球自拍照,能够从更广阔的视角,为人们提供更多维度的辅助信息,来帮助人类感知自然资源.农林水利.交通灾害等多领域信息. AI技术,可以在很多领域超过人类,关键是它是自动的,省时又省力.可显著提升遥感影像解译的工作

作者 吕亚霖,作业帮基础架构 - 架构研发团队负责人.负责技术中台和基础架构工作.在作业帮期间主导了云原生架构演进.推动实施容器化改造.服务治理.GO 微服务框架.DevOps 的落地实践. 别路,作业帮基础架构-高级研发工程师,在作业帮期间,负责多云 K8s 集群建设.K8s 组件研发.Linux 内核优化调优相关工作. 背景 作业帮在云原生容器化改造的过程中,随着集群规模越来越大.业务混合部署的场景越来越复杂,面临的集群问题也越来越多,走到了 Kubernetes 及容器化的深水区, 尤其是

偶发异常BUG,如何高效精准分析排查定位? 作为测试,经常会收到领导.同事.用户反馈过来各种各样BUG,令人措手不及 首选需要判断确认是不是BUG,不要急于给予回复,需有充分的条件给予说明回复 很多测试人员收到问题的反应: 需求没说这样? 不是BUG? 怎么可能是BUG? 这个我们测过的怎么会有问题? 肯定是环境问题? 肯定是程序偷偷改了东西的? 昨天还是好的呢?今天怎么这样了? 作为专业测试,我们应保持大度.精心的状态,正因为每次能遇到问题,我才能涨了更多的见识 收集BUG发生信息,拆分条件:

意外停掉一台node的kubelet,发现调度有问题,研究了下调度的细节 k8s架构 控制层- kubelet(配合节点docker工作) 数据层- kube-proxy 逻辑图: object 参考: https://kubernetes.io/docs/concepts/# 各个组件各司其职 参考: http://www.cnblogs.com/jianyuan/p/5063530.html pod rc svc之间的关系 参考: 启动一个简单的集群: tomcat+mysql 测试pod调

1.问题: 最近在做SpringBoot项目的时候,有多个分开的微服务,偶发forward error 问题 2.猜想: 个人理解为服务跳转错误,可能本身没找到目标服务,或者目标服务损坏 3.解决: 在查看大量帖子后,可以归结为两种: 1.加超时任务 zuul: host: connect-timeout-millis: 10000 socket-timeout-millis: 60000 hystrix: command: default: execution: isolation: thre

kubelet端口解析: 10250 –port: kubelet服务监听的端口,api会检测他是否存活 10248 –healthz-port: 健康检查服务的端口 10255 –read-only-port: 只读端口,可以不用验证和授权机制,直接访问 4194 –cadvisor-port: 当前节点 cadvisor 运行的端口 kubelet参数手头书 参数 解释 默认值 –address kubelet 服务监听的地址 0.0.0.0 –port kubelet 服务监听的端口 10

1. 发现问题     1. 查询慢access日志,发现偶尔有接口时延超过2s,发送概率1%左右 2. 排查     1. 写单元测试,多次测试后,不能重现问题     2. 接口代码里加日志,每隔一行代码加一次日志,等待重现     3. 不断往上游接口加日志后,发现耗时在获取榜单top10的接口     4. top10接口是从数据库获取top50的用户,然后通过多协程到redis里面获取用户信息     5. 发现从数据库获取数据时,没索引,加上索引后,问题依然存在     6. 再次加

kubelet 参数详解 基本参数 --allow-privileged=true #允许容器请求特权模式 --anonymous-auth=false #不允许匿名请求到 kubelet 服务(默认 true ) --authentication-token-webhook=true #使用 TokenReview API 来确定不记名令牌的身份验证 --authorization-mode=Webhook #kubelet 服务的授权模式,Webhook 模式使用 SubjectAccess

原文链接:深入理解 Kubelet 中的 PLEG is not healthy 在 Kubernetes 社区中,PLEG is not healthy 成名已久,只要出现这个报错,就有很大概率造成 Node 状态变成 NotReady.社区相关的 issue 也有一大把,先列几个给你们看看: https://stackoverflow.com/questions/53872739/how-to-fix-container-runtime-is-down-pleg-is-not-healthy

说在前面 trivial是根据之前设计的RPC框架而来的(还在增进当中),其中较为不同的一个点为,在客户端去掉了业务线程池,因为既然都要等待,不必要再加一层. 进入正题 有在网上看到这样的信息,“之前有简单提到过, dubbo默认采用了netty做为网络组件,它属于一种NIO的模式.消费端发起远程请求后,线程不会阻塞等待服务端的返回,而是马上得到一个ResponseFuture,消费端通过不断的轮询机制判断结果是否有返回.因为是通过轮询,轮询有个需要特别注要的就是避免死循环,所以为了解决这个问题

kubelet CPU 使用率过高问题排查 问题背景 客户的k8s集群环境,发现所有的worker节点的kubelet进程的CPU使用率长时间占用过高,通过pidstat可以看到CPU使用率高达100%.针对此问题对kubelet进程的异常进行问题排查. 集群环境 软件 版本 kubernetes v1.18.8 docker 18.09.9 rancher v2.4.8-ent CentOS 7.6 kernel 4.4.227-1.el7.elrepo.x86_64 排查过程 使用strac

[问题描述] 数据库连接异常是很难排查的一类问题.因为它牵涉到应用端,网络层和服务器端.任何一个组件异常,都会导致数据库连接失败.开发遇到数据库连接不上的问题,都会第一时间找DBA来协助查看,DBA除了需要懂得数据库以外,还需要对应用,对网络有所了解,知道在哪里看应用程序的日志,以及看网络交换机性能指标,才能清晰的定位问题.下面是一个数据库偶发连接不上的例子: 步骤 分析 S(主观) 某应用程序,有40台左右应用服务器,时不时的会报数据库连接异常.报错后迅速自愈.报错内容为: Communica

大家好,我是坤哥 我们常说面试造火箭,很多人对此提出质疑,相信大家看了这篇文章会明白面试造火箭的道理,这篇排查问题的技巧涉及到索引,GC,容器,网络抓包,全链路追踪等基本技能,没有这些造火箭的本事,排查这类问题往往会无从下手,本篇也能回答不少朋友的问题:为什么学 Java 却要掌握网络,MySQL等其他知识体系,这会让你成为更出色的工程师哦. 一. 问题现象 商品团队反馈,会员部分 dubbo 接口偶现超时异常,而且时间不规律,几乎每天都有,商品服务超时报错如下图: 超时的接口平时耗时极短,平均

kubelet 主要功能 Pod 管理 在 kubernetes 的设计中,最基本的管理单位是 pod,而不是 container.pod 是 kubernetes 在容器上的一层封装,由一组运行在同一主机的一个或者多个容器组成.如果把容器比喻成传统机器上的一个进程(它可以执行任务,对外提供某种功能),那么 pod 可以类比为传统的主机:它包含了多个容器,为它们提供共享的一些资源. 之所以费功夫提供这一层封装,主要是因为容器推荐的用法是里面只运行一个进程,而一般情况下某个应用都由多个组件构成的.

故障现场 本人负责的主备集群,发出的 HttpClient 请求有 30%概率超时, 报context deadline exceeded (Client.Timeout or context cancellation while reading body) 异常 Kibana 显示 Nginx 处理请求的耗时request_time在[5s-1min]区间波动, upstream_response_time在 2s 级别. 所以我们认定是 Nginx 向客户端回传 50M 的数据,发生了网络延

背景 进入6月后,随着一个主要功能版本api的上线,服务端的QPS翻了一倍,平时服务器的CPU使用稳定在30%上下,高峰期则在60%上下,但是偶尔会有单台机器出现持续数分钟突然飙到90%以上,导致大量api响应缓慢超过客户端等待时间,触发其主动断开连接产生大量nginx499. 问题分析与解决 问题期间器资源情况 仔细查看问题期间的zabbix监控数据,发现90%的CPU占用中有10%上下是sys time, 5%上下是softirq time,两者相加可占到接近20%, interrupt和c