Backgroud 前一章中,对kubernetes的选举原理进行了深度剖析,下面就通过一个example来实现一个,利用kubernetes提供的选举机制完成的高可用应用. 对于此章需要提前对一些概念有所了解后才可以继续看下去 leader election mechanism RBCA Pod runtime mechanism Implementation 代码实现 如果仅仅是使用Kubernetes中的锁,实现的代码也只有几行而已. package main import ( "cont…

写在前面 在上一篇关于Kubernetes资源限制的文章我们讨论了如何通过ResourceRequirements设置Pod中容器内存限制,以及容器运行时是如何利用Linux Cgroups实现这些限制的.也分析了requests是用来通知调度器Pod所需资源需求和limits是在宿主机遇到内存压力时帮助内核限制资源二者的区别. 在本文中,我会继续深入探讨CPU时间的requests和limits.你是否阅读过第一篇文章并不会影响本文的学习,但是我建议你两篇文章都读一读,从而得到工程师或者集群管…

资料 k8s基本对象概念 背景 资源和对象   Kubernetes 中的所有内容都被抽象为"资源",如 Pod.Service.Node 等都是资源."对象"就是"资源"的实例,是持久化的实体.如某个具体的 Pod.某个具体的 Node.Kubernetes 使用这些实体去表示整个集群的状态.   对象的创建.删除.修改都是通过 "Kubernetes API",也就是 "Api Server" 组件提供…

Prometheus监控Kubernetes资源与应用 目录 1 监控方案 2 2 监控指标 4 3 实现思路 4 4 在K8S中部署Prometheus 4 5 在K8S中部署Grafana与可视化 4 6 监控K8S集群Node与Pod 4 7 监控K8S资源对象 5 8 在K8S中部署Alertmanager 6 9 Prometheus告警 6 10 实验 7 1 监控方案 老的监控系统无法感知这些动态创建的服务,已经不适合容器化的场景 cAdvisor+Heapster+InfluxD…

本文收录在容器技术学习系列文章总目录 1.认识kubernetes资源 1.1 常用资源/对象 workload工作负载型资源:pod,ReplicaSet,Deployment,StatefulSet,daemonset,job... 服务器发现及均衡:Service,Lngress... 配置与存储:volume,CSI configmap,secret downwardAPI 集群级资源 namespace,node,role,clusterrole,rolebinding,cluster…

kubesql kubesql(https://github.com/xuxinkun/kubesql)是我最近开发的一个使用sql查询kubernetes资源的工具.诸如node,pod等kubernetes的资源被处理为table.而后可以使用sql语句对其进行查询. 例如,所有pod都很容易从apiserver中获取.但是想要计算每个节点上的pod数量并不容易.但是使用了kubesql,只用一条sql语句可以实现它. [root@localhost kubesql]# kubesql "s…

写过程序的朋友都知道,在多线程处理时,对于非线程安全的对象,需用使用锁定特定对象(LOCK)的方法来保证串行操作.曾经有位开发询问我,在SQL Server内部是否有类似的实现方法来控制某一操作不能并行,无知的我毫不犹豫地告诉他不可能,还把这当成一个笑话跟陈璟提起,陈桑默默告诉我,这个可以实现!!! 无知者无罪,但不能继续无知下去,所以让我们一起来学习下应用程序资源锁吧 首先我们可以使用sp_getapplock来尝试获取一个程序资源锁 DECLARE @result int; EXEC @re…

Kubernetes API的使用方式 Kubernetes API属于声明式API编程, 它和常用的命令式编程有一些区别. 通俗的说,命令式编程是第一人称,我要做什么,我要怎么做. 操作系统最喜欢这种编程范式了, 操作系统几乎不用"思考", 只要一对一的将代码翻译成指令就可以了. 而声明式编程则类似于"第二人称", 也就是你要做什么. 有点"产品经理"和"开发"之间的关系, "产品经理"只负责提需求,而&…

原文地址:https://www.yangcs.net/posts/understanding-resource-limits-in-kubernetes-cpu-time/ 在关于 Kubernetes 资源限制的系列文章的第一篇文章中,我讨论了如何使用 ResourceRequirements 对象来设置 Pod 中容器的内存资源限制,以及如何通过容器运行时和 linux control group(cgroup)来实现这些限制.我还谈到了 Requests 和 Limits 之间的区别,其…

kubefuse 是基于fuse 开发的文件系统,我们可以像访问文件系统一样访问Kubernetes 资源,使用python开发 支持以下特性: 可以使用方便的linux tools: ls. vim .cat 像文件系统一样查看Kubernetes 资源 像文件系统一样访问Kubernetes 资源描述cat ~/kubernetes/default/pod/postgres-aazm1/describe 方便的备份,导出信息 一种可选的持续部署方案 说明 使用kubefuse 工具挂载我们的…

写在前面 kubectl虽然查询单个的kubernetes资源或者列表都已经比较方便,但是进行更为多个资源的联合查询(比如pod和node),以及查询结果的二次处理方面却是kubectl无法胜任的.所以一直以来,我都有想法将kubernetes作为数据库进行查询.在去年,我开发了第二个版本的kubesql.相关信息在https://xuxinkun.github.io/2019/03/11/kubesql/,代码留存在https://github.com/xuxinkun/kubesql/tre…

kubernetes资源优化方向 系统参数限制 设置系统内核参数: vm.overcommit_memory = 0 vm.swappiness = 0 sysctl -p #生效 内核参数overcommit_memory 它是 内存分配策略 可选值:0.1.2. 0, 表示内核将检查是否有足够的可用内存供应用进程使用:如果有足够的可用内存,内存申请允许:否则,内存申请失败,并把错误返回给应用进程. 1, 表示内核允许分配所有的物理内存,而不管当前的内存状态如何. 2, 表示内核允许分配超过所…

我最新最全的文章都在南瓜慢说 www.pkslow.com,欢迎大家来喝茶! 1 简介 最近工作中用到了Terraform,权当学习记录一下,希望能帮助到其它人. Terraform系列文章如下: Terraform入门教程,示例展示管理Docker和Kubernetes资源 Terraform插件Provider管理,搜索.定义.下载 Terraform状态State管理,让变更有记录 Terraform模块Module管理,聚合资源的抽取与复用 Terraform常用命令 Terraform…

在Kubernetes中,通常kube-schduler和kube-controller-manager都是多副本进行部署的来保证高可用,而真正在工作的实例其实只有一个.这里就利用到 leaderelection 的选主机制,保证leader是处于工作状态,并且在leader挂掉之后,从其他节点选取新的leader保证组件正常工作. 不单单只是k8s中的这两个组件用到,在其他服务中也可以看到这个包的使用,比如cluster-autoscaler等都能看得到这个包的,今天就来看看这个包的使用以及它…

Ingress在K8S1.1之前还没有. 概念 Ingress是一种HTTP方式的路由转发机制,为K8S服务配置HTTP负载均衡器,通常会将服务暴露给K8S群集外的客户端. Ingress是一个允许入站连接到达集群服务的规则集合.Ingress能把Service(K8Sservice)配置成外网可访问集群service的URL.负载均衡.SSL.基于名称的虚拟主机等. 单纯创建一个Ingress没有任何意义,需要部署一个Ingress Controller(Ingress控制器,下文简称IC)来…

概述 我将它们简单的分类为以下几种资源对象: 类别 名称 资源对象 Pod.ReplicaSet.ReplicationController.Deployment.StatefulSet.DaemonSet.Job.CronJob.HorizontalPodAutoscaling.Node.Namespace.Service.Ingress.Label.CustomResourceDefinition 存储对象 Volume.PersistentVolume.Secret.ConfigMap 策…

背景 Kubernetes中的调度是将待处理的pod绑定到节点的过程,由Kubernetes的一个名为kube-scheduler的组件执行.调度程序的决定,无论是否可以或不能调度容器,都由其可配置策略指导,该策略包括一组规则,称为谓词和优先级.调度程序的决定受到其在第一次调度时出现新pod时的Kubernetes集群视图的影响.由于Kubernetes集群非常动态且状态随时间而变化,因此可能需要将已经运行的pod移动到其他节点,原因如下: 一些节点不足或过度使用. 原始调度决策不再适用,因为在…

通过多线程资源竞争的手段同时上传两个头像,就可以在Apache+Rails环境下实现远程代码执行.这并不是天方夜谭,同时我相信许多文件上传系统都会有这个漏洞……这是一个非常有趣的安全实验,一起来看看吧! FreeBuf小科普: Rails:某种基于Ruby语言的高效WEB框架.Paperclip:Thoughtbot公司出品的Rails图片上传插件..htaccess:Apache服务器中的一个配置文件,笼统地说,.htaccess可以帮我们实现包括:文件夹密码保护.用户自动重定向.自定义错误页…

作为 Kubernetes 的资源管理与调度部分的基础,需要从它的资源模型说起. 资源管理模型的设计 我们知道,在 Kubernetes 里面, Pod 是最小的原子调度单位,这就意味着,所有和调度和资源管理有关的属性,应该都是属于 Pod 对象的字段,而在这些字段中,最重要的部分就是 Pod 的 CPU 和内存配置. 在 Kubernetes 中,像 CPU 这样的资源被称作"可压缩资源"( compressible resources ).它典型特点是,当可压缩资源不足时, Pod…

类别 名称 资源对象 Pod.ReplicaSet.ReplicationController.Deployment.StatefulSet.DaemonSet.Job.CronJob.HorizontalPodAutoscaling 配置对象 Node.Namespace.Service.Secret.ConfigMap.Ingress.Label.ThirdPartyResource. ServiceAccount 存储对象 Volume.Persistent Volume 策略对象 Sec…

前言 在是用kubernetes中,我们对资源的创建大部分都是通过 1 kubelet create -f RESOURCE.yaml 刚开看的时候不免有一些迷茫,看不懂语法,不知道怎么写:今天本文就介绍一下kubernetes construct语法. Construct语法其实就是由kubelet格式化成API的post data,提交给apiserver,因此这里支持yaml,json两种数据结构的文件. Pod资源 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15…

概念 HPA全称Horizontal Pod Autoscaling,即pod的水平自动扩展.自动扩展主要分为两种,其一为水平扩展,针对于实例数目的增减:其二为垂直扩展,即单个实例可以使用的资源的增减.HPA属于前者. HPA的操作对象是RC.RS或Deployment对应的Pod,根据观察到的CPU实际使用量与用户的期望值进行比对,做出是否需要增减实例数量的决策. 原理 它根据Pod当前系统的负载来自动水平扩容,如果系统负载超过预定值,就开始增加Pod的个数,如果低于某个值,就自动减少Pod的…

概念 存储管理跟计算管理是两个不同的问题.理解每个存储系统是一件复杂的事情,特别是对于普通用户来说,有时并不需要关心各种存储实现,只希望能够安全可靠地存储数据. 为了简化对存储调度,K8S对存储的供应和使用做了抽象,以API形式提供给管理员和用户使用.要完成这一任务,引入了两个新的API资源:Persistent Volume(持久卷,以下简称PV)和Persistent Volume Claim(持久卷申请,以下简称PVC). PV是集群中的一块网络存储,跟Node一样,也是集群的资源.PV跟…

Kubernetes常用资源对象 依据资源的主要功能作为分类标准,Kubernetes的API对象大体可分为五个类别,如下: 类型 名称 工作负载(Workload) Pod.ReplicaSet.Deployment.StatefulSet.DaemonSet.Job.Cronjob 负载均衡(Discovery &LB) Service.Ingress 配置和存储(Config&Storage) Volume.CSI.ConfigMap.Secret.DownwardAPI 集群(Cl…

一.概述 1.上集中我们说到,官方文档提示说从k8s 1.11版本开始,将监控体系指标数据获取机制移向新一代的监控模型.也就意味着对于我们的k8s来讲现在应该有这样两种资源指标被使用.一种是资源指标,另一种是自定义指标.意思是说HeapSter提供了指标数据的收集,存储和监控的基本功能.并支持多个数据接收器.比如influxdb来存储指标数据,而后每个存储后端的代码本身都驻留在HeapSter仓库中.意思是HeapSter为了能够支持各种各样的存储后端他就不得不去适配驱动每一个存储后端,这其中包…

一.kubernetes是有一个restful风格的 API,把各种操作对象都一律当做资源来管理.并且可通过标准的HTTP请求的方法 GET,PUT,DELETE,POST,等方法来完成操作,不过是通过相应的命令反馈在kubectl 之上,如kubectl run,get,edit,.... 二.k8s常用的资源实例化后我们称之为对象.k8s相关的核心资源如下. 1.workload(工作负载型资源对象):Pod,ReplicaSet,Deployment,StatefulSet,DaemonS…

k8s中的资源 什么叫资源? k8s中所有的内容都抽象为资源, 资源实例化之后,叫做对象 在k8s中有哪些资源? 工作负载型资源(workload): Pod ReplicaSet Deployment StatefulSet DaemonSet Job CronJob (ReplicationController在v1.11版本被废弃) 服务发现及负载均衡型资源:   ServiceDiscovery LoadBalance  Service Ingress, ... 配置与存储型资源: Vo…

写在前面 当我开始大范围使用Kubernetes的时候,我开始考虑一个我做实验时没有遇到的问题:当集群里的节点没有足够资源的时候,Pod会卡在Pending状态.你是没有办法给节点增加CPU或者内存的,那么你该怎么做才能将这个Pod从这个节点拿走?最简单的办法是添加另一个节点,我承认我总是这么干.最终这个策略无法发挥出Kubernetes最重要的一个能力:即它优化计算资源使用的能力.这些场景里面实际的问题并不是节点太小,而是我们没有仔细为Pod计算过资源限制. 资源限制是我们可以向Kuberne…

什么是 DaemonSet? DaemonSet 确保全部(或者某些)节点上运行一个 Pod 的副本.当有节点加入集群时,也会为他们新增一个 Pod . 当有节点从集群移除时,这些 Pod 也会被回收.删除 DaemonSet 将会删除它创建的所有 Pod. 如何调度 Daemon Pod? 正常情况下,Pod 运行在哪个机器上是由 Kubernetes 调度器来选择的.然而,由 Daemon Controller 创建的 Pod 已经确定了在哪个机器上(Pod 创建时指定了 .spec.nod…

什么是pod? Pod是一组一个或多个容器(例如Docker容器),具有共享的存储/网络,以及有关如何运行这些容器的规范. Pod的内容始终位于同一地点,并在同一时间安排,并在共享上下文中运行. Pod对特定于应用程序的“逻辑主机”进行建模-它包含一个或多个相对紧密耦合的应用程序容器-在容器之前的世界中,在同一物理或虚拟机上执行将意味着在同一逻辑主机上执行 . 简单示例 apiVersion: v1kind: Podmetadata:     name: nginx-pod     namesp…