前段时间看了马哥的k8s新书,最后几章讲了下EFK,尝试部署了下,很多问题, 这里改进下,写个笔记记录下吧. 准备工作 所有组件都通过helm3部署,选添加几个仓库. helm repo add bitnami https://charts.bitnami.com/bitnami helm repo add fluent https://fluent.github.io/helm-charts 存储用的nfs的sc,自行解决. 三个4G内存工作节点的k8s集群. 部署es 其中动态pv, pro

一.概述 1.我们说过在helm架构中有这么几个关键组件,helm,tiller server,一般托管运行于k8s之上,helm能够通过tiller server在目标k8s集群之上部署应用程序,而后,helm对应程序部署来自于helm能访问到的仓库中的chart.并且我们可以把chart通过配置生成为 Release,其中config是来自于我们chart中的values.yaml文件,对chart来讲其内部没有太多复杂的地方,无非就是把我们此前所自己编写的配置清单改写为可复用格式,所谓的可

目录 EFK日志系统 一,EFK日志系统简介: 二,EFK系统部署 1,EFK系统部署方式 2,基于Helm方式部署EFK EFK日志系统 一,EFK日志系统简介: 关于系统日志收集处理方案,其实有很多种,因为之前使用ES比较多,所以也认为ELK是一个不错的解决方案,ELK(Elasticsearch + Logstash + Kibana)来管理日志. Kubernetes 也要实现在整个集群级别收集和聚合日志,以便用户可以从单个仪表板监控整个集群,其常用的架构形式之一 一种流行的开源解决方案

信息: Docker版本($ docker --version):Docker版本18.06.1-ce,版本e68fc7a 系统信息($ cat /etc/centos-release):CentOS Linux release 7.5.1804 (Core) 第一步:配置镜像加速 sudo mkdir -p /etc/docker sudo tee /etc/docker/daemon.json <<-'EOF' { "registry-mirrors": ["

helm部署Filebeat + ELK 系统架构图: 1) 多个Filebeat在各个Node进行日志采集,然后上传至Logstash 2) 多个Logstash节点并行(负载均衡,不作为集群),对日志记录进行过滤处理,然后上传至Elasticsearch集群 3) 多个Elasticsearch构成集群服务,提供日志的索引和存储能力 4) Kibana负责对Elasticsearch中的日志数据进行检索.分析 1. Elasticsearch部署 官方chart地址:https://gith

前言 玩K8S也有一段时间了,借助云服务提供商的K8S控制台,已经可以很方便的快速部署应用至K8S.通过简单的点击,可以一次性帮忙创建K8S 对象:Deployment.Service.Ingress.ConfigMap等.但是当服务的规模上来后,这种方式就有点捉襟见肘.尤其是需要同时更新多个关联服务时,就需要一个一个的去更改,就有点不太方便.为了解决这个问题,最近上手实操了一下Helm,发现生产力大大提升. Helm 简介 Helm 是一个为K8S打造的包管理器.通过Helm可以方便管理Kub

简绍 应用程序和系统日志可以帮助我们了解集群内部的运行情况,日志对于我们调试问题和监视集群情况也是非常有用的.而且大部分的应用都会有日志记录,对于传统的应用大部分都会写入到本地的日志文件之中.对于容器化应用程序来说则更简单,只需要将日志信息写入到 stdout 和 stderr 即可,容器默认情况下就会把这些日志输出到宿主机上的一个 JSON 文件之中,同样也可以通过 docker logs 或者 kubectl logs 来查看到对应的日志信息. Kubernetes 中比较流行的日志收集解决

09-5.部署 EFK 插件 EFK 对应的目录:kubernetes/cluster/addons/fluentd-elasticsearch $ cd /opt/k8s/kubernetes/cluster/addons/fluentd-elasticsearch $ ls *.yaml es-service.yaml es-statefulset.yaml fluentd-es-configmap.yaml fluentd-es-ds.yaml kibana-deployment.yaml

一 Helm概述 1.1 Helm介绍 Helm 是 Kubernetes 的软件包管理工具.包管理器类似 Ubuntu 中使用的apt.Centos中使用的yum 或者Python中的 pip 一样,能快速查找.下载和安装软件包.通常每个包称为一个Chart,一个Chart是一个目录(一般情况下会将目录进行打包压缩,形成name-version.tgz格式的单一文件,方便传输和存储). Helm 由客户端组件 helm 和服务端组件 Tiller 组成, 能够将一组K8S资源打包统一管理, 是

简述 本文用于记录如何使用Docker Compose部署 EFK(Elasticsearch + Fluentd + Kibana) 收集Docker容器日志,使用EFK,可以无侵入代码,获得灵活,易用的日志收集和分析. fluentd镜像构建相关文件.docker-compose.yml文件都放在 https://github.com/LXD24/EFK 仓库里. 1.首先弄个fluentd镜像 因为Fluentd需要fluent-plugin-elasticsearch插件才能将日志传输到

1 前言 Helm是优秀的基于Kubernetes的包管理器.利用Helm,可以快速安装常用的Kubernetes应用,可以针对同一个应用快速部署多套环境,还可以实现运维人员与开发人员的职责分离.现在让我们安装并体现一下,如何通过Helm安装MongoDB吧. Kubernetes环境搭建可参考:Mac上使用Docker Desktop启动Kubernetes,踩坑后终于搞掂 2 Helm相关概念 包管理是一种复用理念,Helm与Kubernetes的关系,就像是yum与CentOS,pip于p

关于helm部署服务 在Kubernetes上进行容器化部署时,使用helm可以简化操作,以部署Jenkins为例,只需要以下命令即可完成部署: helm install --namespace helm-jenkins --name my-jenkins stable/jenkins 注意:关于helm部署的体验Jenkins的详情,请参考<> 面临的问题 上述命令部署的Jenkins服务,参数都是默认的,例如CPU和内存,如果您已装了metrics-server,用命令kubectl to

如果您的kubernetes已有了helm,那么部署mysql的步骤可以进一步简化,那些原先需要自己动手配置的deployment和service都已集成在chart中,今天就来实战通过helm部署mysql,并且将之前遇到的问题抛出来给大家参考: 环境信息 硬件:三台CentOS 7.7服务器 kubernetes:1.15 helm:2.16.1 mysql: 关于helm kubernetes环境helm的部署和基本操作请参考<> 下载chart包 执行helm search mysql

Kubernetes K8S之Helm部署.使用.常见操作与示例 主机配置规划 服务器名称(hostname) 系统版本 配置 内网IP 外网IP(模拟) k8s-master CentOS7.7 2C/4G/20G 172.16.1.110 10.0.0.110 k8s-node01 CentOS7.7 2C/4G/20G 172.16.1.111 10.0.0.111 k8s-node02 CentOS7.7 2C/4G/20G 172.16.1.112 10.0.0.112 Helm是什么

Kubernetes K8S之通过helm部署metrics-server与 Horizontal Pod Autoscaling (HPA)详解 主机配置规划 服务器名称(hostname) 系统版本 配置 内网IP 外网IP(模拟) k8s-master CentOS7.7 2C/4G/20G 172.16.1.110 10.0.0.110 k8s-node01 CentOS7.7 2C/4G/20G 172.16.1.111 10.0.0.111 k8s-node02 CentOS7.7

0.概念:Helm作为一个包管理工具, 它把Kubernetes资源(比如deployments.services或 ingress等) 打包到一个chart中,方便我们将其chart保存到chart仓库用来存储和分享 1.服务端安装: curl https://raw.githubusercontent.com/kubernetes/helm/master/scripts/get > get_helm.sh chmod 700 get_helm.sh./get_helm.sh 2.客户端安装

Helm 基本概念 Helm 可以理解为 Kubernetes 的包管理工具,可以方便地发现.共享和使用为Kubernetes构建的应用,它包含几个基本概念 Chart:一个 Helm 包,其中包含了运行一个应用所需要的镜像.依赖和资源定义等,还可能包含 Kubernetes 集群中的服务定义,类似 Homebrew 中的 formula,APT 的 dpkg 或者 Yum 的 rpm 文件, Release: 在 Kubernetes 集群上运行的 Chart 的一个实例.在同一个集群上,一个

5.1 Istio Chart概述 Helm是目前Istio官方推荐的安装方式.还可以对输入值进行一些调整,完成对Istio的部分配置工作.Istio Chart是一个总分结构,其分级结构和设计结构是一致的. 5.1.1  Chart.yaml 包含版本号.名称.关键字等元数据信息. 5.1.2 values-*.yaml 提供Istio在各种场景下关键字配置范本,可以作为Helm的输入文件,来对Istio进行典型定制.对Istio的定制可以从对这些输入文件的改写开始,改写完后使用 helm t

介绍 Redis Sentinel集群是由若干Sentinel节点组成的分布式集群,可以实现故障发现.故障自动转移.配置中心和客户端通知. 如下图: Redis Sentinel 故障转移过程: 从这张图中我们能看到主节点挂掉了,原先的主从复制也断开了,客户端和损坏的主节点也断开了.从节点被提升为新的主节点,其它从节点开始和新的主节点建立复制关系.客户端通过新的主节点继续进行交互.Sentinel 会持续监控已经挂掉了主节点,待它恢复后,集群会调整为下面这张图. 一.部署redis哨兵集群 官方

简单介绍: EFK 组合插件是k8s项目的一个日志解决方案,它包括三个组件:Elasticsearch, Fluentd, Kibana.相对于ELK这样的架构,k8s官方推行了EFK,可能Fluentd相对于Logstash更加轻量级吧. Elasticsearch 是日志存储和日志搜索引擎,Fluentd 负责把k8s集群的日志发送给 Elasticsearch, Kibana 则是可视化界面查看和检索存储在 Elasticsearch 的数据. GitHub官网:https://githu