首先解释两个概念:swap:在linux里面,当物理内存不够用了,而又有新的程序请求分配内存,那么linux就会选择将其他程序暂时不用的数据交换到物理磁盘上(swap out),等程序要用的时候再读进来(swap in).这样做的坏处显而易见,swap in/swap out这里的代价比较大,相比数据一直放在内存里面,多了读磁盘的操作,而磁盘IO代价..大家都懂的.OOM:out of memory,指在linux里面,由于系统内存压力,系统会选择保护一些系统进程,而将一些其他的进程kill掉,

首先解释两个概念: swap:在linux里面,当物理内存不够用了,而又有新的程序请求分配内存,那么linux就会选择将其他程序暂时不用的数据交换到物理磁盘上(swap out),等程序要用的时候再读进来(swap in).这样做的坏处显而易见,swap in/swap out这里的代价比较大,相比数据一直放在内存里面,多了读磁盘的操作,而磁盘IO代价..大家都懂的. OOM:out of memory,指在linux里面,由于系统内存压力,系统会选择保护一些系统进程,而将一些其他的进程kill

  Linux虚拟内存(swap)调优篇-“swappiness”,“vm.dirty_background_ratio”和“vm.dirty_ratio” 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 我的kafka集群在上线一段时间后,发现内存使用达到峰值时系统开始使用swap.在swap的过程中系统性能会有所下降,表现为较大的服务延迟.对这种情况,可以通过调节swappiness内核参数降低系统对swap的使用,从而避免不必要的swap对性能造成的影响.接下来,我们就一

一.OOM机制概述 Linux 内核有个机制叫OOM killer(Out Of Memory killer),该机制会监控那些占用内存过大,尤其是瞬间占用内存很快的进程,为防止内存耗尽而自动把该进程杀掉. 进程被Linux杀掉几个可能的原因: 内存泄露: 你的进程所需要的内存资源太大,系统无法满足: 也不一定全是你的问题,也有可能是同一主机的其他进程占用资源过多. 数据库OOM可能的故障现象: 数据库切换.服务中断 -- 通过数据库的log确认有进程被kill 9,然后通过同时间的系统日志确认

经常看到swap分区被使用,被缓存的内容本来是为了增加命中率,结果去不断换入换出,导致本地磁盘IO增加,影响访问速度.所以在内存充足的情况下,如果我们觉得不需要使用swap分区的时候,那就要想办法尽量避免使用swap. 我的环境大部分都是oracle数据库服务器,linux+oracle是常见组合,这里针对这个背景做一下分析. 1.hugepage功能 使用hugepages之后可以避免SGA被swap. 直接使用hugepages技术就可以,不要使用lock_sga和pre_page_sga参

报错 收到报警,swap空间占用过高,登录到系统查看内存使用详情,看到物理内存还有很多未使用 问题分析 Swap配置对性能的影响分配太多的Swap空间会浪费磁盘空间,而Swap空间太少,则系统会发生错误.如果系统的物理内存用光了,系统就会跑得很慢,但仍能运行:如果Swap空间用光了,那么系统就会发生错误.例如,Web服务器能根据不同的请求数量衍生出多个服务进程(或线程),如果Swap空间用完,则服务进程无法启动,通常会出现“application is out of memory”的错误,严重时

收到报警,swap空间占用过高,登录到系统查看内存使用详情,看到物理内存还有很多未使用 问题分析 Swap配置对性能的影响分配太多的Swap空间会浪费磁盘空间,而Swap空间太少,则系统会发生错误.如果系统的物理内存用光了,系统就会跑得很慢,但仍能运行:如果Swap空间用光了,那么系统就会发生错误.例如,Web服务器能根据不同的请求数量衍生出多个服务进程(或线程),如果Swap空间用完,则服务进程无法启动,通常会出现“application is out of memory”的错误,严重时会造成

Elasticsearch默认安装后设置的内存是1GB,对于任何一个现实业务来说,这个设置都太小了.如果你正在使用这个默认堆内存配置,你的集群配置可能会很快发生问题. 这里有两种方式修改Elasticsearch的堆内存(下面就说内存好了),最简单的一个方法就是指定ES_HEAP_SIZE环境变量.服务进程在启动时候会读取这个变量,并相应的设置堆的大小.设置命令如下: export ES_HEAP_SIZE=10g 此外,你也可以通过命令行参数的形式,在程序启动的时候把内存大小传递给它: ./b

图片来源:http://www.tomshardware.com/ 序言: Memory(内存)是一台计算机组成的重要部分,也是最基础的一部分.其它基础组件有主板.CPU.磁盘.显卡(可独立可集成)等.写这篇文章源自后面的一个案例,出于想搞明白,以及分享以前关于内存方面的一些记录的知识点. 本文概要主要讲了内存的介绍:如何正确查看系统内存使用率:对Swap分区进行介绍:如何将内存当作硬盘来加速数据读写,以及分享关于内存异常的案例分析:介绍了oom-killer的机制. 一.内存的介绍 1.何为内

cgroups(Control Groups) 是 linux 内核提供的一种机制,这种机制可以根据需求把一系列系统任务及其子任务整合(或分隔)到按资源划分等级的不同组内,从而为系统资源管理提供一个统一的框架.简单说,cgroups 可以限制.记录任务组所使用的物理资源.本质上来说,cgroups 是内核附加在程序上的一系列钩子(hook),通过程序运行时对资源的调度触发相应的钩子以达到资源追踪和限制的目的. 本文以 Ubuntu 16.04 系统为例介绍 cgroups,所有的 demo 均在

Table of Contents 1 linux 1.1 proc filesystem 1.1.1 /proc 1.1.1.1 /proc/meminfo 1.1.1.2 /proc/stat 1.1.1.3 /proc/swaps 1.1.1.4 /proc/cmdline 1.1.1.5 /proc/uptime 1.1.1.6 /proc/version 1.1.1.7 /proc/mounts 1.1.1.8 /proc/modules 1.1.1.9 /proc/diskstats

cluster.routing.allocation.same_shard.host:true 这会防止同一个shard的主副本存在同一个物理机上(因为如果存在一个机器上,副本的高可用性就没有了). swapping是性能的坟墓 这是显而易见的,但是还是有必要说的更清楚一点,内存交换到磁盘对服务器性能来说是致命的.想想看一个内存的操作必须是快速的.如果内存交换到磁盘上,一个100微秒的操作可能变成10毫秒,再想想那么多10微秒的操作时延累加起来.不难看出swapping对于性能是多么可怕. 最好

这是一本书!!! 一本写我在容器生态圈的所学!!! 重点先知: 1. centos 7.6安装优化 2. k8s 1.15.1 高可用部署 3. 网络插件calico 4. dashboard 插件 5. metrics-server 插件 6. kube-state-metrics 插件 原文分享:http://note.youdao.com/noteshare?id=c9f647765493d11099a939d7e5e102c9&sub=A837AA253CA54660AABADEF435

Kubernetes(通常称为"K8S")是Google开源的容器集群管理系统.其设计目标是在主机集群之间提供一个能够自动化部署.可拓展.应用容器可运营的平台.Kubernetes通常结合docker容器工具工作,并且整合多个运行着docker容器的主机集群,Kubernetes不仅仅支持Docker,还支持Rocket,这是另一种容器技术.Kubernetes是一个用于容器集群的自动化部署.扩容以及运维的开源平台.通过Kubernetes, 可以快速有效地响应用户需求:-> 

一 前置准备 1.1 前置条件 相应的充足资源的Linux服务器: 设置相应的主机名,参考命令: hostnamectl set-hostname k8smaster Mac及UUID唯一: 若未关闭防火墙则建议放通相应端口,如下: Master节点-- 规则 方向 端口范围 作用 使用者 TCP Inbound 6443* Kubernetes API server All TCP Inbound 2379-2380 etcd server client API kube-apiserver,

00.组件版本和配置策略 组件版本 Kubernetes 1.14.2 Docker 18.09.6-ce Etcd 3.3.13 Flanneld 0.11.0 插件: Coredns Dashboard Metrics-server EFK (elasticsearch.fluentd.kibana) 镜像仓库: docker registry harbor 主要配置策略 kube-apiserver: 使用节点本地 nginx 4 层透明代理实现高可用: 关闭非安全端口 8080 和匿名访

kubeadm部署K8S集群 安装前的准备 集群机器 172.22.34.34 K8S00 172.22.34.35 K8S01 172.22.34.36 K8S02 注意: 本文档中的 etcd .master 节点.worker 节点均使用这三台机器: 需要使用 root 账号执行这些命令: 未做特殊说明,就表示集群的所有机器都要进行操作 查看CentOS版本 [root@localhost ~]# cat /etc/redhat-release CentOS Linux release 7

⒈配置Linux的IP地址 vim /etc/sysconfig/network-scripts/ifcfg-ens33v ifcfg-ens33是网卡的最新命名规范,它会从BIOS => PCIE通道里获取它的网卡文件名,如果都没有的话,再降级到eth0或者eth1的命名方式,如果需要关闭的话,ifnames=0就可以关闭了.和以前的配置文件修改方式类似. ⒉设置主机名 hostnamectl set-hostname {hostName} 在大型集群环境中建议大家通过DNS的方式,让主机名和

组件 Kubernetes 1.14.2 Docker 18.09.6-ce Etcd 3.3.13 Flanneld 0.11.0 基础环境设置 192.168.11.188 k8s-master 192.168.11.189 k8s-node1192.168.11.190 k8s-node2 设置主机名: hostnamectl set-hostname k8s-master hostnamectl set-hostname k8s-node1 hostnamectl set-hostnam

一.kubernetes的认证授权       Kubernetes集群的所有操作基本上都是通过kube-apiserver这个组件进行的,它提供HTTP RESTful形式的API供集群内外客户端调用.需要注意的是:认证授权过程只存在HTTPS形式的API中.也就是说,如果客户端使用HTTP连接到kube-apiserver,那么是不会进行认证授权的.所以说,可以这么设置,在集群内部组件间通信使用HTTP,集群外部就使用HTTPS,这样既增加了安全性,也不至于太复杂.        Kuber