目录 一.问题 二.问题的原因 三.问题解决的办法 1. 扩大磁盘 2. 删除部分历史索引 3. 更改es设置 四.扩展 一.问题 最近在查看线上的 es,发现最近2天的索引没有副本,集群的状态也是为 yellow 的. 二.问题的原因 es 所在的服务器磁盘是还有剩余空间的.只不过磁盘使用了大概 89%,按道理来说应该是会继续使用的,并创建索引的副本的,我们经过查阅官方文档. cluster.routing.allocation.disk.watermark.low Controls the

[ type=cluster_block_exception, reason=index [ index_name ] FORBIDDEN/12/index read-only / allow delete (api) 由于磁盘使用率达到85%,导致es锁了索引,索引变成了只读模式,当有数据写入的时候就会报上面的错误,此时的索引处于只读状态,不可写入 index_name为索引名称,具体以日志显示为准 需要先清理本地磁盘,然后再进行下面的操作来解除索引的只读状态 解除索引只读状态: curl -

最近es集群磁盘空间告警,日志又没地方可以迁移,然后申请了新的服务器,一次性加入8台新的服务器 新增了32个新的数据节点,至此,我们的主集群已经到达85个数据节点的规模,整个集群数据已达到PB级别,终于可以跟别人炫耀我是做大数据的了.O(∩_∩)O哈哈~ 但是随着集群节点的不断壮大,问题也随之而来,刚开始加入新节点后,发现所有数据分片都会在新节点上,但是过几天后,发现只有少部分在新节点上. 然后,发现新的数据节点磁盘才使用40%,就不再往这些新节点分配分片了.当时觉得很纳闷. 后来翻翻es文档才

Win10磁盘利用率高达100%设置修改方法 Windows Defender关闭 Win10的Windows Defender已经变身成为安全中心,它的运行机制改成了即便是电脑中存在多个杀毒.防护软件,所以一同后台运作的时候磁盘占用飙升就不难理解了. 所以要么干掉其他的防护软件,要么就彻底关闭Windows Defender.Defender要彻底关闭就需要处理注册表. Win+R组合键后输入regedit进入注册表编辑器,定位到 Hkey_LOCAL_MACHINE\SOFTWARE\Mic

目录 查看当前 python 进程 Linux Windows 查看 GPU 利用率 Linux Windows Linux CPU 利用率 Linux 磁盘利用率 查看当前 python 进程 Linux 在 shell 中执行如下指令: ps -ef | grep python 或者 ps aux | grep python 查看用户 wuliyttaotao 的所用进程: ps aux|grep wuliyttaotao 实时查看所有进程: top 或者(同时能查看各个 CPU 利用率)

zabbix (3.4.2)添加监控项,触发器,让CPU使用超过85%就报警: zabbix自带模板有一个 Template OS Linux模板.这个模板有监控CPU的监控项,如果没有添加一个监控项“ CPU idle time” 这个监控项监控的是CPU剩余的时间.监控到这个指标也就可以监控到使用了多少. 1.首先,如果没有添加一个监控项“ CPU idle time”,具体步骤如下: 1.1:配置—>模板—->找到Template OS Linux模板—监控项 1.2:创建监控项—-&g

#!/usr/bin/python #coding:utf-8 #导入psutil模块 import psutil import yagmail def mail(subject,contents): #形参为邮件的标题和内容 yag = yagmail.SMTP(user='zhangweihappy8@163.com', password='xxx', host='smtp.163.com') #passwd为授权的密码不是登陆密码 #发送邮件 yag.send(to='zui_city_z

今天跑了一个非常耗时的批量插入操作..通过top命令查看cpu以及内存的使用的时候,cpu的时候查过了120%..以前没注意..通过在top的情况下按大键盘的1,查看的cpu的核数为4核. 通过网上查找,发现top命令显示的是你的程序占用的cpu的总数,也就是说如果你是4核cpu那么cpu最高占用率可达400%,top里显示的是把所有使用率加起来. 这里我们也可以查看一下CPU信息:在命令行里输入:cat /proc/cpuinfo 这里可以看到cpu cores       : 4

内存使用率key:vm.memory.size[pused]

1.  这里显示的所有的cpu加起来的使用率,说明你的CPU是多核,你运行top后按大键盘1看看,可以显示每个cpu的使用率,top里显示的是把所有使用率加起来;    2.查看CPU信息; cat /proc/cpuinfo   3.official explanation: man top  re: https://blog.csdn.net/huangshanchun/article/details/44397581   https://blog.csdn.net/wangxin67225

在介绍磁盘 I/O 监控命令前,我们需要了解磁盘 I/O 性能监控的指标,以及每个指标的所揭示的磁盘某方面的性能. 磁盘 I/O 性能监控的指标主要包括: 指标 1:每秒 I/O 数(IOPS 或 tps) 对于磁盘来说,一次磁盘的连续读或者连续写称为一次磁盘 I/O, 磁盘的 IOPS 就是每秒磁盘连续读次数和连续写次数之和.当传输小块不连续数据时,该指标有重要参考意义. 指标 2:吞吐量(Throughput) 指硬盘传输数据流的速度,传输数据为读出数据和写入数据的和.其单位一般为 Kbps

在介绍磁盘 I/O 监控命令前,我们需要了解磁盘 I/O 性能监控的指标,以及每个指标的所揭示的磁盘某方面的性能.磁盘 I/O 性能监控的指标主要包括:指标 1:每秒 I/O 数(IOPS 或 tps)对于磁盘来说,一次磁盘的连续读或者连续写称为一次磁盘 I/O, 磁盘的 IOPS 就是每秒磁盘连续读次数和连续写次数之和.当传输小块不连续数据时,该指标有重要参考意义.指标 2:吞吐量(Throughput)指硬盘传输数据流的速度,传输数据为读出数据和写入数据的和.其单位一般为 Kbps, MB/

磁盘 I/O 监控是 Unix/Linux 系统管理中一个非常重要的组成部分.它可以监控吞吐量.每秒 I/O 数.磁盘利用率.服务时间等信息,并且在发现异常时,发送告警信息给系统管理员,便于系统管理员进行调整数据布局等管理活动以达到优化系统总体性能的目的. 不同的操作系统监控磁盘 I/O 的命令可能略有不同.本文将介绍 Unix/Linux 操作系统磁盘 I/O 管理命令及相关信息,并讲述 Unix/Linux 操作系统上磁盘 I/O 管理监控的自动化脚本实现. Unix/Linux 磁盘 I/

指标 1:每秒 I/O 数(IOPS 或 tps) 对于磁盘来说,一次磁盘的连续读或者连续写称为一次磁盘 I/O, 磁盘的 IOPS 就是每秒磁盘连续读次数和连续写次数之和.当传输小块不连续数据时,该指标有重要参考意义. 指标 2:吞吐量(Throughput) 指硬盘传输数据流的速度,传输数据为读出数据和写入数据的和.其单位一般为 Kbps, MB/s 等.当传输大块不连续数据的数据,该指标有重要参考作用. 指标 3:平均 I/O 数据尺寸 平均 I/O 数据尺寸为吞吐量除以 I/O 数目,该

iostat命令可以查看CPU利用率和磁盘性能相关数据,有时候我们会觉得系统响应慢,传数据很慢,这个慢可能是多方面原因导致的,如CPU利用率高.网络差.系统平均负载高甚至是磁盘已经损坏了.对此,系统性能出问题时,磁盘I/O是一个值得重点分析的重要指标. 命令的使用方法很简单,但是要关注哪些报告值,报告的各个含义是什么,这个是必须要搞清楚的.对于Linux 块I/O不清楚的,可以参看我之前的文章: Linux内核之快I/O层 一.iostat命令使用1.1 命令默认报告默认报告CPU和磁盘的使用情

前言 本文主要介绍ElasticSearch在使用过程中出现的各种问题解决思路和办法. ElasticSearch环境安装问题 1,max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144] 原因: 内存限制太小了! 解决办法: 修改最大内存限制! 修改sysctl.conf文件 vim /etc/sysctl.conf 在末尾增加如下配置: vm.max_map_coun

awk.grep.sed是linux操作文本的三大利器,合称文本三剑客,也是必须掌握的linux命令之一.三者的功能都是处理文本,但侧重点各不相同,其中属awk功能最强大,但也最复杂.grep更适合单纯的查找或匹配文本,sed更适合编辑匹配到的文本,awk更适合格式化文本,对文本进行较复杂格式处理. 1.grep 1.1 什么是grep和egrep Linux系统中grep命令是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来(匹配到的标红).grep全称是Global

1. Hadoop的HA机制 前言:正式引入HA机制是从hadoop2.0开始,之前的版本中没有HA机制 1.1. HA的运作机制 (1)hadoop-HA集群运作机制介绍 所谓HA,即高可用(7*24小时不中断服务) 实现高可用最关键的是消除单点故障 hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA.YARN的HA (2)HDFS的HA机制详解 通过双namenode消除单点故障 双namenode协调工作的要点: A.元数据管理方式需要改变: 内存中各自保存一份元数据

本文为es性能监控基础的扩展,大家可以先看下性能监控基础,熟悉下es的基本原理.为翻译性质文档,感谢原作者,原始文档地址 类似于汽车的运行方式,Elasticsearch旨在让用户快速上手和运行,而无需了解其所有的内部工作.然而我们在使用过程中,总会遇到这样那样的问题.下文将介绍Elasticsearch使用时经常遇到的一些挑战,以及我们如何应对这些挑战.如下列举了5个常见问题: 一.我的es集群是红色或者黄色的,我该如何处理? 正如性能监控基础中所讲,如果缺少一个或多个主分片(及其副本),则集

1 软性热身题 这种题目,考的就是你的软性能力,比如表达能力,理解能力,协调能力,一个词概括就是套路.这类题目会在面试开始热身的时候,问一道两题,不会多,但是如果你能回答的有条不紊,清晰达意,那么就会给面试官留下非常好的印象,大致的题目如下: 自我介绍 我叫XXX,毕业于XXX,从事测试行业已经XX年,我擅长接口测试自动化,测试框架,巴拉巴拉,我共服务过X个公司分别有Y个成就,江湖人称666.总之,尽量用 简介的语言突出自己的优点,要保持humble,就像我介绍的这样,嗯:) 介绍下你负责的公司

这篇文章主要介绍 ElasticSearch 的基本概念,学习文档.索引.集群.节点.分片等概念,同时会将 ElasticSearch 和关系型数据库做简单的类比,还会简单介绍 REST API 的使用用法. ElasticSearch 术语 索引和文档是偏向于逻辑上的概念,节点和分片更偏向于物理上的概念. 首先来说下什么是文档: 文档(Document) ElasticSearch(简称 ES) 是面向文档的,文档是所有可搜索数据的最小单位. 给大家举几个例子,让大家更形象地理解什么是文档: