elasticsearch多磁盘扩容   1.问题 由于早前elasticsearch集群数据存储路径只配置了一个,所以某天磁盘突然爆满,集群差点当机.需重新配置多路径存储路径,因为在生产环境,得保证集群不死掉,只能一台一台配置重启. 2.修改配置文件 修改elasticsearch.yml中path.data属性,添加多路径以逗号分隔 path.data : /opt/data1,/opt/data2 3.查看集群状态 curl -XGET "http://xxxx:9200/_cat/ind

虚拟机新增磁盘及挂载步骤 1.新增磁盘 (1)  编辑虚拟机设置->添加 (2)  选择硬盘->下一步 (3)  选择SCSI格式,下一步 (4)  创建新虚拟磁盘,下一步 (5)  设置磁盘大小,选择将虚拟磁盘拆分多个文件,下一步 2.对虚拟磁盘进行挂载 (1) #fdisk -l (2) #fdisk /dev/sdb 键入m,列入fdisk帮助 (3)   键入n (4)   键入p,键入1 (5)键入w,保存并退出 3.对新建的分区进行格式化: 格式化为ext3的文件系统 #mkfs

1. du -sh 查看目录.文件总大小 -a:全部文件与目录大小都列出来.如果不加任何选项和参数只列出目录(包含子目录)大小. -c:最后加总2. df -h 查看磁盘使用量3. lsblk 查看系统块设备信息 blkid 查看磁盘分区的uuid 3. free 系统内存以及虚拟内存使用情况 -m选项是以M的形式查看 4. fuser -km /home 终止使用该目录的所有进程 5. mount /dev/sdc1 /home 挂载sdc1到/home节点 umount /dev/sdc1

目录 一.问题 二.问题的原因 三.问题解决的办法 1. 扩大磁盘 2. 删除部分历史索引 3. 更改es设置 四.扩展 一.问题 最近在查看线上的 es,发现最近2天的索引没有副本,集群的状态也是为 yellow 的. 二.问题的原因 es 所在的服务器磁盘是还有剩余空间的.只不过磁盘使用了大概 89%,按道理来说应该是会继续使用的,并创建索引的副本的,我们经过查阅官方文档. cluster.routing.allocation.disk.watermark.low Controls the

首先上一张图 -------1)首先fdisk 一块磁盘并格式化 mkfs.ext4 /dev/sda15 --------2)将此磁盘挂载在mnt目录下,并将磁盘容量不够的磁盘所有文件进行复制到mnt下 mount /dev/sda15 /mnt cp -a /usr/share/ /mnt/ --------3)卸载新增的那块磁盘,即挂载在目录mnt上的那个 umount /mnt/ --------4) 次数新增的磁盘/dev/sda15已经存在了/usr/share/ 的所有文件,故将/

home磁盘空间不足,其他闲置硬盘是原来windows的,不能直接使用(磁盘格式及权限等原因),比如编译安卓源码等. 这样的话就需要将新的磁盘格式化成fat32后挂载到/home下的一个目录,这样就可以方便使用啦. 具体步骤如下: 1.格式化磁盘: a.使用命令: sudo mkfs -t ext3 /dev/sdb1 如果执行后开始出现进度就是正在执行,需要等待,是需要时间的. 最后显示如下: Java代码 mke2fs 1.41.14 (22-Dec-2010) Filesystem lab

命令为:下面也可以单独进行限制,官网说可以设置具体数值,但是无没成功,有成功的大神可以在下面告诉我一下哈 PUT _cluster/settings{ "persistent": { "cluster.routing.allocation.disk.watermark.low": "90%", "cluster.routing.allocation.disk.watermark.high": "95%",#

ES升级到624测试从Kettle插入数据的时候,经常提示如下错误 message [ClusterBlockException[blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];]] 可以理解就是索引是只读模式,所以填入数据失败.因为默认没改过路径,实际存储应该在ES目录下面.去看ES的启动盘,发现基本已经满了.可能确实因为存储空间的原因. 参照这篇文档, https://www.cnblogs.com/huane/

XFS提供了 xfsdump 和 xfsrestore 工具协助备份XFS文件系统中的数据.xfsdump 按inode顺序备份一个XFS文件系统.centos7选择xfs格式作为默认文件系统,而且不再使用以前的ext,仍然支持ext4,xfs专为大数据产生,每个单个文件系统最大可以支持8eb,单个文件可以支持16tb,不仅数据量大,而且扩展性高.还可以通过xfsdump,xfsrestore来备份和恢复.与传统的UNIX文件系统不同,XFS不需要在备份前被卸载:对使用中的XFS文件系统做备份就

背景 事情是这样的.一天下午4点42分左右.业务反馈我开发的服务在测试环境出现问题,返回资源数据是0.查日志发现是ES访问超时.相当于数据库挂了.持续了20多分钟自己恢复.咨询了ES团队,最终得到下面的答复: 当前集群现状: 1)当前集群数据IO最高的索引为XXX,数据量很小(100mb) 2)但是读写都很大(读>1000QPS,写>1000QPS) ,使用的是线下环境的机器 3)索引分了10个片,4个副本问题 分析: 1)线下环境的机器之前了解到测试环境硬盘性能本来就很差,这个需要业务SRE

文章转载自: https://mp.weixin.qq.com/s?__biz=MzI2NDY1MTA3OQ==&mid=2247484171&idx=1&sn=985a71a4f2fff5233b1803fa6e8bb9db&chksm=eaa82b23dddfa23576681118838761947955a05bbac35e42883ed54b81a193141837971c5fd7&scene=21#wechat_redirect

架构原理 本书作为 Elastic Stack 指南,关注于 Elasticsearch 在日志和数据分析场景的应用,并不打算对底层的 Lucene 原理或者 Java 编程做详细的介绍,但是 Elasticsearch 层面上的一些架构设计,对我们做性能调优,故障处理,具有非常重要的影响. 所以,作为 ES 部分的起始章节,先从数据流向和分布的层面,介绍一下 ES 的工作原理,以及相关的可控项.各位读者可以跳过这节先行阅读后面的运维操作部分,但作为性能调优的基础知识,依然建议大家抽时间返回来了

elasticsearch专栏:https://www.cnblogs.com/hello-shf/category/1550315.html 一.预备知识 1.1.索引不可变 看到这篇文章相信大家都知道es是倒排索引,不了解也没关系,在我的另一篇博文中详细分析了es的倒排索引机制.在es的索引过程中为了满足一下特点,落盘的es索引是不可变的. 不需要锁.如果从来不需要更新一个索引,就不必担心多个程序同时尝试修改. 一旦索引被读入文件系统的缓存(译者:在内存),它就一直在那儿,因为不会改变.只要

@ 目录 一.什么Elasticsearch? 二.Elasticsearch安装部署 2.1 Elasticsearch安装环境准备 2.2 Docker环境安装Elasticsearch 2.3 Elasticsearch目录结构介绍 2.4 Elasticsearch cat命令使用 三.Elasticsearch基本概念 3.1 索引(Index) 3.2 文档类型(Type) 3.3 文档(Document) 3.4 属性/域(Field) 3.5 节点(Node) 3.6 集群(Cl

在虚拟机Vmware中我们有时候需要添加新的虚拟磁盘或给已有虚拟磁盘扩容(expand),在新增磁盘或磁盘扩容后,Linux系统并不能马上识别到.也就是说你看不到磁盘空间变化(使用fdisk -l查看),这时我们可以通过重启系统(reboot)解决这个问题,但是很多时候,我们并不想在存储扩容时重启系统,因为这样会影响到现有的业务系统.那么为什么新增磁盘或磁盘扩容后,Linux系统识别不到呢?这个是因为连接存储设备的SCSI总线需要重新扫描,才能识别到这些新的存储设备.下面测试一下在添加新的虚拟磁

实验环境: Citrix虚拟化, RHEL6.4系统环境 本文目的: 熟悉Linux的基本磁盘分区.格式化.目录挂载. 显示当前主机目录 磁盘分区 磁盘格式化 挂载目录 1. 显示当前主机目录 命令df -h [root@localhost ~]# df -h Filesystem Size Used Avail Use% Mounted on /dev/mapper/VolGroup-lv_root 26G 2.9G 22G 13% / tmpfs 1.9G 0 1.9G 0% /dev/sh

磁盘分区.格式化.挂载磁盘分区    新增分区    查询分区    删除分区磁盘格式化    mkfs    mke2fs磁盘挂载与卸载    mount    umount 磁盘的分区.格式化.挂载 对于一个系统管理者( root )而言,磁盘的的管理是相当重要的一环,尤其近来硬盘已经渐渐的被当成是消耗品了 ..... 如果我们想要在系统里面新增一颗硬盘时,应该有哪些动作需要做的呢: 对磁盘进行分区,以创建可用的 partition : 对该 partition 进行格式化( format

LVM:logical volume manager(逻辑卷管理):LVM屏蔽了底层磁盘布局,方便于动态调整磁盘容量. 一.创建逻辑卷的步骤: 1)通过fdisk 工具将磁盘转换为linux分区 2)通过pvcreate命令将linux分区转换成物理卷(PV): 3)通过vgcreate命令将创建好的物理卷处理成卷组(VG): 4)通过lvcreate命令将卷组分成若干个逻辑卷(LV): 5)对逻辑卷进行格式化,挂载,动态调整逻辑卷的大小,并且该操作不会影响逻辑卷(Lv)上的数据. 二.物理卷(

1.磁盘分割: fdisk [root@linux ~]# fdisk [-l] 装置名称 参数: -l :输出后面接的装置所有的partition内容.若仅有fdisk -l时, 则系统将会把整个系统内能够搜寻到的装置的partition均列出来. 范例1:查阅您的第一颗硬盘内的相关信息 [root@linux ~]# fdisk /dev/hda <== 仔细看,不要加上数字喔! The number of cylinders for this disk is set to 2494. Th

原文地址:http://vbird.dic.ksu.edu.tw/linux_basic/0230filesystem.php#filesys 查看文件系统参数命令 dumpe2fs 盘符地址 例: dumpe2fs /dev/sda5 利用 dumpe2fs 可以查询到非常多的信息,不过依内容主要可以区分为上半部是 superblock 内容, 下半部则是每个 block group 的信息了 如果想要实际观察 root 家目录内的文件所占用的 inode 号码时,可以使用 ls -i 或者

1,查看指定kvm虚拟机的现有磁盘domblklist