深入分析Elastic Search的写入过程
摘要
之前写过一篇ElasticSearch初识之吐槽,不知觉竟然过去了两年了。哎,时光催人老啊。最近又用到了ES,想找找过去的总结文档,居然只有一篇,搞了半年的ES,遇到那么多的问题,产出只有这么点,真是说不过去啊。只好又重新捡起ES,发现ES槽点依然很多,不兼容的更新太多了,各个版本之间的差异不小,感觉ES就是偏理论算法的人设计出来的,而不是工程学家写的。非常像公司里面,算法工程师吐槽后端应用开发算法能力弱,后端应用开发吐槽算法工程师工程能力太差。作为一个应用开发对ES差不多就是这种感觉。不过要用到搜索,不用他又不行。既然不能拒绝,只能去享受了。
写入分析
为什么要分析写入了,因为好奇呗。比如有如下问题一直困惑着我
- 为什么es会丢数据
- 什么样的节点可以是coordinate node
- refresh index和flush index是什么操作
- memory buffer,filesystem cache都存在什么地方。
- 集群中的节点如何配合写入的
- 数据怎么存放的
- 为什么写入到filesystem cache中就可以索引了
写入概览
首先我们从分布式集群的角度分析下写入,采用系统默认的参数来说明
集群有三个节点,都存储数据,indexA 有5个分片,2个复制集。
数据如下分布
Node1: shard1
Node2: shard2,shard3,shard1-R1(shard1的复制集)
Node3: shard4,shard5,shard-R2(shard1的复制集)
为了简化问题,shard2,shard5等shard的复制集忽略问题了。
现在以写入shard1为例说明问题。
首先客户端根据配置的连接节点,通过轮询方式连接到一个coordinate节点。
coordinate节点不是很master/client/data节点一个维度的描述,它就是指处理客户端请求的节点。这个描述和cassandra的coordinate节点是一个概念。集群中所有的节点都可以是coordinate节点。
- coodinate节点通过hash算法计算出数据在shard1上
shard = hash(document_id) % (num_of_primary_shards)
,然后根据节点上维护的shard信息,将请求发送到node1上。 - node1 对索引数据进行校验,然后写入到shard中。具体细节见下一节
写入到shard
。 - 主节点数据写入成功后,将数据并行发送到副本集节点Node2,Node3。
- Node2,Node3写入数据成功后,发送ack信号给shard1主节点Node1。
- Node1发送ack给coordinate node
coordinate node发送ack给客户端。
整个过程coordinate node部分类似cassandra,主shard节点和副本集受master-slave模式影响,必须有master决定写入成功与否,和mysql类似的。
写入shard
上面第三步骤,shard内写入还需要详细分析下
- 数据写入到内存buffer
- 同时写入到数据到translog buffer
- 每隔1s数据从buffer中refresh到FileSystemCache中,生成segment文件,一旦生成segment文件,就能通过索引查询到了
- refresh完,memory buffer就清空了。
- 每隔5s中,translog 从buffer flush到磁盘中
- 定期/定量从FileSystemCache中,结合translog内容
flush index
到磁盘中。做增量flush的。
各种数据库的单节点写入过程大同小异,一般都是写内存,记录操作日志(防止节点宕机,内存中的数据丢失)然后flush到磁盘,有个线程不断的merge 数据块。不过是写入的数据格式不同。
另外分布式或者主从式部署结构,又需要将写入的数据复制
到不同的节点,这个过程比较复杂,每个数据库处理也有不同的逻辑。
elastic search
写入的中间过程还多了一层buffer,我们知道buffer和cache虽然都是为了提高写入效率,但是工作原理不同,
1、Buffer(缓冲区)是系统两端处理速度平衡(从长时间尺度上看)时使用的。它的引入是为了减小短期内突发I/O的影响,起到流量整形的作用。比如生产者——消费者问题,他们产生和消耗资源的速度大体接近,加一个buffer可以抵消掉资源刚产生/消耗时的突然变化。
2、Cache(缓存)则是系统两端处理速度不匹配时的一种折衷策略。因为CPU和memory之间的速度差异越来越大,所以人们充分利用数据的局部性(locality)特征,通过使用存储系统分级(memory hierarchy)的策略来减小这种差异带来的影响。
所以写入到buffer中的数据,还是原始数据,还没有索引,搜索不到的。只有到Cache中还可以。
和MySQL,Cassandra,Mongo的写入对比
数据库写入过程都需要写入操作日志,复制集日志,不同的数据库不一样的处理方法。
有些数据库是共用的,有些数据库则是分开的。
写操作日志的过程一般是直接写入磁盘的,因为它本身就是防止进程,机器宕机造成内存数据丢失,而用来恢复数据的。写入buffer中又会可能会导致数据的丢失。所以像elastic search mysql innodb
这种操作日志写buffer的也会提供配置项,来保证当事务成功后,操作日志会被刷盘的。不过es
的操作日志最小刷盘不能低于100ms
.
下面是各个数据库的日志对比,相同的功能,但是每个创建者都有自己的逼格,需要有不同的命名。
数据库 | 记录日志,刷磁盘 | 复制日志 | 备注 |
---|---|---|---|
cassandra | commit log | commit log | commit log 直接写磁盘的 |
mongo | journal | oplog | journal log写磁盘的 |
mysql | redo logs | bin log | redo logs写buffer的, |
elastic search | translog | translog | 写buffer的 |
有兴趣的同学可以之前写过的mongo,cassandra写入分析
关注公众号【方丈的寺院】,第一时间收到文章的更新,与方丈一起开始技术修行之路
参考
https://www.elastic.co/guide/en/elasticsearch/reference/current/index-modules-translog.html
https://www.elastic.co/pdf/architecture-best-practices.pdf
https://lalitvc.files.wordpress.com/2018/05/mysql_architecture_guide.pdf
https://www.infoq.cn/article/analysis-of-elasticsearch-cluster-part01
https://blog.insightdatascience.com/anatomy-of-an-elasticsearch-cluster-part-i-7ac9a13b05db
深入分析Elastic Search的写入过程的更多相关文章
- 自学elastic search
工作也有一段时间了,虽然来这个公司之后学会了几门不同的语言,但想拨尖还是任重道远. 想往高级程序员甚至是架构师方向发展.他仍然是我的学习对象.我现在做着的,无非是他玩剩下的罢了. luncene之前有 ...
- elastic search远程测试
elastic search远程测试 推荐:elastic官方教程:https://www.elastic.co/guide/en/elasticsearch/reference/6.2/index. ...
- Elastic Search快速上手(2):将数据存入ES
前言 在上手使用前,需要先了解一些基本的概念. 推荐 可以到 https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.htm ...
- Elastic Search中Document的CRUD操作
一. 新增Document在索引中增加文档.在index中增加document.ES有自动识别机制.如果增加的document对应的index不存在.自动创建,如果index存在,type不存在自动创 ...
- Elastic Search笔记
目录 1.简介 2.概念和工具使用 2.1 基本概念 2.2 使用kibana 3.操作索引和数据 2.3 索引 2.4 索引映射到文档 2.5 新增数据 2.6 修改数据 2.7 删除数据 4. 搜 ...
- 初识Elastic search—附《Elasticsearch权威指南—官方guide的译文》
本文作为Elastic search系列的开篇之作,简要介绍其简要历史.安装及基本概念和核心模块. 简史 Elastic search基于Lucene(信息检索引擎,ES里一个index—索引,一个索 ...
- elastic search查询命令集合
Technorati 标签: elastic search,query,commands 基本查询:最简单的查询方式 query:{"term":{"title" ...
- elastic search 学习笔记
Elastic search在数据分析的应用中相当于一个数据库的搜索引擎. 跟MySQL类似,它有自己的查询语言,只不过不是关系型数据库,属于NoSQL. 可以根据索引从分布式服务器文件系统中快速存取 ...
- elastic search 学习 一
初步阅读了elastic search 的文档,并使用command实践操作. 大概明白其概念模型.
随机推荐
- 基于ASP.NET的新闻管理系统(一)
1. 项目简介 1.1设计内容 (1)可以在首页查看各类新闻,可以点击新闻查看具体内容:可以查看不同类型的新闻,并了解热点新闻,可以在搜索框里输入要查找的内容. (2)在后台界面中,管理员可以修改密码 ...
- 联想笔记本进入不了BIOS的解决方法
当计算机遇到问题时,很多情况下需要进入BIOS进行解决.但很多新出的联想笔记本电脑在开机时,无论怎么疯狂的按F2,Fn+F2,F12或者Del,都无法进入BIOS,十分气人. 这种现象出现的原因是联想 ...
- SpringBoot整合日志框架LogBack
日志可以记录我们应用程序的运行情况,我们可以通过日志信息去获取应用程序更多的信息.常用处理java日志的组件有:slf4j.log4j.logback.common-logging等.其中log4j是 ...
- Storm —— 集群环境搭建
一.集群规划 这里搭建一个3节点的Storm集群:三台主机上均部署Supervisor和LogViewer服务.同时为了保证高可用,除了在hadoop001上部署主Nimbus服务外,还在hadoop ...
- composer使用本地仓库
{ "repositories": { "sms": { "type": "path", "url" ...
- eclipse下jdbc数据源与连接池的配置及功能简介
今天在做四则运算网页版的时候遇到了一个困惑,由于需要把每个产生的式子存进 数据库,所以就需要很多次重复的加载驱动,建立连接等操作,这样一方面写程序不方便,加大了程序量,另一方面,还有导致数据库的性能急 ...
- 给VS设置代码创建人的宏
Sub AddFunComment() Dim DocSel As EnvDTE.TextSelection DocSel = DTE.ActiveDocument.Selection DocSel. ...
- 2. 2.1查找命令——linux基础增强,Linux命令学习
2.1.查找命令 grep命令 grep 命令是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并 把匹配的行打印出来. 格式: grep [option] pattern [file] 可使用 ...
- MyBatis 核心配置综述之Executor
目录 MyBatis四大组件之 Executor执行器 Executor的继承结构 Executor创建过程以及源码分析 Executor接口的主要方法 Executor 的现实抽象 上一篇我们对Sq ...
- C++一些知识的整理
1. C 和 C++ 区别 C++支持多种编程范式:面向对象编程.泛型编程.过程化编程.支持类.封装.重载等特性. c和c++的头文件不同. 输入输出不同. 变量的声明定义不同:c语言:变量要放在语句 ...