ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。ES能提供强大的索引能力,很大一方面原因是由多个分布在不同机器的es实例组成集群对外提供服务,这种可以横向扩展的机制可以极大提升服务能力。每一个es实例都是基于Lucene的独立服务,负责本地分片上数据的索引和查询,如果掌握了ES的是实现细节,就会对es所具有的特性有一个本质的认识。

我们会先基于ES2.3.2源码来理清楚ES的启动流程,然后介绍下ES节点(Node)的内部结构,最后再分析下ES插件机制并举一个安全插件的开发示例。

1.ES节点启动流程

org.elasticsearch.Elasticsearch.main
org.elasticsearch.bootstrap
{
启动用户线程keepAliveThread
导入环境变量和配置参数
创建pid文件
检查(jvm环境,安全、等等)
nodeBuilder.build()
node.start();
keepAliveThread.start();
}

2.Node启动

Node()
{
更新setting和environment
构造pluginsService并动态加载plugin @2.1
加载并初始化modules(PluginsModule/ClusterModule/RestModule/TransportModule/ActionModule等)
使用guice构造各modules
构造client对象(performing actions/operations against the cluster
} Node start()
{
构造services和plugins实例。 @2.2
TransportService启动 @2.3
DiscoveryService启动 @2.4
HttpServerTransport绑定地址,开始监听 @2.5
}

可以看到node的初始化过程主要包括三部分,第一是配置node环境,第二是启动插件服务(es提供了插件功能来进行扩展功能,这也是它的一个亮点),加载需要的插件,最后就是通过guice加载各个模块,启动各个服务。

先说一下插件加载过程。每个node在加载各个模块前,会首先加载所需要的插件,如果有些插件加载不成功node会启动失败。这里会加载三类插件:首先是配置插件,配置到节点配置文件中插件,如分词插件等;然后查找classpath中能找到的插件,这些插件一般防止在plugin文件夹中;最后是加载site插件,site插件是不涉及java代码的纯网站式插件,如监控插件head,bigdesk等。任何使用者都可以开发自己需要的插件,只要按着elasticsearch相关版本的插件开发规范来实现即可。接下来首先说一下启动各个模块的过程。elasticsearch各个功能模块实现的非常好,解耦非常完美,很多模块都实现了生命周期接口,只有启动它才能够对外提供服务,它的启动过程也是功能模块初始化的过程。因此,node节点的启动过程也就是这些模块初始化的过程。

@2.1 构造pluginsService并动态加载plugin

依次调用各插件的OnModule方法。在OnModule方法内部可以针对多种model来依次操作,比如下面的添加过滤器或者替换TransportService。

为RestModule添加一个过滤器;
public void onModule(RestModule module) {module.addRestAction(AuthorityRestFilter.class);}
为actionModels添加自定义过滤器AuthorityActionFilter;
public void onModule(final ActionModule module) {module.registerFilter(AuthorityActionFilter.class);}

使用自定义AuthorityTransportService来代替默认的TransportService;
public void onModule(final TransportModule module) { module.setTransportService(AuthorityTransportService.class, name());
}
 

@2.2启动各项服务

for (Class<? extends LifecycleComponent> plugin : pluginsService.nodeServices()) {
injector.getInstance(plugin).start();// 加载插件中的自定义服务并启动
} //通过guice获取各个模块的service接口并启动
injector.getInstance(MappingUpdatedAction.class).setClient(client);
injector.getInstance(IndicesService.class).start();
injector.getInstance(IndexingMemoryController.class).start();
injector.getInstance(IndicesClusterStateService.class).start();
injector.getInstance(IndicesTTLService.class).start();
injector.getInstance(SnapshotsService.class).start();
injector.getInstance(SnapshotShardsService.class).start();
injector.getInstance(RoutingService.class).start();
injector.getInstance(SearchService.class).start();
injector.getInstance(MonitorService.class).start();
injector.getInstance(RestController.class).start(); // TODO hack around circular dependencies problems
injector.getInstance(GatewayAllocator.class).setReallocation(injector.getInstance(ClusterService.class), injector.getInstance(RoutingService.class)); injector.getInstance(ResourceWatcherService.class).start();
injector.getInstance(GatewayService.class).start();

@2.3 用于集群内节点间通信的引擎

基于netty实现的tcp引擎 NettyTransport 来构造客户端BootStrap,用于和其它ES节点间的通信。如果是server模式,还要启动ServerBootstrap用于接收其它客户端发来的请求

public class NettyTransport extends AbstractLifecycleComponent<Transport> implements Transport

@2.4 发现功能

发现功能主要用于节点启动后发现集群,master向所有节点发布集群状态,选举master节点并引发集群节点变得事件

@2.5 对外提供http服务的引擎

使用netty实现的 http 引擎 
public class NettyHttpServerTransport extends AbstractLifecycleComponent<HttpServerTransport> implements HttpServerTransport

3.ES实例退出

shutdownhook触发
node.close,停止各种服务、插件、脚本、线程池
CountDownLatch减一,keepAliveThread退出
删除pid文件

elasticsearch源码分析及插件开发的更多相关文章

  1. Elasticsearch源码分析 - 源码构建

    原文地址:https://mp.weixin.qq.com/s?__biz=MzU2Njg5Nzk0NQ==&mid=2247483694&idx=1&sn=bd03afe5a ...

  2. Elasticsearch源码分析—线程池(十一) ——就是从队列里处理请求

    Elasticsearch源码分析—线程池(十一) 转自:https://www.felayman.com/articles/2017/11/10/1510291570687.html 线程池 每个节 ...

  3. elasticsearch源码分析之search模块(server端)

    elasticsearch源码分析之search模块(server端) 继续接着上一篇的来说啊,当client端将search的请求发送到某一个node之后,剩下的事情就是server端来处理了,具体 ...

  4. elasticsearch源码分析之search模块(client端)

    elasticsearch源码分析之search模块(client端) 注意,我这里所说的都是通过rest api来做的搜索,所以对于接收到请求的节点,我姑且将之称之为client端,其主要的功能我们 ...

  5. Elasticsearch源码分析 | 单节点的启动和关闭

    本文主要简要介绍Elasticsearch单节点的启动和关闭流程.Elasticsearch版本:6.3.2 相关文章 1.Google Guice 快速入门 2.Elasticsearch 中的 G ...

  6. Elasticsearch源码分析(一)启动流程 ModuleBuilder injector

    http://blog.csdn.net/u010994304/article/details/50452890 es启动脚本是bin目录下的elasticsearch. 脚本内容不再赘述,java主 ...

  7. ElasticSearch Index操作源码分析

    ElasticSearch Index操作源码分析 本文记录ElasticSearch创建索引执行源码流程.从执行流程角度看一下创建索引会涉及到哪些服务(比如AllocationService.Mas ...

  8. ElasticSearch 启动时加载 Analyzer 源码分析

    ElasticSearch 启动时加载 Analyzer 源码分析 本文介绍 ElasticSearch启动时如何创建.加载Analyzer,主要的参考资料是Lucene中关于Analyzer官方文档 ...

  9. Solr4.8.0源码分析(13)之LuceneCore的索引修复

    Solr4.8.0源码分析(13)之LuceneCore的索引修复 题记:今天在公司研究elasticsearch,突然看到一篇博客说elasticsearch具有索引修复功能,顿感好奇,于是点进去看 ...

随机推荐

  1. 启动jetty命令

    mvn jetty:run在某个maven web工程目录下启动此命令,将把此web工程部署到jetty应用服务器下,默认端口是8080

  2. layUI中layDate控件兼容性问题(手机端没有效果,不显示)

    使用layDate插件发现在PC端无问题,然而在适配移动端时,发现点击input时,laydate渲染出的时间控件有时候没有反应,后发现只需在render里加入trigger: 'click',即可以 ...

  3. 【LeetCode】NO.376 摆动序列 (Python) [贪心算法]

    376. 摆动序列 题目 如果连续数字之间的差严格地在正数和负数之间交替,则数字序列称为 摆动序列 .第一个差(如果存在的话)可能是正数或负数.仅有一个元素或者含两个不等元素的序列也视作摆动序列. 例 ...

  4. 【LeetCode】1135. Connecting Cities With Minimum Cost 解题报告 (C++)

    作者: 负雪明烛 id: fuxuemingzhu 个人博客:http://fuxuemingzhu.cn/ 目录 题目描述 题目大意 解题方法 Kruskal算法 日期 题目地址:https://l ...

  5. 【九度OJ】题目1435:迷瘴 解题报告

    [九度OJ]题目1435:迷瘴 解题报告 标签(空格分隔): 九度OJ http://ac.jobdu.com/problem.php?pid=1435 题目描述: 通过悬崖的yifenfei,又面临 ...

  6. 【LeetCode】695. Max Area of Island 解题报告(Python & C++)

    作者: 负雪明烛 id: fuxuemingzhu 个人博客: http://fuxuemingzhu.cn/ 目录 题目描述 题目大意 解题方法 方法一:DFS 方法二:BFS 日期 题目地址:ht ...

  7. 【LeetCode】865. Smallest Subtree with all the Deepest Nodes 解题报告(Python & C++)

    作者: 负雪明烛 id: fuxuemingzhu 个人博客: http://fuxuemingzhu.cn/ 目录 题目描述 题目大意 解题方法 日期 题目地址:https://leetcode.c ...

  8. GCD is Funny(hdu 5902)

    GCD is Funny Time Limit: 4000/2000 MS (Java/Others)    Memory Limit: 65536/65536 K (Java/Others)Tota ...

  9. 1036 - A Refining Company

    1036 - A Refining Company   PDF (English) Statistics Forum Time Limit: 3 second(s) Memory Limit: 32 ...

  10. 《机器学习实战》kNN算法及约会网站代码详解

    使用kNN算法进行分类的原理是:从训练集中选出离待分类点最近的kkk个点,在这kkk个点中所占比重最大的分类即为该点所在的分类.通常kkk不超过202020 kNN算法步骤: 计算数据集中的点与待分类 ...