1:elasticsearch插件分类简述

2:Java插件开发要点

3:如何针对不同版本elasticsearch提供多版本的插件

4:插件具有外部依赖时遇到的一些问题(2016-09-07更新)


elasticsearch插件分类简述

elasticsearch插件分为Site插件及Java插件,前者比如使用最广泛的head插件,而后者比如elastic官方提供的商业插件shield。

需要注意的是Site插件从elasticsearch2.3.0版本开始已被标记为Deprecated,并将从5.0.0版本开始被正式移除,相关的Site插件将被整合到kibana中,或者单独部署web server。具体如何整合我还不太清楚。

下文主要记录Java插件的开发要点,以maven管理为例。


Java插件开发要点

以下一一个简单功能为例来说明开发流程,该插件记录所有对部署elasticsearch节点的请求,并且根据指定的配置参数,过滤掉敏感操作(DELETE)

1:Java插件入口

继承org.elasticsearch.plugins.Plugin类的入口类,并实现onModule方法。该类中可以通过settings访问elasticsearch配置文件,获取配置信息,并加载下一步的handler,具体实现代码如下所示:

 package org.elasticsearch.es.plugin;

 import org.elasticsearch.common.settings.Settings;
 import org.elasticsearch.rest.RestModule;
 import org.elasticsearch.plugins.Plugin;

 @SuppressWarnings("static-method")
 public class MyRestPlugin extends Plugin {

     private final Settings settings;

     public MyRestPlugin(Settings settings){
         this.settings = settings;
     }

     @Override
     public String name(){
         return "MyRest";
     }

     @Override
     public String description(){
         return "ElasticSearch Plugin";
     }

     public void onModule(RestModule module){
         String isPluginEnabled = settings.get("ld.enabled");
         MethodAuthenticator.setEnabledStr(isPluginEnabled);
         if(isPluginEnabled != null && isPluginEnabled.toLowerCase().equals("true")){
             MethodAuthenticator.setIsPluginEnabled(true);
             String[] denyMethods = settings.getAsArray("ld.deny", new String[]{});
             if(denyMethods != null){
                 MethodAuthenticator.setDenyMethods(denyMethods);
             }
         } else {
             MethodAuthenticator.setIsPluginEnabled(false);
         }

         module.addRestAction(MyRestHandler.class);
     }

 }

配置文件信息放入authenticator静态类,代码如下:

 package org.elasticsearch.es.plugin;

 import java.util.Arrays;

 public class MethodAuthenticator{

     private static String enabledStr;
     private static boolean isPluginEnabled;
     private static String[] denyMethods;

 //    public MethodAuthenticator(){
 //
 //    }

     public static boolean isMethodEnabled(String method){
         if(denyMethods == null) {
             MyLogger.debug("The deny methods is null");
             return true;
         }
         if(Arrays.asList(denyMethods).contains(method)){
             return false;
         } else {
             return true;
         }
     }

     public static String getEnabledStr(){
         return enabledStr;
     }

     public static void setEnabledStr(String enabledStr){
         MethodAuthenticator.enabledStr = enabledStr;
     }

     public static boolean getIsPluginEnabled() {
         return isPluginEnabled;
     }

     public static String[] getDenyMethods() {
         return denyMethods;
     }

     public static void setIsPluginEnabled(boolean isPluginEnabled) {
         MethodAuthenticator.isPluginEnabled = isPluginEnabled;
     }

     public static void setDenyMethods(String[] denyMethods) {
         MethodAuthenticator.denyMethods = denyMethods;
     }
 }

2:相关的Handler

继承org.elasticsearch.rest.BaseRestHandler类的handler,将filter注入controller,实现代码如下:

 package org.elasticsearch.es.plugin;

 import org.elasticsearch.rest.*;

 import org.elasticsearch.client.Client;
 import org.elasticsearch.common.inject.Inject;
 import org.elasticsearch.common.settings.Settings;

 public class MyRestHandler extends BaseRestHandler {
     @Inject
     public MyRestHandler(Settings settings, RestController restController, Client client){
         super(settings, restController, client);
         RestFilter filter = new MyRestFilter(client);
         restController.registerFilter(filter);
     }

     @Override
     protected void handleRequest(RestRequest restRequest, RestChannel restChannel, Client client)
             throws Exception {
         // TODO Auto-generated method stub

     }
 }

3:注入Filter

继承org.elasticsearch.rest.RestFilter类的filter,在过滤器中实现对请求的记录及过滤,实现代码如下:

 package org.elasticsearch.es.plugin;

 import org.elasticsearch.client.Client;
 import org.elasticsearch.rest.RestFilter;
 import org.elasticsearch.rest.RestRequest;
 import org.elasticsearch.rest.RestChannel;
 import org.elasticsearch.rest.RestFilterChain;
 import org.elasticsearch.rest.RestStatus;
 import org.elasticsearch.rest.BytesRestResponse;

 import java.net.InetSocketAddress;

 public class MyRestFilter extends RestFilter{
     Client client;
     public MyRestFilter(Client client){
         this.client = client;
     }

     @Override
     public void process(RestRequest request, RestChannel channel, RestFilterChain filterChain) throws Exception{
         try{
             if(MethodAuthenticator.getIsPluginEnabled()){
                 MyLogger.info(getLogInfo(request));
                 String methodStr = request.method().name().toLowerCase();
                 if(MethodAuthenticator.isMethodEnabled(methodStr)){
                     //MyLogger.info("The request method " + methodStr + " is allowed");
                     filterChain.continueProcessing(request, channel);
                 } else {
                     MyLogger.info("The request method " + methodStr + " is denyed");
                     BytesRestResponse res = new BytesRestResponse(RestStatus.FORBIDDEN, "Forbidden Method Request by MyRest plugin");
                     channel.sendResponse(res);
                 }
             } else {
                 //MyLogger.info("MyRest is disabled");
                 filterChain.continueProcessing(request, channel);
             }
         } catch (Exception exp) {
             channel.sendResponse(new BytesRestResponse(RestStatus.INTERNAL_SERVER_ERROR, "My Rest Filter internal exception"));
         }
         return ;
     }

     private String getLogInfo(RestRequest request) throws Exception {
         try{
             String pathStr = request.path();
             String ipaddr = ((InetSocketAddress)request.getRemoteAddress()).getAddress().getHostAddress();
             return "The [" + request.method().name() + "] request [" + pathStr + "] is from [" + ipaddr + "]";
         } catch (Exception exp) {
             MyLogger.error("Request resolve failed: ", exp);
         }
         return "The request resolve failed";
     }
 }

日志记录使用elasticsearch的logger,入口static类代码如下所示:

 package org.elasticsearch.es.plugin;

 import org.elasticsearch.common.logging.ESLogger;
 import org.elasticsearch.common.logging.ESLoggerFactory;

 public class MyLogger {

     private static ESLogger esLogger;
     static {
         esLogger = ESLoggerFactory.getLogger("myRest");
     }

     public static void debug(String msg){
         esLogger.debug(msg);
     }

     public static void info(String msg){
         esLogger.info(msg);
     }

     public static void warn(String msg){
         esLogger.warn(msg);
     }

     public static void error(String msg){
         esLogger.error(msg);
     }

     public static void error(String msg, Exception exp){
         esLogger.error(msg, exp);
     }
 }

4:插件配置信息

由于插件使用elasticsearch配置文件保存配置信息,因此在配置文件中加入如下信息:

默认elasticsearch配置文件路径为:/etc/elasticsearch/elasticsearch.yml

  ld.enabled: false
  ld.deny: ["delete"]

需要注意的是配置文件中配置项前面加入2个空格字符,否则可能导致elasticsearch不能启动;

此外,插件正常工作还依赖于plugin-descriptor.properties文件(elasticsearch-1.x版本中是es-plugin.properties文件),该文件配置信息如下例:

name=myRest
description=GridsumLawDissectorElasticSearchPlugin
version=0.0.1
jvm=true
site=false
classname=org.elasticsearch.es.plugin.MyRestPlugin
java.version=1.8
elasticsearch.version=2.3.3

我这里以elasticsearch-2.3.3版本为例,可按需求改为2.X的任意版本。

插件描述文件如下所示(其中format指定插件以zip形式安装):

<?xml version="1.0" encoding="UTF-8"?>
<assembly
    xmlns="http://maven.apache.org/plugins/maven-assembly-plugin/assembly/1.1.2"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/plugins/maven-assembly-plugin/assembly/1.1.2 http://maven.apache.org/xsd/assembly-1.1.2.xsd">
    <id>plugin</id>
    <formats>
        <format>zip</format>
    </formats>
    <includeBaseDirectory>false</includeBaseDirectory>
    <dependencySets>
        <dependencySet>
            <outputDirectory>/</outputDirectory>
            <useProjectArtifact>true</useProjectArtifact>
            <useTransitiveFiltering>true</useTransitiveFiltering>
        </dependencySet>
    </dependencySets>
</assembly>

5:编译部署

插件编译使用maven即可:

mvn clean package

需要注意的是如果首次编译可能需要较长时间,maven会下载目标版本的org.elasticsearch.jar。

版本信息在maven对应的pom文件中指定。

编译完成后,将打包的jar文件与plugin-descriptor.properties文件打包为zip安装包,拷贝至elasticsearch的部署节点。

使用如下方式安装插件:

/usr/share/elasticsearch/bin/plugin install file:///opt/myrest.zip

指令中需要说明的是:

1)elasticsearch安装目录下的bin目录下的plugin脚本;

2)由于直接通过打包安装文件安装,因此指定为file://;

3)紧跟打包zip文件的路径即可。

部署完毕后,确保elasticsearch.yml中的配置信息正确,即可重启elasticsearch节点:

systemctl restart elasticsearch

6:验证插件

通过监控elasticsearch日志可看到插件记录的所有请求目标及来源:

tail -f /var/log/elasticsearch/xx.xx.log

上述命令中为log的默认路径,查看以集群clustername命名的日志文件即可。

如果配置参数中过滤方法设置了DELETE,则可通过发送DELETE请求来验证,插件将过滤该请求,并返回403。


如何针对不同版本elasticsearch提供多版本的插件

如前文所述,elasticsearch从2.X版本开始JAVA插件相关的Plugin,BaseRestHandler,RestFilter等抽象类都相同,区别只在于依赖的org.elasticsearch,因此,JAVA插件对elasticsearch2.X以上各版本的支持,只需要修改对应的依赖版本信息并重新打包部署即可。

具体的两个需要修改依赖版本信息的文件分别是:

plugin-descriptor.properties
pom.xml

当然这是以maven为例,如果不是以maven,则只需修改第一个文件的版本信息,并手动引用对应版本的org.elasticsearch,重新编译打包即可。


插件具有外部依赖时遇到的一些问题(2016-09-07更新)

最近由于插件功能扩展,需要用到json序列化,使用了fastJson的1.2.16版本,如下是dependency:

<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>fastjson</artifactId>
    <version></version>
</dependency>

遇到的问题主要是在插件部署环节,主要有2个问题:

1:插件发布并未包含依赖的jar包;

2:fastJson.jar需要许可权(不知道表述是否正确,本人不是javaer),以下为问题2的异常信息:

java.security.AccessControlException: access denied (java.lang.RuntimePermission getClassLoader)
...
...
...略

解决方法:

1:在插件发布后打包zip过程中加入fastjson-1.2.16.jar即可,如果打包的package中未包含该jar包,可以从maven的repository路径中获取;

2:更改java.policy文件许可权(默认路径/usr/java/jdk1.8.0_73/jre/lib/security/java.policy),jdk版本为目标主机的jdk版本,在grant中加入以下许可信息:

permission java.lang.RuntimePermission "createClassLoader";
permission java.lang.RuntimePermission "getClassLoader";

重启elasticsearch进程即可。

java.policy如找不到,可以在/usr/lib/jvm/java-1.8.0/jre/lib/security路径下找到。

Elasticsearch 2.X 版本Java插件开发简述的更多相关文章

  1. Elasticsearch 1.X 版本Java插件开发

    接上一篇<Elasticsearch 2.X 版本Java插件开发简述> 开发1.X版本elasticsearch java插件与2.X版本有一些不同,同时在安装部署上也有些不同,主要区别 ...

  2. Java版本及历史简述

    Java版本及历史简述 初学Java,对于Java那么多版本很困惑,这里做一点笔记,如有错误希望指出. Java由Sun公司创造,后Sun公司被Oracle公司收购,Java也随之变为Oracle的产 ...

  3. elasticsearch源码分析及插件开发

    ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口.Elasticsearch是用Java开发的,并作为Apach ...

  4. SpringBoot整合ElasticSearch实现多版本的兼容

    前言 在上一篇学习SpringBoot中,整合了Mybatis.Druid和PageHelper并实现了多数据源的操作.本篇主要是介绍和使用目前最火的搜索引擎ElastiSearch,并和Spring ...

  5. Elasticsearch教程(二)java集成Elasticsearch

    1.添加maven <!--tika抽取文件内容 --> <dependency> <groupId>org.apache.tika</groupId> ...

  6. Elasticsearch 6.x版本全文检索学习之分布式特性介绍

    1.Elasticsearch 6.x版本全文检索学习之分布式特性介绍. 1).Elasticsearch支持集群默认,是一个分布式系统,其好处主要有两个. a.增大系统容量,如内存.磁盘.使得es集 ...

  7. Elasticsearch 6.x版本全文检索学习之Search API

    Elasticsearch 6.x版本全文检索学习之Search API. 1).Search API,实现对es中存储的数据进行查询分析,endpoind为_search,如下所示. 方式一.GET ...

  8. 微信机器人 返现机器人 pc版本 移动版本 java开发 小范省钱

    微信机器人 返现机器人 pc版本 移动版本 java开发 小范省钱 微信搜索微信号 fanli-x 或 扫描下方二维码,可查看效果. 非web版微信,pc/移动版微信 支持新号24小时 不封号! 有任 ...

  9. 下载各个版本java (Java Development Kit)

    本文介绍怎么样下载各个版本java开发工具包. 方法/步骤   打开官方下载网址:http://www.oracle.com/technetwork/java/javase/downloads/ind ...

随机推荐

  1. win10输入法切换快捷键怎么设置

    win10输入法切换快捷键怎么修改?以前都是习惯使用(Ctrl+Shift) 现在新版的Win10默认的是[Shift+Alt]那要怎么把它改回来呢? http://jingyan.baidu.com ...

  2. Font Awesome使用指南

    Font Awesome介绍 Font Awesome是一款很流行的字体图标工具.随着Bootstrap的流行而逐渐被人所认识,现在FontAwesome不仅仅可以在bt上使用,还可以应用在各种web ...

  3. django复习笔记1:环境配置

    一.IDE 推荐使用sublime安装djaneiro插件. 1.安装方式 package control中搜索djaneiro 支持补全请参考:Django support for Sublime ...

  4. squid代理服务器根据代理IP路由

    import os ips = os.popen("""ifconfig |grep 'inet addr:'|awk '{print $2}'| sed '$d'| s ...

  5. BZOJ 3669 【NOI2014】 魔法森林

    Description 为了得到书法大家的真传,小E同学下定决心去拜访住在魔法森林中的隐士.魔法森林可以被看成一个包含个N节点M条边的无向图,节点标号为1..N,边标号为1..M.初始时小E同学在号节 ...

  6. mssql 2008 复制订阅

    广域网的复制订阅 准备工作: 1.a.b服务器创建相同的系统用户密码 2.在a服务器 sql server 配置管理器 创建别名 ip填写b服务器的ip, b服务器端口号 3.在b服务器  sql s ...

  7. 单页面网站关于id冲突的解决办法

    最近做了一个单页面的网站,所有的页面加载都是通过局部刷新的方式,并且不用iframe,并且我们引入了动态tab页签: 所有的页签里的内容都只是一个元素,都在同一个html页面上,没有任何iframe分 ...

  8. hashset hastable dictionary concurrentdictionary区别

    1.HashTable 哈希表(HashTable)表示键/值对的集合.在.NET Framework中,Hashtable是System.Collections命名空间提供的一个容器,用于处理和表现 ...

  9. Windows Phone 8 开发资料

    Design http://aka.ms/wp8devdesign Develop http://aka.ms/wp8devdoc Test http://aka.ms/wp8testing Publ ...

  10. VS2013 未找到与約束ContractName

    vs2013打开项目无法加载项目,关闭时提示  未找到与約束ContractName... 解決方法,打開控制面板,找到下面這個程序 右击,选 择 修 复