elasticsearch5.0集群+kibana5.0+head插件插件的安装

elasticsearch5.0集群+kibana5.0+head插件插件的安装





es集群的规划：

两台16核64G内存的服务器：





yunva_etl_es1  ip:1.1.1.1 u04es01.chinasoft.com

yunva_etl_es2  ip:2.2.2.2





操作系统：centos7.2 x86_64





1.安装jdk1.8和elasticsearch5.0.1

rpm -ivh jdk-8u111-linux-x64.rpm

rpm -ivh elasticsearch-5.0.1.rpm





对es的配置进行优化

vim /etc/sysctl.conf

# 增加下面的内容

fs.file-max = 1000000

vm.max_map_count=262144





使配置生效

sysctl -p





vi /etc/security/limits.conf

# 修改

* soft nofile 655350

* hard nofile 655350





内存调整配置文件(建议配置为物理内存的一半或者更多)：

vim /etc/elasticsearch/jvm.options

-Xms32g

-Xmx32g





2.集群的配置





修改elasticsearch的参数

vim /etc/elasticsearch/elasticsearch.yml





yunva_etl_es1配置

cluster.name: yunva_es_cluster

# 集群的关键配置

discovery.zen.ping.unicast.hosts: ["yunva_etl_es1", "yunva_etl_es2"]

node.name: yunva_etl_es1

node.master: true

# 关闭自动索引

action.auto_create_index: false

node.data: true

path.data: /data/es/data

path.logs: /data/es/logs

bootstrap.memory_lock: false

network.host: 0.0.0.0

http.port: 9200

# 增加新的参数，这样head插件可以访问es

http.cors.enabled: true

http.cors.allow-origin: "*"









yunva_etl_es2的配置

# cat /etc/elasticsearch/elasticsearch.yml

cluster.name: yunva_es_cluster

# 集群的关键配置

discovery.zen.ping.unicast.hosts: ["yunva_etl_es1", "yunva_etl_es2"]

node.name: yunva_etl_es2

node.master: true

# 关闭自动索引

action.auto_create_index: false

path.data: /data/es/data

path.logs: /data/es/logs

bootstrap.memory_lock: false

network.host: 0.0.0.0

http.port: 9200

# 增加新的参数，这样head插件可以访问es

http.cors.enabled: true

http.cors.allow-origin: "*"





创建日志和数据存放目录

mkdir -p /data/es/data

mkdir /data/es/logs

chown -R elasticsearch.elasticsearch /data/es



服务启动：

systemctl start elasticsearch.service



3.head插件的安装

使用ES的基本都会使用过head，但是版本升级到5.0后，head插件就不好使了，因为这个head插件现在成了一个独立的组件

在5.0版本中不支持直接安装head插件，需要启动一个服务





安装依赖包：

yum install gcc openssl-devel gcc-c++ compat-gcc-34 compat-gcc-34-c++ bzip2





第一步，安装git需要从github上面下载代码，因此先要安装git

yum -y install git





第二步，安装node(head安装依赖npm 需要node4.2.2以上版本)





由于head插件本质上还是一个nodejs的工程，因此需要安装node，使用npm来安装依赖的包。（npm可以理解为maven）

wget https://nodejs.org/dist/v4.2.2/node-v4.2.2-linux-x64.tar.gz

tar -zxvf node-v4.2.2-linux-x64.tar.gz -C /usr/local/

cd /usr/local

ln -sv node-v4.2.2-linux-x64/ node

ln -sv /usr/local/node/bin/* /usr/sbin/





cd /usr/local/node-v4.2.2-linux-x64/

npm install grunt-cli





# ln -sv /usr/local/node-v4.2.2-linux-x64/node_modules/grunt-cli/bin/grunt /usr/sbin/





第三步，安装并修改head源码

git clone git://github.com/mobz/elasticsearch-head.git





由于head的代码还是2.6版本的，直接执行有很多限制，比如无法跨机器访问。因此需要用户修改两个地方：





修改服务器监听地址





目录：cd elasticsearch-head/

vim Gruntfile.js





connect: {

    server: {

        options: {

            port: 9100,

            hostname: '*',

            base: '.',

            keepalive: true

        }

    }

}





增加hostname属性，设置为*





修改连接地址：





目录：elasticsearch-head/_site/app.js





修改head的连接地址:





this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://localhost:9200";

把localhost修改成你es的服务器地址，如:

# 经过测试需要配置为服务器的外网IP地址

this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://1.1.1.1:9200";





第四步，运行head 首先开启ES





然后在head目录中，执行npm install 下载以来的包：





npm install 

最后，启动nodejs

在elasticsearch-head目录下node_modules/grunt下如果没有grunt二进制程序，需要执行

npm install grunt





# 然后启动nodejs

grunt server





集群健康检测:

http://1.1.1.1:9200/_cluster/health?pretty





{

  "cluster_name" : "yunva_es_cluster",

  "status" : "green",

  "timed_out" : false,

  "number_of_nodes" : 2,

  "number_of_data_nodes" : 2,

  "active_primary_shards" : 0,

  "active_shards" : 0,

  "relocating_shards" : 0,

  "initializing_shards" : 0,

  "unassigned_shards" : 0,

  "delayed_unassigned_shards" : 0,

  "number_of_pending_tasks" : 0,

  "number_of_in_flight_fetch" : 0,

  "task_max_waiting_in_queue_millis" : 0,

  "active_shards_percent_as_number" : 100.0

}





4.安装kibana

rpm -ivh kibana-5.0.1-x86_64.rpm





编辑配置文件

vim /etc/kibana/kibana.yml

修改这两项，其他默认不用动

server.host: "0.0.0.0"

elasticsearch.url: "http://localhost:9200"





启动命令：

systemctl start kibana

systemctl enable kibana





kibana访问地址：

http://1.1.1.1





为了安全将kibana 5601和head插件的9100端口通过nginx的密码验证方式访问：





server {  

  listen       80;  

  server_name 1.1.1.1 u04kaf01.chinasoft.com;  

  location / {  

     auth_basic "secret";  

     auth_basic_user_file /data/nginx/db/passwd.db;  

     proxy_pass http://localhost:5601;

     proxy_set_header Host $host:5601;  

     proxy_set_header X-Real-IP $remote_addr;  

     proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;  

     proxy_set_header Via "nginx";  

  }  

  

  location /head/{

     auth_basic "secret";

     auth_basic_user_file /data/nginx/db/passwd.db;

     proxy_pass http://u04es01.chinasoft.com:9100/;

     proxy_set_header Host $host:9100;

     proxy_set_header X-Real-IP $remote_addr;

     proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

     proxy_set_header Via "nginx";

  }

  access_log off;

}





---------------------------------------------------------------------

配置zabbix检测若9200端口或者5601端口挂掉则自动拉起elasticsearch和kibana服务

具体参考：zabbix系列(九)zabbix3.0实现自动触发zabbix-agent端shell脚本任务

http://blog.csdn.net/reblue520/article/details/52315154

/usr/local/zabbix-agent/scripts/start_es.sh



#!/bin/bash

# if elasticsearch exists kill it

source /etc/profile

count_es=`ps -ef|grep elasticsearch|grep -v grep|wc -l`

if [ $count_es -gt 1 ];then

    ps -ef|grep elasticsearch|grep -v grep|/bin/kill `awk '{print $2}'`

fi

# start it





su yunva -c "cd /data/elasticsearch-5.0.1/bin && /bin/bash elasticsearch &"



执行：

sudo /bin/bash /usr/local/zabbix-agent/scripts/start_es.sh

报错：

which: no java in (/sbin:/bin:/usr/sbin:/usr/bin)

Could not find any executable java binary. Please install java in your PATH or set JAVA_HOME



解决办法：

在脚本中添加

source /etc/profile



---------------------------------------------------------------------

以root用户运行elasticsearch



报错：

can not run elasticsearch as root



网上的方法，针对elasticsearch5.1不起作用

解决方法1：

在执行elasticSearch时加上参数-Des.insecure.allow.root=true，完整命令如下



./elasticsearch -Des.insecure.allow.root=true  

解决办法2：

用vi打开elasicsearch执行文件，在变量ES_JAVA_OPTS使用前添加以下命令



ES_JAVA_OPTS="-Des.insecure.allow.root=true"  



解决办法：

su yunva -c "cd /data/elasticsearch-5.0.1/bin && /bin/bash elasticsearch &"



自动拉起kibana服务的脚本：

cat /usr/local/zabbix/scripts/restart_kibana.sh

#!/bin/bash

# if kibana exists kill it





count_kibana=`ps -ef|grep kibana|grep -v grep|wc -ll`

if [ $count_kibana -eq 1 ];then

    ps -ef|grep kibana|grep -v grep|/bin/kill `awk '{print $2}'`

fi

# start it

/etc/init.d/kibana start