Centos7中ELK集群安装流程

Centos7中ELK集群安装流程

 

说明：三个版本必须相同，这里安装5.1版。

一、安装Elasticsearch5.1

 

1. hostnamectl set-hostname elk
2. vim /etc/sysconfig/network修改HOSTNAME=elk
3. 安装Java环境：yum install java-1.8.0-openjdk.x86_64
4. 添加JAVA环境：vim /etc/profile，添加下列行，保存后执行source /etc/profile
   export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el7_4.x86_64
   export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
   export PATH=$PATH:$JAVA_HOME/bin
5. 配置网络：/etc/hosts中添加10.1.3.4 elk
6. wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.1.1.rpm
7. rpm -ivh elasticsearch-5.1.1.rpm
8. chkconfig --add elasticsearch
9. 安装目录：/usr/share/elasticsearch
   配置文件：/etc/elasticsearch/elasticsearch.yml
   日志路径：/var/log/elasticsearch/
10. 使用vim命令修改配置文件/etc/elasticsearch/elasticsearch.yml，按:set number，显示行号，并修改如下行内容：
    17:cluster.name: my-application  #判别节点是否是统一集群，多台统一集群的名称要一致
    23:node.name: elk #节点的hostname
    54:network.host: 0.0.0.0  允许访问的ip
    58:http.port: 9200  端口
    69:discovery.zen.ping.unicast.hosts: [elk]# 手动发现节点
11. 配置文件中添加下面两行，允许跨域，主要是5.1版的head插件和老版本不同：
    http.cors.enabled: true
    http.cors.allow-origin: "*"
12. 修改权限：执行 chmod 555 /tmp/elasticsearch 和 chmod 555 /tmp/elasticsearch/*
13. 启动服务：systemctl start elasticsearch 并查看服务状态。服务启动后，可以访问网址:http://IP:9200来访问。
14. 如果启动失败，查看/var/log/elasticsearch下的日志，有如下错误：max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]，则可如下解决：
    编辑/etc/security/limits.conf，末尾添加：
    * soft nofile 65536
    * hard nofile 131072
    * soft nproc 2048
    * hard nproc 4096
15. 如果启动失败，找不到任何日志，请检查/etc/elasticsearch/elasticsearch.yml中配置的日志目录和数据目录的访问权限，或者注释掉目录的配置。
16. 如果启动失败，日志中有如下错误：max number of threads [1024] for user [lishang] likely too low, increase to at least [2048]，则可以如下 解决：
    vi /etc/security/limits.d/90-nproc.conf修改如下内容：
    * soft nproc 1024
    #修改为
    * soft nproc 2048

 

二、安装Elasticsearch-Head

1. 安装Nodejs，cd /usr/local/
2. wget https://nodejs.org/dist/v4.6.0/node-v4.6.0-linux-x64.tar.gz
3. tar xf node-v4.6.0-linux-x64.tar.gz
4. ln -s /usr/local/node-v4.6.0-linux-x64/bin/node /usr/sbin/node
5. ln -s /usr/local/node-v4.6.0-linux-x64/bin/npm /usr/sbin/npm
6. 更换安装源：npm config set registry https://registry.npm.taobao.org
7. 安装grunt：npm install -g grunt
8. ln -s /usr/local/node-v4.6.0-linux-x64/lib/node_modules/grunt/bin/grunt /usr/sbin/grunt
9. cd /usr/local/
10. yum install git.x86_64
11. git clone git://github.com/mobz/elasticsearch-head.git
12. cd elasticsearch-head-master
13. vim ./_site/app.js的第4354行，中把locahost换成ip地址：
    this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://localhost:9200";
    this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://elk51.chinanorth.cloudapp.chinacloudapi.cn:9200";
14. vim ./Gruntfile.js，在约93行处的port:9100前面添加hostname:'0.0.0.0', 保存并退出。
    connect: {
            server: {
                options: {
                    hostname: '0.0.0.0',
                    port: 9100,
                    base: '.',
                    keepalive: true
                }
            }
        }
15. 运行 npm install ./ 进行安装。
16. 修改/etc/elasticsearch/elasticsearch.yml在末尾添加下面两行（如果有就不用不加了）：
    http.cors.enabled: true
    http.cors.allow-origin: "*"
17. 重启elasticsearch：systemctl restart elasticsearch
18. 启动elasticsearch-head：在head插件目录中执行 grunt server ,也可以后台启动：nohup grunt server &
19. 因为grunt server命令必须在head插件目录下执行，因此可以新建一个sh角本/usr/local/elasticsearch-head/autostart.sh，角本内空是：
    #!/bin/bash
    cd /usr/local/elasticsearch-head/
    nohup grunt server &
20. 设置开机自动运行：编缉/etc/rc.d/rc.local文件，并添加刚刚的角本全路径到末尾，然后执行chmod +x /etc/rc.d/rc.local
21. 访问head：http://ip:9100。

 

三、安装Logstash5.1

1. cd /usr/local
2. wget https://artifacts.elastic.co/downloads/logstash/logstash-5.1.1.tar.gz
3. tar xf logstash-5.1.1.tar.gz
4. cd logstash-5.1.1
5. vim conf/elastic.conf
6. input {
       file {
           path => "var/log/nginx/access.log"
       }
   }
   output {
       elasticsearch {
           hosts => "elk51.chinanorth.cloudapp.chinacloudapi.cn"
           index => "logstash-nginx-access"
       }
       stdout {
           codec => rubydebug
       }
   }
7. 启动：/usr/local/logstash-5.1.1/bin/logstash -f /usr/local/logstash-5.1.1/config/elastic.conf
8. 设置开机自动运行：编缉/etc/rc.d/rc.local文件，并添加启动命令到末尾，然后执行chmod +x /etc/rc.d/rc.local

 

四、安装Kibana5.1

1. wget https://artifacts.elastic.co/downloads/kibana/kibana-5.1.1-x86_64.rpm
2. rpm -ivh kibana-5.1.1-x86_64.rpm
3. 编辑/etc/kibana/kibana.yml修改如下信息：
   server.port: 5601
   server.host: "0.0.0.0"
   elasticsearch.url: "http://elk:9200";
4. 执行:nohup /usr/share/kibana/bin/kibana &后台启动。
5. 设置开机自动运行：编缉/etc/rc.d/rc.local文件，并添加刚刚的角本全路径到末尾，然后执行chmod +x /etc/rc.d/rc.local