ELK安装和配置及常用插件安装
环境
- CentOS 7.3
- root 用户
- JDK 版本:1.8(最低要求),主推:JDK 1.8.0_121 以上
- 关闭 firewall
- systemctl stop firewalld.service #停止firewall
- systemctl disable firewalld.service #禁止firewall开机启动
- 关闭selinux
安装 Elasticsearch
elasticsearch运行需要使用普通用户
修改 /etc/security/limits.conf
- * soft nofile 600000
- * hard nofile 600000
- * soft nproc 60000
- * hard nproc 60000
- jt_app soft memlock unlimited
- jt_app hard memlock unlimited
修改/etc/sysctl.conf
- net.ipv4.ip_forward = 1
- net.ipv4.conf.default.rp_filter = 1
- net.ipv4.conf.default.accept_source_route = 0
- kernel.sysrq = 0
- vm.swappiness = 0
- kernel.core_uses_pid = 1
- net.ipv4.tcp_syncookies = 1
- kernel.msgmnb = 65536
- kernel.msgmax = 65536
- kernel.shmmax = 68719476736
- kernel.shmall = 4294967296
- net.core.somaxconn = 16384
- vm.max_map_count = 262144
修改配置文件:
生产环境主要配置:
- #grep -v '^#' elasticsearch.yml|grep -v '^$'
- cluster.name: prod_es_cluster
- node.name: elk-log-srv01
- node.master: true
- node.data: true
- path.data: /opt/es_data/data
- path.logs: /opt/elasticsearch/logs
- bootstrap.memory_lock: false
- network.host: elk-log-srv01
- http.port: 9200
- transport.tcp.port: 9300
- discovery.zen.ping_timeout: 3s
- discovery.zen.fd.ping_timeout: 60s
- discovery.zen.fd.ping_interval: 10s
- discovery.zen.ping.unicast.hosts: ["elk-log-srv01", "elk-log-srv02","elk-log-srv03"]
- discovery.zen.minimum_master_nodes: 2
- gateway.recover_after_nodes: 3
- gateway.expected_nodes: 3
- gateway.recover_after_time: 5m
- indices.query.bool.max_clause_count: 10240
- http.cors.enabled: true
- http.cors.allow-origin: "*"
- http.cors.allow-credentials: true
- search.max_buckets: 1000000
启动:
- ./bin/elasticsearch -d
启动脚本:
- [root@elk-log-srv01 elasticsearch]# cat /usr/lib/systemd/system/elasticsearch.service
- [Unit]
- Description=Elasticsearch
- Documentation=http://www.elastic.co
- Wants=network-online.target
- After=network-online.target
- [Service]
- RuntimeDirectory=elasticsearch
- Environment=ES_HOME=/opt/elasticsearch
- Environment=ES_PATH_CONF=/opt/elasticsearch/config
- Environment=PID_DIR=/opt/elasticsearch
- #EnvironmentFile=-/etc/sysconfig/elasticsearch
- #Environment=JAVA_HOME=/opt/jdk
- WorkingDirectory=/opt/elasticsearch
- User=jt_app
- Group=jt_app
- ExecStart=/opt/elasticsearch/bin/elasticsearch -p ${PID_DIR}/elasticsearch.pid --quiet
- # StandardOutput is configured to redirect to journalctl since
- # some error messages may be logged in standard output before
- # elasticsearch logging system is initialized. Elasticsearch
- # stores its logs in /var/log/elasticsearch and does not use
- # journalctl by default. If you also want to enable journalctl
- # logging, you can simply remove the "quiet" option from ExecStart.
- StandardOutput=journal
- StandardError=inherit
- # Specifies the maximum file descriptor number that can be opened by this process
- LimitNOFILE=65536
- # Specifies the maximum number of processes
- LimitNPROC=4096
- # Specifies the maximum size of virtual memory
- LimitAS=infinity
- # Specifies the maximum file size
- LimitFSIZE=infinity
- #
- LimitMEMLOCK=infinity
- # Disable timeout logic and wait until process is stopped
- TimeoutStopSec=0
- # SIGTERM signal is used to stop the Java process
- KillSignal=SIGTERM
- # Send the signal only to the JVM rather than its control group
- KillMode=process
- # Java process is never killed
- SendSIGKILL=no
- # When a JVM receives a SIGTERM signal it exits with code 143
- SuccessExitStatus=143
- [Install]
- WantedBy=multi-user.target
- # Built for packages-6.3.2 (packages)
- [root@elk-log-srv01 elasticsearch]#
安装 Kibana
- 选择一台节点安装即可
- 进入安装目录修改配置文件:
- config/kibana.yml
- server.port: 5601 #端口
- server.host: "elk-log-srv01" #访问ip地址
- elasticsearch.url: "http://elk-log-srv01:9200" #连接elastic
- kibana.index: ".kibana" #在elastic中添加.kibana索引
- pid.file: /opt/kibana/kibana.pid
- logging.dest: /opt/kibana/kibana.log
启动:
- nohup ./bin/kibana &
logstash安装
elasticsearch 常用插件安装
只是版本不一样,方法是一样的,替换成自己的版本即可
采用离线安装插件的方法
1、sql插件
- ### 项目地址
- https://github.com/NLPchina/elasticsearch-sql
- 历史版本:
- https://github.com/NLPchina/elasticsearch-sql/releases
- ### 下载sql插件
- 下载
- wget https://github.com/NLPchina/elasticsearch-sql/releases/download/5.5.1.0/elasticsearch-sql-5.5.1.0.zip
- 安装
- ./bin/elasticsearch-plugin install file:///opt/elasticsearch-sql-5.5.1.0.zip
- 安装web访问
- wget https://github.com/NLPchina/elasticsearch-sql/releases/download/5.4.1.0/es-sql-site-standalone.zip
- unzip ./es-sql-site-standalone.zip
- cd site-server
- npm install express --save
- node node-server.js & #后台启动
- 默认端口:8080
- cd _site
- vim controllers.js
- 修改链接es地址
- url = "http://localhost:9200"
2 分词器
- 项目地址:
- https://github.com/medcl/elasticsearch-analysis-ik/
- 下载地址:
- wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v5.5.1/elasticsearch-analysis-ik-5.5.1.zip
- 安装插件
- ./bin/elasticsearch-plugin install file:///opt/elasticsearch-analysis-ik-5.5.1.zip
elasticsearch5.x安装head插件
- 5.0以上版本中不支持直接安装head插件,需要启动一个服务。
- 由于head插件本质上还是一个nodejs的工程,因此需要安装node,使用npm来安装依赖的包。(npm可以理解为maven)
- #安装git
- yum -y install git
- #下载源码
- git clone git://github.com/mobz/elasticsearch-head.git
- 安装 nodejs,修改环境变量
- node -v
- 2、安装npm
- 3、使用npm安装grunt
- 由于 npm 是国外的源,下载速度比较慢,推荐使用国内淘宝镜像
- npm install -g cnpm --registry=https://registry.npm.taobao.org
- 下面开始修改 head 插件的配置
- 地址:
- https://github.com/mobz/elasticsearch-head
cerebro插件安装
- 以单独进程启动
- 下载
- wget https://github.com/lmenezes/cerebro/releases/download/v0.6.6/cerebro-0.6.6.zip
- 解压
- unzip cerebro-0.6.6.zip
- 启动:
- bin/cerebro -Dhttp.port=1234 -Dhttp.address=0.0.0.0 &
- ------------------------------------------------
- 其他配置
- -Dconfig.file=/some/other/dir/alternate.conf
- ##项目地址
- https://github.com/lmenezes/cerebro
kibana安装x-pack插件
- 先下载x-pack-5.5.1.zip
- https://artifacts.elastic.co/downloads/packs
- 在线安装
- bin/kibana-plugin install x-pack
- 离线安装
- ./bin/kibana-plugin install file:///opt/x-pack-5.5.1.zip
- elasticsearch安装此插件一样
ELK安装和配置及常用插件安装的更多相关文章
- Sublime Text3安装、配置及常用插件(陆续补全中~)
一.安装Sublime Text3 网址:http://www.sublimetext.com/3 注册码:(sublime Text3汉化和激活注册码) ----- BEGIN LICENSE -- ...
- 基于Hadoop集群搭建Hive安装与配置(yum插件安装MySQL)---linux系统《小白篇》
用到的安装包有: apache-hive-1.2.1-bin.tar.gz mysql-connector-java-5.1.49.tar.gz 百度网盘链接: 链接:https://pan.baid ...
- 2018超详细sublime text3+python3.x安装配置教程(附常用插件安装教程)
导读 本文是关于2018年7月最新版sublime text3+pythin3.x下载及安装配置教程,sublime text3版本为3176,python版本为3.7,安装环境是基于windows1 ...
- Sublime text3 常用插件 安装
1 安装插件前的准备工作 首先确保你的Sublime Text3编辑器为官方版(非破解版),建议下载官网的便携版本(好处多多). 然后安装插件管理工具(Package Control) 1.1 打开S ...
- Fedora 28 系统基础配置以及常用软件安装方式
实验说明: 很多人说Linux很难用,很难上手,其实不然,倘若不玩游戏,其实很多发行版Linux都可以成为主力系统,就比如本章要讲的 Fedora 28.本章会从镜像来源.系统安装.基础配置和常用软件 ...
- Sublime text 3搭建Python开发环境及常用插件安装 转载
Sublime text 3搭建Python开发环境及常用插件安装 一.环境准备 1.官方网站地址 2.Windows 10 3.Sublime Text 3 + 官网购买license(Just a ...
- 持续集成-Jenkins常用插件安装
1. 更新站点修改 由于之前说过,安装Jenkins后首次访问时由于其他原因[具体未知]会产生离线问题.网上找了个遍还是不能解决,所以只能跳过常用插件安装这步.进入Jenkins后再安装这些插件. 在 ...
- Sublime Text 3常用插件安装
Sublime Text 3常用插件安装 PS:sublime是笔者用过的最好用的编辑器,也是最轻量级,功能最强大的编辑器.好东西应该被分享! 1.直接安装 --下载安装包解压缩到Packages目录 ...
- ElasticSearch之常用插件安装命令
#head监控安装,推荐 bin/plugin -install mobz/elasticsearch-head #bigdesk集群状态,推荐 bin/plugin -install lukas-v ...
随机推荐
- Mysql训练:第二高的薪水(IFNULL,OFFSET,LIMIT)
编写一个 SQL 查询,获取 Employee 表中第二高的薪水(Salary) . +----+--------+ | Id | Salary | +----+--------+ | 1 | 100 ...
- Java流程控制:循环结构
一.简介 顺序结构的程序语句只能被执行一次,如果您想要同样的操作执行多次,就需要使用循环结构. Java中有三种主要的循环结构: 'while'循环 'do...while'循环 'for'循环 在J ...
- su: Authentication failure解决方法
su命令不能切换root,提示su: Authentication failure,需要sudo passwd root一次之后,下次再su的时候只要输入密码就可以成功登录.
- Go的指针
目录 指针 一.指针的声明 二.指针的默认值(Zero Value) 三.指针的解引用 四.向函数传递指针参数 1.非 数组/切片 指针传参 2.数组/切片 指针传参 五.Go不支持指针运算 指针 指 ...
- 痞子衡嵌入式:盘点国内RISC-V内核MCU厂商
大家好,我是痞子衡,是正经搞技术的痞子.今天痞子衡给大家介绍的是国内RISC-V内核MCU厂商. 虽然RISC-V风潮已经吹了好几年,但2019年才是其真正进入主流市场的元年,最近国内大量芯片公司崛起 ...
- Manjaro安装后简单配置
一个相见恨晚的 Linux 操作系统 Manjaro 到底有多受欢迎? DistroWatch是一个包含了各种Linux发行版及其他自由/开放源代码的类Unix操作系统. (如OpenSolaris. ...
- 微信小程序onReachBottom第二次失效
当整个页面就是一个view包着一个轮播.一个横向scroll-view和一个纵向scroll-view onReachBottom方法只执行一次 解决方法:
- RichTextBox FlowDocument类型操作
最近研究微信项目,套着web版微信协议做了一个客户端,整体WPF项目MVVM架构及基本代码参考于:http://www.cnblogs.com/ZXdeveloper/archive/2016/1 ...
- Python基础学习【day2】
运算符 运算符有哪些? 加 + 减 - 乘 * 除 / 幂 ** 取余 % ...
- android分析之Condition
Condition的含义是条件变量,其实现依赖于系统,一般都要配合Mutex使用,使用步骤为:给mutex上锁(Lock),调用wait等待"条件"发生,如果没有发生则re-wai ...