ELKstack简介及环境部署
ELK工作流程图
环境准备
安装Logstash依赖包JDK
Logstash的运行依赖于Java运行环境, Logstash 1.5以上不低于java 7推荐使用最新版本的Java。由于只是运行Java程序,而不是开发,下载JRE即可。
yum 安装
[root@reboot ~]#yum install java-1.8.0-openjdk -y
设置yum安装的java_home(可以不执行)
[root@reboot ~]# export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.91-1.b14.el6.x86_64
源码安装
JDK的安装方式比较简单,只需将下载回来的程序包解压到相应的目录即可。
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
下载页面,因为需要证书,Linux无法下载,建议window下载,然后上传
[root@reboot ~]#mkdir /usr/local/java
[root@reboot ~]#tar -zxf jdk-8u45-linux-x64.tar.gz -C /usr/local/java/
#设置JDK的环境变量(/etc/profile)添加如下:
export JAVA_HOME=/usr/local/java/jdk1.8.0_45
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH
#检查jdk是否安装成功
[root@reboot ~]#java -version
java version "1.8.0_45"
Java(TM) SE Runtime Environment (build 1.8.0_45-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.45-b02,mixed mode)
安装logstash
安装logstash
只需将它解压的对应目录即可,例如:/usr/local下:
https://artifacts.elastic.co/downloads/logstash/logstash-6.4.0.tar.gz
https://artifacts.elastic.co/downloads/logstash/logstash-5.6.11.tar.gz
[root@reboot ~]# tar -zxf logstash-5.6.11.tar.gz -C /usr/local/
安装完成后运行如下命令测试:
[root@reboot ~]# /usr/local/logstash-5.6.11/bin/logstash -e 'input { stdin { } } output { stdout {} }'
Logstash startup completed
Hello World! #输入一个hello world。
2018-09-01T14:48:35.902Z dev-online hello world #处理了输出的内容,格式:时间 主机名 输入的信息
codec =>rubydebug 格式化输出
[root@reboot ~]# ./bin/logstash -e 'input { stdin{} } output { stdout { codec=>rubydebug} }'
Logstash startup completed
hello world
{
"message" => "hello world",
"@version" => "1",
# logstash采用的是UTC时间,即0时区,所以输出的结果,比北京时间少8小时
"@timestamp" => "2018-09-01T06:48:47.348Z",
"host" => "dev-online"
}
安装Elasticsearch
(https://www.elastic.co/ 官网)
https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.11.tar.gz
https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.0.tar.gz
下载Elasticsearch后,解压到对应的目录就完成Elasticsearch的安装。
[root@reboot ~]# tar -zxf elasticsearch-5.6.11.tar.gz -C /usr/local/
ES的配置文件
[root@reboot ~]#cat /usr/local/elasticsearch-5.6.11/config/elasticsearch.yml
cluster.name: my-application #集群名
node.name: node-1 #节点名
path.data:/data/db # 默认存放安装路径下的data目录
network.host:10.1.19.18 # 默认是0.0.0.0:9200
discovery.zen.ping.unicast.hosts: ["127.0.0.1", "10.1.19.18"] #集群单播发现
discovery.zen.minimum_master_nodes: 1
启动Elasticsearch
[root@reboot ~]# useradd es # 2.*版本之后不允许root启动
[es@reboot ~]$ /usr/local/elasticsearch-5.6.11/bin/elasticsearch -d # 后台运行
[es@reboot ~]$ /usr/local/elasticsearch-5.6.11/bin/elasticsearch-plugin install x-pack # 插件安装
# 确认elasticsearch的9200端口已监听,说明elasticsearch已成功运行
[es@reboot ~]$netstat -anp |grep :9200
tcp 0 0 :::9200 :::* LISTEN 3362/java
[es@reboot ~]$ curl http://ip:9200 # 返回json结果
常见报错
https://www.cnblogs.com/xxoome/p/6663993.html
内存不足
Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x0000000085330000, 2060255232, 0) failed; error='Cannot allocate memory' (errno=12)
由于elasticsearch5.0默认分配jvm空间大小为2g,修改jvm空间分配
# vim config/jvm.options
-Xms2g
-Xmx2g
修改为
-Xms512m
-Xmx512m
线程数不够
max number of threads [1024] for user [elasticsearch] is too low, increase to at least [2048]
修改 /etc/security/limits.d/90-nproc.conf
* soft nproc 1024
改为
* soft nproc 2048
max_map_count不足
max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
修改/etc/sysctl.conf配置文件,
cat /etc/sysctl.conf | grep vm.max_map_count
vm.max_map_count=262144
sysctl -p
最大打开文件数不足
max file descriptors [65535] for elasticsearch process likely too low, increase to at least [65536]
vim /etc/security/limits.conf
* soft nofile 65536 * hard nofile 131072 * soft nproc 2048 * hard nproc 4096
阿里云服务器问题
system call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk
解决方法:在es配置中加入下面命令即可
bootstrap.system_call_filter: false
Kibana
安装
下载kibana后,解压到对应的目录就完成kibana的安装
https://artifacts.elastic.co/downloads/kibana/kibana-5.6.11-linux-x86_64.tar.gz
https://artifacts.elastic.co/downloads/kibana/kibana-6.4.0-linux-x86_64.tar.gz
[root@reboot ~]# tar -zxf kibana-5.6.11-linux-x64.tar.gz -C /usr/local/
简单配置
vim config/kibana.yml
port:5601 #对外访问端口
host:"0.0.0.0" #对外访问ip
elasticsearch.url: "http://localhost:9200" #数据源ES地址
启动kibana
[root@reboot ~]# /usr/local/kibana-5.6.11-linux-x64/bin/kibana
访问测试
http://kibanaServerIP:5601
访问Kibana,首先,配置一个索引,默认,Kibana的数据被指向Elasticsearch,使用默认的logstash-*的索引名称,并且是基于时间的,点击“Create”即可。
小栗子
在logstash安装目录下创建一个logstash-es-simple.conf文件,用于测试logstash使用elasticsearch作为后端存储的例子,该文件中定义了stdout和elasticsearch同时输出,这样的“多重输出”即保证输出结果显示到屏幕上,同时也输出到elastisearch中。
实际应用
配置logstash作为Indexer
将logstash配置为索引器,并将logstash的日志打印输出到屏幕,本范例主要是索引本地系统日志。
[root@reboot ~]#cat /usr/local/logstash-5.6.11/logstash-indexer.conf
input {
file {
type =>"syslog"
path => ["/var/log/messages", "/var/log/syslog" ]
}
}
output {
stdout { codec=> rubydebug }
}
[root@reboot ~]#/usr/local/logstash-5.6.11/bin/logstash -f logstash-indexer.conf
使用echo命令模拟写入日志,命令执行后看到如下图的信息
[root@reboot ~]# echo "`date` 你好" >>/var/log/messages
就可以在logstash终端看到进来的日志了
学习的文章
https://www.elastic.co/guide/index.html 官方文档
http://kibana.logstash.es/content/ elk中文指南
http://www.ttlsa.com/elk/ 运维生存时间 elk 系列
http://www.wklken.me/posts/2015/04/26/elk-for-nginx-log.html 非常棒 博主有才华
http://ckl893.blog.51cto.com/8827818/1772287 简单版的elk实现nginx日志分析
http://www.ywnds.com/?p=9776 5.4.1版本 运维那点事 文章真棒
https://www.cnblogs.com/jiu0821/p/7695149.html 5.6.3比较新多版本了
http://blog.51cto.com/13527416/2049173 沪江网搜索平台的实践
http://blog.51cto.com/zero01/2079879 6.0版本
http://blog.51cto.com/13676067/2154285 涉及到调优
ELKstack简介及环境部署的更多相关文章
- 01 . GitLab简介及环境部署
GitLab简介 最初,该产品名为GitLab,是完全免费的开源软件,按照MIT许可证分发. 2013年7月,产品被拆分为:GitLabCE(社区版)和GitLabEE(企业版),当时,GitLabC ...
- Python简介及环境部署
Python的由来: Python的创始人:Guido van Rossum Guido 在1989年12月时,寻找一门“课余”编程项目来打发圣诞节前后的时间.Guido决定为当时正构 ...
- OpenStack实践系列①openstack简介及基础环境部署
OpenStack实践系列①openstack简介及基础环境部署 一.OpenStack初探1.1 OpenStack简介 OpenStack是一整套开源软件项目的综合,它允许企业或服务提供者建立.运 ...
- SDN概述:简介、工具、环境部署
一.前言: 本文初步接触 SDN 的相关概念.需要依次完成下面几项任务: SDN 简介 SDN 工具 SDN 环境部署 推荐阅读 推荐阅读下述内容: Ethane 项目,openflow 的基础 op ...
- 第一章·ELKstack介绍及Elasticsearch部署
一.ELKstack课程大纲  二.ELKstack简介 什么是ELK? 通俗来讲,ELK是由Elasticsearch.Logstash.Kibana 三个开源软件的组成的一个组合体,这三个软件当 ...
- 分布式版本库——Windows下Git的环境部署以及在GitHub上开源自己的项目
分布式版本库--Windows下Git的环境部署以及在GitHub上开源自己的项目 这几天着实忙的焦头烂额,可惜不是搞技术,今天周日,难得闲下来,写篇大家都想学习的Git教程,其实廖雪峰老师的网站已经 ...
- Spring Boot (二)集成Jsp与生产环境部署
一.简介 提起Java不得不说的一个开发场景就是Web开发,也是Java最热门的开发场景之一,说到Web开发绕不开的一个技术就是JSP,因为目前市面上仍有很多的公司在使用JSP,所以本文就来介绍一下S ...
- 在 CentOS 7上Virtualbox+phpVirtualBox完整虚拟化环境部署
一.phpVirtualBox简介 VirtualBox是一套为不同操作系统而设的 x86 虚拟化产品.它是一个机器/硬件的虚拟化产品,功能上与 VMware Server.Parallel ...
- Linux下开源邮件系统Postfix+Extmail+Extman环境部署记录
一.基础知识梳理MUA (Mail User Agent) MUA 既是"邮件使用者代理人",因为除非你可以直接利用类似 telnet 之类的软件登入邮件主机来主动发出信件,否则您 ...
随机推荐
- Django_Form验证(三)字段,字段的参数,widgets种类
Form工具是一个很强大的工具,所以他的功能不仅仅是上面2个例子,这里详细记录一下Form的其他功能 字段的一般参数,以CharFields为列子: user=fields.CharField( re ...
- springcloud-知识点总结(一):Eureka
1.Spring Cloud简介 Spring Cloud是一系列框架的有序集合.它利用Spring Boot的开发便利性巧妙地简化了分布式系统基础设施的开发,如服务发现注册.配置中心.消息总线.负载 ...
- Tomcat9 在Windows中配置允许远程访问
环境:Windows Server 2019 Data Center+Tomcat 9 Tomcat在Windows中安装好了之后,默认只能从本机以http://localhost:8080的方式访 ...
- 545. Boundary of Binary Tree二叉树的边界
[抄题]: Given a binary tree, return the values of its boundary in anti-clockwise direction starting fr ...
- [leetcode]254. Factor Combinations因式组合
Numbers can be regarded as product of its factors. For example, 8 = 2 x 2 x 2; = 2 x 4. Write a func ...
- javaweb开发2.新建一个javaweb项目
1.File → New → Dynamic Web Project 2.创建一个Dynamic Web Project 3.点击“Next”下一步 4.点击“Next”下一步 5.点击“Finish ...
- 找不到phpize
yum install php-devel 报错如下: 解决办法: yum install php71w-devel
- AutoCAD开发2--添加带属性的点
Private Sub CommandButton11_Click() Dim pPoint As AcadPoint Dim DataType(0 To 1) As Integer Dim Data ...
- Installing TensorFlow on Ubuntu or Windows
Installing TensorFlow on Ubuntu 显卡驱动:http://developer2.download.nvidia.com/compute/cuda/8.0/secure/P ...
- 第42章:MongoDB-集群--Sharding(分片)--单机的搭建
①配置服务器 在大型的集群中,建议配置3台配置服务器,就足够用了.启动配置服务器的方式: 1:先创建几个存放数据的文件夹,比如在前面的dbs下面创建confdb文件夹,然后在confdb下面创建con ...