ELK应用之一:ELK平台搭建部署
一、获取安装包:
EKL官网:https://www.elastic.co/products
二、安装Elasticsearch
2.1、解压安装包,在安装目录创建data和logs目录,并在配置文件中指定路径:
elasticsearch.yml:
path.data: /data/local/elasticsearch/data
path.logs: /data/local/elasticsearch/logs bootstrap.memory_lock: false
bootstrap.system_call_filter: false network.host: 0.0.0.0 http.port: 9200
http.enabled: true
http.cors.enabled: true
http.cors.allow-origin: "*"
elasticsearch默认不允许root用户运行,创建elasticsearch用户,并将elasticsearch安装目录拥有着修改为elasticsearch。
修改几个文件:
2.2、/etc/security/limits.conf:
* soft nproc 2048
* hard nproc 4096
* soft nofile 65536
* hard nofile 131072
2.3、/etc/sysctl.conf,添加如下:
vm.max_map_count = 655360
2.4、/etc/security/limits.d/20-nproc.conf:
* soft nproc 4096
发生的错误:
ERROR: [1] bootstrap checks failed
禁止bootstrap检测:
修改elasticsearch.yml,添加如下:
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
以上修改后,若还提示错误,需要重启系统。
启动elasticsearch:
切换到elasticsearch用户,在安装目录/bin下直接运行:
./elasticsearch &
可以看到启动日志:
[2017-08-03T15:09:45,481][INFO ][o.e.p.PluginsService ] [QaS1DC7] loaded module [aggs-matrix-stats]
[2017-08-03T15:09:45,481][INFO ][o.e.p.PluginsService ] [QaS1DC7] loaded module [ingest-common]
[2017-08-03T15:09:45,481][INFO ][o.e.p.PluginsService ] [QaS1DC7] loaded module [lang-expression]
[2017-08-03T15:09:45,481][INFO ][o.e.p.PluginsService ] [QaS1DC7] loaded module [lang-groovy]
[2017-08-03T15:09:45,481][INFO ][o.e.p.PluginsService ] [QaS1DC7] loaded module [lang-mustache]
[2017-08-03T15:09:45,482][INFO ][o.e.p.PluginsService ] [QaS1DC7] loaded module [lang-painless]
[2017-08-03T15:09:45,482][INFO ][o.e.p.PluginsService ] [QaS1DC7] loaded module [parent-join]
[2017-08-03T15:09:45,482][INFO ][o.e.p.PluginsService ] [QaS1DC7] loaded module [percolator]
[2017-08-03T15:09:45,482][INFO ][o.e.p.PluginsService ] [QaS1DC7] loaded module [reindex]
[2017-08-03T15:09:45,482][INFO ][o.e.p.PluginsService ] [QaS1DC7] loaded module [transport-netty3]
[2017-08-03T15:09:45,482][INFO ][o.e.p.PluginsService ] [QaS1DC7] loaded module [transport-netty4]
[2017-08-03T15:09:45,483][INFO ][o.e.p.PluginsService ] [QaS1DC7] no plugins loaded
[2017-08-03T15:09:47,328][INFO ][o.e.d.DiscoveryModule ] [QaS1DC7] using discovery type [zen]
[2017-08-03T15:09:47,878][INFO ][o.e.n.Node ] initialized
[2017-08-03T15:09:47,879][INFO ][o.e.n.Node ] [QaS1DC7] starting ...
[2017-08-03T15:09:48,051][INFO ][o.e.t.TransportService ] [QaS1DC7] publish_address {192.168.1.23:9300}, bound_addresses {[::]:9300}
[2017-08-03T15:09:48,061][INFO ][o.e.b.BootstrapChecks ] [QaS1DC7] bound or publishing to a non-loopback or non-link-local address, enforcing bootstrap checks
[2017-08-03T15:09:51,113][INFO ][o.e.c.s.ClusterService ] [QaS1DC7] new_master {QaS1DC7}{QaS1DC7FQy6uyuZv4RCoEw}{9u0bZc88TCKmbcT1tOwdlw}{192.168.1.23}{192.168.1.23:9300}, reason: zen-disco-elected-as-master ([0] nodes joined)
[2017-08-03T15:09:51,132][INFO ][o.e.h.n.Netty4HttpServerTransport] [QaS1DC7] publish_address {192.168.1.23:9200}, bound_addresses {[::]:9200}
[2017-08-03T15:09:51,132][INFO ][o.e.n.Node ] [QaS1DC7] started
[2017-08-03T15:09:51,146][INFO ][o.e.g.GatewayService ] [QaS1DC7] recovered [0] indices into cluster_state
2.5、安装elasticsearch-head:
elasticsearch-head是干啥的?
答:elasticsearch-head是一个可视化的管理elasticsearch集群的工具。
获取软件包:
git clone git://github.com/mobz/elasticsearch-head.git
到elasticsearch-head目录下:
npm install
注:前提需要安装nodjs。
tar zxvf node-v6.10.3.tar.gz
cd node
./configure
make
make install
编辑Gruntfile.js文件,connect修改如下:
connect: {
server: {
options: {
hostname: '*',
port: 9100,
base: '.',
keepalive: true
}
}
}
启动head:
/elasticsearch-head/node_modules/grunt/bin/grunt server
打开浏览器,输入IP:9100就可以看到Elasticsearch的状态了:
三、安装Logstash
logstash的安装也比较简单,下载安装包后,直接解压就可以了。
测试logstash:
在解压后的config目录下创建用于测试的配置文件:
#vim test.conf input {
stdin {}
}
output {
stdout {
codec => rubydebug {}
}
}
配置文件的说明:
文件中定义了输入和输出两部分,输入为标准输入,输出格式为codec => rubydebug {}
启动logstash:
./bin/logstash -f config/test.conf
-f参数,指定配置文件。
终端中开启交互模式,输入hello后,会被标准输出:
hello
{
"@timestamp" => 2017-07-14T05:32:04.765Z,
"@version" => "",
"host" => "localhost",
"message" => "hello"
}
配置logstash的输入和输出:
logstash支持多种输入类型
1、从普通日志文件输入:
input {
file {
path => "/var/log/messages"
type => "syslog"
}
input输入为文件时,可以将所有文件放到列表中:
path => [ "/var/log/messages", "/var/log/*.log" ]
2、从beats库输入:
beats库是一系列采集数据的插件,可以替代logstash,候问介绍。
input {
beats {
port => "" #beats库已运行于5044端口
}
}
3、其他输入:
logstash还支持TCP/IP、Syslog等输入,这里不详细介绍。
四、安装Kibana
kibana的安装同logstash,解压安装包后,直接运行bin下的kibana就可以启动。
配置文件:
config/kibana.yml:
erver.port: 5601 #监听的端口 server.host: "0.0.0.0" #允许其他远程客户端访问 elasticsearch.url: "http://localhost:9200" #连接的Elasticsearch地址
启动kibana后,就可以通过页面访问:
Beats库的介绍:
ELK应用之一:ELK平台搭建部署的更多相关文章
- ELK实时日志分析平台环境部署--完整记录
在日常运维工作中,对于系统和业务日志的处理尤为重要.今天,在这里分享一下自己部署的ELK(+Redis)-开源实时日志分析平台的记录过程(仅依据本人的实际操作为例说明,如有误述,敬请指出)~ ==== ...
- ELK实时日志分析平台环境部署--完整记录(转)
在日常运维工作中,对于系统和业务日志的处理尤为重要.今天,在这里分享一下自己部署的ELK(+Redis)-开源实时日志分析平台的记录过程(仅依据本人的实际操作为例说明,如有误述,敬请指出)~ ==== ...
- ELK实时日志分析平台环境部署,以及可视化展示
ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件.新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent) ...
- ELK实时日志分析平台环境部署
为什么要用到ELK一般我们需要进行日志分析场景是:直接在日志文件中 grep.awk 就可以获得自己想要的信息.但在规模较大的场景中,此方法效率低下,面临问题包括日志量太大如何归档.文本搜索太慢怎么办 ...
- ELK实时日志分析平台环境部署--完整记录(ElasticSearch+Logstash+Kibana )
https://blog.csdn.net/oLevin/article/details/81020794
- Zabbix监控平台搭建部署与概述
zabbix 是一个基于 WEB 界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案.zabbix 能监视各种网络参数,保证服务器系统的安全运营:并提供灵活的通知机制以让系统管理员快速定位 ...
- 小白都会超详细--ELK日志管理平台搭建教程
目录 一.介绍 二.安装JDK 三.安装Elasticsearch 四.安装Logstash 五.安装Kibana 六.Kibana简单使用 系统环境:CentOS Linux release 7.4 ...
- ELK日志分析平台搭建
ELK平台介绍 在搜索ELK资料的时候,发现这篇文章比较好,于是摘抄一小段: 以下内容来自:http://baidu.blog.51cto.com/71938/1676798 日志主要包括系统日志.应 ...
- 亿级 ELK 日志平台构建部署实践
本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统.日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」 废话不多说,老司机们座好了, ...
随机推荐
- Source insight 中 标题栏路径显示完整路径的方法
在source insight 的标题栏中显示完整路径名的方法.Options -> Preferences -> Display -> Trim long path names w ...
- RegExp,实现匹配合法时间(24小时制)的正则表达式
合法时间格式 00:00:00 - 23:59:59 格式分析:H + ":" + M + ":" + S H-分析: 00:00:00 - 09:5 ...
- Redux系列02:一个炒鸡简单的react+redux例子
前言 在<Redux系列01:从一个简单例子了解action.store.reducer>里面,我们已经对redux的核心概念做了必要的讲解.接下来,同样是通过一个简单的例子,来讲解如何将 ...
- python基础篇----基本数据类型
bit #bit_length 当前数字的二进制,只用用n位来表示a = 123b = a.bit_length()print(b)#==>7
- JAVA笔试准备
建立时间:2019.4.19 修改时间: 腾讯:选择题(30个,一小时内),简答(2道)和编程题(2道) 涉及内容:(也有可能全是算法)C++,JAVA,数据结构,网络,Linux,计算题 1. 磁盘 ...
- npm安装时一些错误
1. npm install 提示no such file or directory 缺少package.json 首先初始化, npm init -f 然后安装依赖 npm install form ...
- PAT甲题题解-1021. Deepest Root (25)-dfs+并查集
dfs求最大层数并查集求连通个数 #include <iostream> #include <cstdio> #include <algorithm> #inclu ...
- io整理
http://www.cnblogs.com/rollenholt/archive/2011/09/11/2173787.html
- Notes of Daily Scrum Meeting(12.17)
我们会尽量安排好时间,在其他作业不受影响的情况下加快项目的进度,在Deadline之前完成Beta阶段的工作. 今天的团队工作总结如下: 团队成员 今日团队工作 陈少杰 调试网络连接,补充后端代码 王 ...
- Haskell(一 )------ Windos下环境配置
1.去官网下载安装包 2.然后运行安装包路径最好就不要改了. 3.打开命令行输入 cabal user-config init 会出现默认的放置配置文件的地址,然后到那个文件夹下修改config文件. ...