ElasticStack之Logstash安装
服务器环境
操作系统 |
Host:port |
node |
|
1 |
CentOS 7.2.1511 |
11.1.11.127:9200 |
node1 |
2 |
CentOS 7.2.1511 |
11.1.11.128:9200 |
node2 |
3 |
CentOS 7.2.1511 |
11.1.11.129:9200 |
node3 |
Logstash简介
Logstash 是 Elastic Stack 的中央数据流引擎,用于收集、丰富和统一所有数据,而不管格式或模式。当与Elasticsearch,Kibana,及 Beats 共同使用的时候便会拥有特别强大的实时处理能力。
Logstash优势
Logstash 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到Elasticsearch。
- 输入:采集各种样式、大小和来源的数据
- 过滤器:实时解析和转换数据
- 输出:选择您的存储库,导出您的数据
- 即插即用:使用 Elastic Stack 更快获得洞察
- 可扩展:以您自己的方式创建和配置管道
- 可靠性与安全性:构建可信的交付管道
- 监控:全方位监视您的部署
- 管理和治理:使用单个 UI 集中式管理部署
Logstash详细介绍可以参看官网:https://www.elastic.co/cn/products/logstash
Logstash安装
1.下载logstash
[root@localhost~]# wget https://artifacts.elastic.co/downloads/logstash/logstash-6.0.1.zip
2.解压logstash到/usr/local/
[root@localhost~]# unzip logstash-6.0.1.zip
Logstash配置文件
3.修改logstash.yml
[root@localhost~]# vim /usr/local/logstash-6.0.1/config/logstash.yml
#需配置属性如下
node.name: 11.1.11.127:9200 #设置节点名称,一般写主机名
path.data:/usr/local/logstash-6.0.1/plugin-data #创建logstash 和插件使用的持久化目录
config.reload.automatic: true #开启配置文件自动加载
config.reload.interval: 10 #定义配置文件重载时间周期
http.host: "11.1.11.127" #定义访问主机名,一般为域名或IP
4.配置logstash input
[root@localhost~]# vim /usr/local/logstash-6.0.1/config/estest.conf
input {
file {
path => [ '/var/log/httpd/access_log']
start_position => "beginning"
}
}
filter {
grok {
match => {
"message"=> "%{COMBINEDAPACHELOG}"
}
remove_field => "message"
}
}
output {
elasticsearch {
hosts => [ "http://11.1.11.127:9200", "http://11.1.11.128:9200", "http://11.1.11.129:9200"]
index => "logstash-%{+YYYY.MM.dd}"
action => "index"
document_type => "apache_logs"
}
}
4.新建插件持久化目录
[root@localhost~]# mkdir -p /usr/local/logstash-6.0.1/plugin-data
启动Logstash
[root@localhost~]# /usr/local/logstash-6.0.1/bin/logstash -f /usr/local/logstash-6.0.1/config/estest.conf
Ps:Logstash安装的服务器和elasticsearch的node1节点服务器为同一服务器。在生产环境中建议为Logstash申请独立的服务器,对es集群进行监控和数据收集整理。
ElasticStack之Logstash安装的更多相关文章
- logstash安装及基础入门
Logstash是一款开源的数据收集引擎,具备实时管道处理能力.简单来说,logstash作为数据源与数据存储分析工具之间的桥梁,结合 ElasticSearch以及Kibana,能够极大方便数据的处 ...
- ElasticSearch Kibana 和Logstash 安装x-pack记录
前言 最近用到了ELK的集群,想想还是用使用官方的x-pack的monitor功能对其进行监控,这里先上图看看: 环境如下: 操作系统: window 2012 R2 ELK : elasticsea ...
- Elasticsearch+Kibana+Logstash安装
安装环境: [root@node- src]# cat /etc/redhat-release CentOS Linux release (Core) 安装之前关闭防火墙 firewalld 和 se ...
- Logstash安装和设置(图文详解)(多节点的ELK集群安装在一个节点就好)
前提 Elasticsearch-2.4.3的下载(图文详解) Elasticsearch-2.4.3的单节点安装(多种方式图文详解) Elasticsearch-2.4.3的3节点安装(多种方式图文 ...
- windows 下 logstash 安装启动
最新在研究elastic stack (elk) : logstash 安装,下载最新版本的logstash: 点击打开链接 解压到磁盘根目录下:在logstash>bin 1.目录下创建:l ...
- ELK 学习笔记之 Logstash安装
Logstash安装: https://www.elastic.co/downloads/logstash 下载解压: tar –zxvf logstash-5.6.1.tar.gz 在/usr/lo ...
- Logstash 安装配置使用
一.Windows下安装运行 官网下载,下载与elasticSearch同一个版本,zip格式.Logstash占用内存较大,我在使用的时候cpu一般都是冲到90% 1.CMD直接运行 创建一个基本的 ...
- logstash 安装 配置
1.Logstash 安装:在产生日志的服务器上安装 Logstash1.安装java环境 # yum install java-1.8.0-openjdk.x86_642.安装logstash(使用 ...
- Logstash 安装与配置
一.Logstash 描述 简单而又强大的数据抽取与处理工具,相比于flums一整本书的描述强大而又好用. 还记得我13年用python写了一个数据抽取.校验工具,设计思路也同样是拆解处理过程模板,然 ...
随机推荐
- 20145239杜文超 《Java程序设计》实验二 Java面向对象程序设计实验报告
20145239 <Java程序设计>实验二 Java面向对象程序设计实验报告 实验内容 初步掌握单元测试和TDD 理解并掌握面向对象三要素:封装.继承.多态 初步掌握UML建模 熟悉S. ...
- PHP的引用详解【转】
摘自:http://www.cnblogs.com/xiaochaohuashengmi/archive/2011/09/10/2173092.html 官方文档: 1.引用是什么:http://ww ...
- 我所理解的RESTful Web API [设计篇]【转】
原文:http://www.cnblogs.com/artech/p/restful-web-api-02.html <我所理解的RESTful Web API [Web标准篇]>Web服 ...
- JS事件派发器EventEmitter
原文地址:http://zhangyiheng.com/blog/articles/js_event_mitter.html 需求 随着Browser客户端JS越来越复杂,MVC(Client端)设计 ...
- openfire插件(1)
插件核心类,这里对PacketInterceptor.Plugin进行继承.如果开发插件就一定要继承Plugin,而继承PacketInterceptor是拦截用户发送的消息包.对消息包进行过滤.拦截 ...
- L97
We are young. So let's set the world on fire. We can burn brighter than the sun.我们是青年,让我们点亮世界,释放生命,胜 ...
- codeforces 706B B. Interesting drink(二分)
题目链接: B. Interesting drink 题意: 给出第i个商店的价钱为x[i],现在询问mi能在多少个地方买酒; 思路: sort后再二分; AC代码: #include <ios ...
- C语言中mktime函数功能及用法
今天联系写一个日历的程序,需要算出月份中的第一天是星期几,用到了mktime()这个函数,感觉这个函数挺有用的,分享给大家. 原型:time_t mktime(struct tm *) 其中的tm结构 ...
- 1139 First Contact(30 分)
Unlike in nowadays, the way that boys and girls expressing their feelings of love was quite subtle i ...
- rt-thread的定时器管理源码分析
1 前言 rt-thread可以采用软件定时器或硬件定时器来实现定时器管理的,所谓软件定时器是指由操作系统提供的一类系统接口,它构建在硬件定时器基础之上,使系统能够提供不受数目限制的定时器服务.而硬件 ...