Logstash介绍

Logstash是一个数据收集处理转发系统,是 Java开源项目。 它只做三件事:

  • 数据输入
  • 数据加工(不是必须的):如过滤,改写等
  • 数据输出

 

下载安装

logstash是基于Java的服务,各操作系统安装Java环境均可使用。

Java 
https://www.java.com/zh_CN/ 
安装后配置好java环境变量。
logstash 
最新版 https://www.elastic.co/downloads/logstash 
2.3.4版 https://www.elastic.co/downloads/past-releases/logstash-2-3-4

 

配置结构

#输入
Input{
Jdbc{}
}
#加工过滤
Filter{
Json{}
}
#输出
Output{
elasticsearch{}
}

支持的插件

Input: elasticsearch,file,http_poller,jdbc,log4j,rss,rabbitmq,redis,syslog,tcp,udp…等

Filter: grok,json,mutate,split …等

Output: email,elasticsearch,file,http,mongodb,rabbitmq,redis,stdout,tcp,udp …等

配置说明地址: https://www.elastic.co/guide/en/logstash/current/input-plugins.html

 

应用示例

#jdbc_demo
input {
jdbc {
#数据库链接设置
jdbc_driver_library => "k:\k\k\sqljdbc_6.0\chs\sqljdbc42.jar"
jdbc_driver_class => "com.microsoft.sqlserver.jdbc.SQLServerDriver"
jdbc_connection_string => "jdbc:sqlserver://192.168.0.1;user=sa;password=sa;DatabaseName=EStatistic;"
jdbc_user => "sa"
jdbc_password => "sa" statement_filepath => "../config-demo/sqlscript/jdbc_demo.sql" #sql脚本
schedule => "* * * * *" #执行计划 record_last_run => true #记录最后运行值
use_column_value => true #
tracking_column => id #要记录的字段
last_run_metadata_path => "../config-demo/log/jdbc_demo" #记录的位置 lowercase_column_names => true #将字段名全部改为小写
clean_run => false jdbc_fetch_size => 1000 #分页设置
jdbc_page_size => 1000
jdbc_paging_enabled => true
}
}
filter {
mutate {
#重命名,可以将字段名改掉
rename => {
"id" => "Id"
"bid" => "BId"
"saleconsultantid" => "SaleConsultantId"
"avgreplyduration" => "AvgReplyDuration"
"avgreplyratio" => "AvgReplyRatio"
"avgonlineduration" => "AvgOnlineDuration"
"stattime" => "StatTime"
}
}
}
output {
elasticsearch {
hosts => ["192.168.0.1:9200"] #es 服务地址
index => "jdbc_demo" #索引的名字
document_type => "demoinfo" #类型的名字
workers => 1 #输出时进程数
document_id=>"%{Id}" #文档的唯一ID
template => "../config-demo/templates/jdbc_demo.json" #模板的路径
template_name => "jdbc_demo" #模板的名字
template_overwrite => false ##是否覆盖已存在的模板
}
# stdout{
# codec => rubydebug
# }
}

索引模板

{
"order": 1,
"template": "jdbc_demo", //模板匹配规则,已经索引名匹配(eg:jdbc_demo-*,可以匹配到,jdbc_demo-1,jdbc_demo-14...)
"settings": {
"index.number_of_shards": 4, //分片数
"number_of_replicas": 1 //每个分配备份数
},
"mappings": {
"_default_": {
"_source": {
"enabled": true
}
},
"demoinfo": { //动态模板 如果映射后,有新的字段添加进来,并且在字段区域没有映射会按该动态模板匹配映射
"dynamic_templates": [
{
"string_field": {
"match": "*",
"match_mapping_type": "string", //匹配到所有字符串 设置为不分词
"mapping": {
"index": "not_analyzed",
"type": "string"
}
}
}
], //类型名
"_source": {
"enabled": true
},
"_all": {
"enabled": false
},
"properties": { //字段区域
"Id": {
"type": "long"
},
"BId": {
"type": "integer"
},
"SaleConsultantId": {
"type": "integer"
},
"AvgReplyDuration": {
"type": "integer"
},
"AvgReplyRatio": {
"type": "double"
},
"AvgOnlineDuration": {
"type": "integer"
},
"StatTime": {
"format": "strict_date_optional_time||epoch_millis",
"type": "date"
}
}
}
},
"aliases": {
"logstashdemo": {} //别名,匹配到该模板的会设置一个别名
}
}

Sqlserver 查询语句

SELECT  [Id]
,[BId]
,[SaleConsultantId]
,[AvgReplyDuration]
,[AvgReplyRatio]
,[AvgOnlineDuration]
,[StatTime]
FROM [EStatistic].[dbo].[StatSessionBy7Day]
WHERE Id>:sql_last_value
--:sql_last_value是记录的最后的一个值

5.x模板String字段

 {"properties": {                 //字段区域
"NewField": {
"type": "keyword", // keyword 不分词
"index": false //不建立索引
},
"NewFieldText": {
"type": "text", // text分词
"index": true // 建立索引
}
}
}
 

注意事项

  • Jdbc(input)拉取数据使用分页功能时无法查询text、ntext 和 image字段。
  • jdbc(input)使用分页时会将字段全部转换为大写。
  • elasticsearch(output)的模板中匹配符,一定要能够匹配到索引名称才能生效,并且要避免让其他索引匹配到,以免影响其它新索引。
  • elasticsearch(output)定义索引名称必须全小写(es限制)。
  • 以时间字段进行跟踪时sql查询语句不能使用Top x限制每次查询条数,这会导致最后的记录值并非是最大的值,所拉取的数据可能会出现数据重复拉取(但是在es中不会体现为多条重复数据,只是version字段会>1)或数据丢失。
  • 跟踪主键ID时需显示设置 order by id asc
  • 无检索文本内容需设置“index”: “not_analyzed”
 

资料

Logstash使用介绍的更多相关文章

  1. LogStash filter介绍(九)

    LogStash plugins-filters-grok介绍 官方文档:https://www.elastic.co/guide/en/logstash/current/plugins-filter ...

  2. Logstash配置文件介绍

    Logstash配置文件介绍 Logstash配置文件有两种,分别是pipeline配置文件和setting配置文件. Pipeline配置文件主要定义logstash使用的插件以及每个插件的设置,定 ...

  3. Logstash安装介绍

    前言 logstash是ELK日志系统中的一部分,主要承担将收集完成日志进行过滤,并且输出到es的职责. logstash本身也可以作为客户端部署到应用系统的服务器上进行日志收集,但是由于资源开销占用 ...

  4. LogStash plugins-inputs-file介绍(三)

    官方文档 https://www.elastic.co/guide/en/logstash/current/plugins-inputs-file.html 重要参数: path # 文件路径 sin ...

  5. Docker部署ELK 7.0.1集群之Logstash安装介绍

    1.下载镜像 [root@vanje-dev01 ~]# docker pull logstash: 2.安装部署 2.1  创建宿主映射目录 [root@vanje-dev01 ~]# mkdir ...

  6. Elastic 技术栈之 Logstash 基础

    title: Elastic 技术栈之 Logstash 基础 date: 2017-12-26 categories: javatool tags: java javatool log elasti ...

  7. Elastic Stack初篇-Logstash

     一.Logstash简介      Logstash是一个开源数据收集引擎,具有实时管道功能.Logstash可以动态地将来自不同数据源的数据统一起来,并将数据标准化到你所选择的目的地. 二.Log ...

  8. ElasticStack之Logstash安装

    服务器环境 操作系统 Host:port node 1 CentOS 7.2.1511 11.1.11.127:9200 node1 2 CentOS 7.2.1511 11.1.11.128:920 ...

  9. elastic search&logstash&kibana 学习历程(三)Logstash使用场景和安装部署

    Logstash基本介绍和使用场景 自我认为:logstash就是日志的采集收集,日志的搬运工,实时去采集日志.读取不同的数据源,并进行过滤,开发者自定义规范输出到目的地.日志的来源很多,如系统日志, ...

随机推荐

  1. Spring boot +mybatis 连接mysql数据库,获取JDBC失败,服务器时区价值”Oйu±e×¼e±¼的识别或代表多个时区

    报出的错误 Cause: org.springframework.jdbc.CannotGetJdbcConnectionException: Failed to obtain JDBC Connec ...

  2. flask微服务框架的初步接触

    测试2个关联的系统接口时,经常会遇到被测试系统或被测app的处理内部处理流程会依赖另一个系统的接口返回结果,这时,常用的做法就是写一个模拟测试桩,用作返回请求时的结果.java可以用servicele ...

  3. centos 7 防火墙操作

    1.查看防火墙状态 firewall-cmd --state 2.开启防火墙 systemctl start firewalld.service 3.关闭防火墙 systemctl stop fire ...

  4. linux netcat 命令详解

    功能说明:强大的网络工具语 法:nc [-hlnruz][-g<网关...>][-G<指向器数目>][-i<延迟秒数>][-o<输出文件>][-p< ...

  5. scrapy学习笔记(1)

    初探scrapy,发现很多入门教程对应的网址都失效或者改变布局了,走了很多弯路.于是自己摸索做一个笔记. 环境是win10 python3.6(anaconda). 安装 pip install sc ...

  6. Cutting Codeforces Round #493 (Div. 2)

    Cutting There are a lot of things which could be cut — trees, paper, “the rope”. In this problem you ...

  7. 002-zookeeper 基本配置、安装启动 windows环境

    一. 概述 ZooKeeper是Hadoop的正式子项目,它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护.名字服务.分布式同步.组服务等.ZooKeeper的目标就是封装好复杂易出 ...

  8. ln -s软链接文件算文件吗

    场景: 开发A在windows环境下完成了开发,配置管理员cm搭建jenkins在centos环境下编译,cm编译失败,但是开发A在他的windows环境下可以编译过,最后发现是某几个so文件的软链接 ...

  9. Linux命令行基础

    常用命令 命令 功能 pwd 打开当前所在的文件目录 ls 查看当前文件夹下的文件(不包括隐藏文件) ls -a 查看当前文件夹下的文件(包括隐藏文件) ls -al 查看当前文件夹下的文件(包括隐藏 ...

  10. MySql数据库中,判断表、表字段是否存在,不存在就新增

    本文是针对MySql数据库创建的SQL脚本,别搞错咯. 判断表是否存在,不存在就可新增 CREATE TABLE IF NOT EXISTS `mem_cardtype_resource` ( ... ...