1、版本:

logstash6.1.2、kafka-0.11、kafka-0.8.2、java1.8

Note:

Logstash requires Java 8. Java 9 is not supported. Use the official Oracle distribution or an open-source distribution such as OpenJDK.

2、下载:

https://www.elastic.co/downloads/logstash(推荐下载tar包,yum源安装总提示Unable to find JRuby.)

https://kafka.apache.org/downloads

3、安装

1)kafka

#tar  xf kafka_2.11-0.11.0.2.tgz

#配置使用kafka参考我的其他文章http://www.cnblogs.com/cuishuai/p/7475356.html。

2)logstash

#tar xf logstash-6.1.2.tar.gz

#cp  ./logstash-6.1.2/bin/*   /usr/bin

创建配置文件:

#cat  etl.conf

input{

kafka{
      bootstrap_servers => ["10.10.11.2:9092"]
      client_id => "shence"
      #auto_offset_reset => "latest"
      consumer_threads => 5
      #decorate_events  => true
      topics => ["event_topic"]
     # type => "bhy"
}
}

output {
  kafka {
    bootstrap_servers => "10.10.8.2:9092"
    codec => json
    compression_type => "gzip"
    topic_id => "shence"
  }
}

详细配置参考:

https://www.elastic.co/guide/en/logstash/6.1/plugins-inputs-kafka.html

https://www.elastic.co/guide/en/logstash/6.1/filter-plugins.html

https://www.elastic.co/guide/en/logstash/6.1/codec-plugins.html

https://www.elastic.co/guide/en/logstash/6.1/plugins-outputs-kafka.html

https://github.com/joekiller/logstash-kafka/blob/master/README.md

4、启动logstash

#./bin/logstash  -f  etl.conf

这种启动方式是前端启动关掉终端程序就退出了。可以使用nohup启动:

# nohup  ./bin/logstash  -f  etl.conf  2>&1 &

5、检查

1)output端的kafka查看消息:

#./kafka-console-consumer.sh --zookeeper localhost:2181 --topic shence

2)output端kafka查看topic

#./kafka-topics.sh --list --zookeeper localhost:2181

3) output端kafka查看topic   shence的详细信息:

#./kafka-topics.sh --describe --zookeeper localhost:2181 --topic shence

6、报错解决

1)启动logstash的时候报错:

Unable to find JRuby.
If you are a user, this is a bug.
If you are a developer, please run 'rake bootstrap'. Running 'rake' requires the 'ruby' program be available.

解决方式:

去官网下载tar解压,使用bin下的logstash启动,就好了。

2)启动logstash后,发现没有数据进来,并有如下报错:

Error while fetching metadata with correlation id 39 : {shence=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)

解决方式:
检查kafka的listen的地址:listeners = PLAINTEXT://your.host.name:9092
将your.host.name 换成服务器的ip或0.0.0.0
重启服务就好了。 我是直接重启logstash就好了
 

logstash与kafka消息传输<一>的更多相关文章

  1. kafka消息传输时的对象转字符串时所需 -json String 转list 、set、 Long、 String 、map 与json Iterator遍历

    JSONObject jsonObject = new JSONObject(jsonString); Iterator iterator = jsonObject.keys(); while(ite ...

  2. 使用Nginx和Logstash以及kafka来实现网站日志采集的详细步骤和过程

    使用Nginx和Logstash以及kafka来实现网站日志采集的详细步骤和过程 先列出来总体启动流程: (1)启动zookeeper集群(hadoop01.hadoop02和hadoop03这3台机 ...

  3. Kafka简介及使用PHP处理Kafka消息

    Kafka简介及使用PHP处理Kafka消息 Kafka 是一种高吞吐的分布式消息系统,能够替代传统的消息队列用于解耦合数据处理,缓存未处理消息等,同时具有更高的吞吐率,支持分区.多副本.冗余,因此被 ...

  4. Logstash读取Kafka数据写入HDFS详解

    强大的功能,丰富的插件,让logstash在数据处理的行列中出类拔萃 通常日志数据除了要入ES提供实时展示和简单统计外,还需要写入大数据集群来提供更为深入的逻辑处理,前边几篇ELK的文章介绍过利用lo ...

  5. 一文看懂Kafka消息格式的演变

    摘要 对于一个成熟的消息中间件而言,消息格式不仅关系到功能维度的扩展,还牵涉到性能维度的优化.随着Kafka的迅猛发展,其消息格式也在不断的升级改进,从0.8.x版本开始到现在的1.1.x版本,Kaf ...

  6. Kafka实战:如何把Kafka消息时延秒降10倍

    背景 国内某大型税务系统,业务应用分布式上云改造. 业务难题 如上图所示是模拟客户的业务网页构建的一个并发访问模型.用户在页面点击从而产生一个HTTP请求,这个请求发送到业务生产进程,就会启动一个投递 ...

  7. 转载来自朱小厮博客的 一文看懂Kafka消息格式的演变

    转载来自朱小厮博客的 一文看懂Kafka消息格式的演变     ✎摘要 对于一个成熟的消息中间件而言,消息格式不仅关系到功能维度的扩展,还牵涉到性能维度的优化.随着Kafka的迅猛发展,其消息格式也在 ...

  8. MQ选型对比ActiveMQ,RabbitMQ,RocketMQ,Kafka 消息队列框架选哪个?

    最近研究消息队列,发现好几个框架,搜罗一下进行对比,说一下选型说明: 1)中小型软件公司,建议选RabbitMQ.一方面,erlang语言天生具备高并发的特性,而且他的管理界面用起来十分方便.不考虑r ...

  9. 为什么会有kafka消息系统?小问题藏着大细节!

    前言:老刘今天写这篇文章首先想对一些复制粘贴的博客表达不满:其次是想用通俗易懂的话解释消息系统:最后欢迎各位英雄好汉.女中豪杰前来battle. 1. 为什么有消息系统? 1.1 背景 今天复习kaf ...

随机推荐

  1. 在Windows 8.1中安装必应输入法

    鉴于目前Windows 8.1中自带的输入法存在一些Bug以及功能上的不完整性(比如,在Office 2013中删除掉错误的字符后快速输入第一个字母将丢失的问题:在QQ聊天窗口中文输入状态下快速输入省 ...

  2. Python自动化开发 - 生成器、迭代器

    本节内容 1.列表生成式 2.生成器 3.迭代器 一.列表生成式 需求:把列表[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]里,每个元素都加1 # 复制版,重新绑定 a = [0, 1, ...

  3. 电容器的ESR

    电容器的ESR(等效串联电阻)Equivalent Series Resistance    作为开关电源的输出整流滤波电容器,电容量往往是首要的选择,铝电解电容器的电容量完全可以满足要求,而ESR则 ...

  4. Scott-Knott test 配置与使用

    安装最新版本的 R R安装镜像 Download R 3.3.0 for Windows (62 megabytes, 32/64 bit) 理由 Scott-Knott 包由 R 3.2.5 编译的 ...

  5. [LintCode] Longest Increasing Continuous subsequence

    http://www.lintcode.com/en/problem/longest-increasing-continuous-subsequence/# Give you an integer a ...

  6. ASP.NET Core ef启用数据迁移

    创建一个项目 通过Nuget获取EF Core相关的扩展包 appsettings.json 建立数据库连接串 创建数据库上下文EntityDbContext类,用于实体类映射数据库表 使用包管理器控 ...

  7. [leetcode.com]算法题目 - Decode Ways

    A message containing letters from A-Z is being encoded to numbers using the following mapping: 'A' - ...

  8. JQuery - 阻止回车键

    JQuery 和 js 禁止enter回车事件方法 jQuery版 $(window).keydown( function(e) { var key = window.event?e.keyCode: ...

  9. markdown的学习记录

    一.markdown用处: 写博客,写微信公众号等等 二.准备工作: 工具使用:由于代码经常使用idea,所以继续使用idea编写markdown,但需要安装插件:MarkDown Navigator ...

  10. vue路由router的三种传参方式

    方法三: 传参页面传递参数方式: this.$router.push({ path: 'indexTwoDetails', query: { "id": id } }) 接受参数页 ...