Apache Kafka 概述
kafka教程,完全参照w3school:
https://www.w3cschool.cn/apache_kafka/apache_kafka-dac11yot.html
以下是入门学习过程中摘录的一些操作
cd /usr/software/kafka 启动ZooKeeper
bin/zookeeper-server-start.sh config/zookeeper.properties 要启动Kafka Broker
bin/kafka-server-start.sh config/server.properties 创建Kafka主题
bin/kafka-topics.sh --create --zookeeper localhost: --replication-factor --partitions --topic Hello-Kafka 主题列表
bin/kafka-topics.sh --list --zookeeper localhost: 启动生产者以发送消息
bin/kafka-console-producer.sh --broker-list localhost: --topic Hello-Kafka 启动消费者
bin/kafka-console-consumer.sh --zookeeper localhost: --topic Hello-Kafka --from-beginning
备注:producer启动好了之后,可以在producer console下输入任意信息(发布消息)
然后消息会发送到broker,然后就可以在consumer 端接收数据,包括离线数据
问题:
如果改动了 vi config/server.properties 配置ip
listeners=PLAINTEXT://192.168.204.135:9092
#listeners=PLAINTEXT://:9092
producer上需要带ip才能在consumer看到那个
producer>> bin/kafka-console-producer.sh --broker-list 192.168.204.135:9092 --topic Hello-Kafka
附录:
java代码发送消息到consumer看
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka_2.10</artifactId>
<version>0.8.2.1</version>
</dependency>
注意:以下这个例子和刚刚这个依赖对应版本使用,某些版本才包含 kafka.producer.KeyedMessage;
这些类,高点的版本api变了,如pom改版本为<artifactId>kafka_2.12</artifactId> <version>2.0.0</version>,则下面java测试就引入不到一些类了
package cn.kafka; import kafka.javaapi.producer.Producer;
import kafka.producer.KeyedMessage;
import kafka.producer.ProducerConfig;
import java.util.Date;
import java.util.Properties; public class SimpleKafkaProducer {
private static String PRODUCER_URL="192.168.204.136:9092";//我的zookeeper 地址
private static String TOPIC="Hello-Kafka";//我的topic name public static void main(String[] args) {
publishMessage(TOPIC, 1);
System.err.println("end");
} /**
* 根据topic和消息条数发送消息
* @param topic
* @param count
*/
private static void publishMessage(String topic, int count) {
Properties props = new Properties();
props.put("metadata.broker.list", PRODUCER_URL);//指定producer连接的broker列表
/**
* 指定message的序列化方法,用户可以通过实现kafka.serializer.Encoder接口自定义该类
* 默认情况下message的key和value都用相同的序列化,但是可以使用"key.serializer.class"指定key的序列化
*/
props.put("serializer.class", "kafka.serializer.StringEncoder");
/**
* 这个参数用于通知broker接收到message后是否向producer发送确认信号
* 0 - 生产者producer不等待来自broker同步完成确认,继续发送下一条(批)消息
* 1 - producer在leader已成功收到的数据并得到确认后发送下一条message
* -1 - leader和following都完成确认,再继续
*/
props.put("request.required.acks", "1");
ProducerConfig config = new ProducerConfig(props);
Producer<String, String> producer = new Producer<String, String>(config); for (int i = 0; i < count; i ++) {
String runtime = new Date().toString();
String msg = i+",Message published time - " + runtime;
System.err.println("msg = " + msg);
/**
* 第一个泛型指定用于分区的key的类型,第二个泛型指message的类型
* topic只能为String类型
*/
KeyedMessage<String, String> data = new KeyedMessage<String, String>(topic, msg);
producer.send(data);
}
producer.close();
}
}
发完可以到consumer端查看结果
Apache Kafka 概述的更多相关文章
- Apache Kafka 快速入门
概述 Apache Kafka是一个分布式发布-订阅消息系统和强大的队列,可以处理大量的数据,将消息从一个端点传递到另一个端点.Kafka适合离线和在线消息消费,Kafka消息保存在磁盘上,并在集群内 ...
- 开源流量分析系统 Apache Spot 概述(转)
原文地址http://blog.nsfocus.net/apache-spot/ Apache Spot 是一个基于网络流量和数据包分析,通过独特的机器学习方法,发现潜在安全威胁和未知网络攻击能力的开 ...
- kafka概述
kafka概述 Apache Kafka是一个开源 消息 系统,由Scala写成.是由Apache软件基金会开发的一个开源消息系统项目. Kafka最初是由LinkedIn开发,并于2011年初开源. ...
- [转帖]Apache Kylin 概述
Apache Kylin 概述 https://www.cnblogs.com/xiaodf/p/11671095.html 1 Kylin是什么 今天,随着移动互联网.物联网.AI等技术的快速兴起, ...
- Apache Kafka分布式流处理平台及大厂面试宝典v3.0.0
概述 **本人博客网站 **IT小神 www.itxiaoshen.com 定义 Apache Kafka官网地址 http://kafka.apache.org/ 最新版本为 3.0.0 Apach ...
- Windows OS上安装运行Apache Kafka教程
Windows OS上安装运行Apache Kafka教程 下面是分步指南,教你如何在Windows OS上安装运行Apache Zookeeper和Apache Kafka. 简介 本文讲述了如何在 ...
- 【转】apache kafka监控系列-KafkaOffsetMonitor
apache kafka监控系列-KafkaOffsetMonitor 时间 2014-05-27 18:15:01 CSDN博客 原文 http://blog.csdn.net/lizhitao ...
- Understanding, Operating and Monitoring Apache Kafka
Apache Kafka is an attractive service because it's conceptually simple and powerful. It's easy to un ...
- Released Mocked Streams for Apache Kafka
Kafka Streams is a deployment-agnostic stream processing library written in Java. Even thoug ...
随机推荐
- go语言time包的学习(Time,Location,Duration,Timer,Ticker)
package main; import ( "time" "fmt" ) func main() { //time.Time代 ...
- linux驱动 之 module_init解析 (上)【转】
转自:https://blog.csdn.net/Richard_LiuJH/article/details/45669207 版权声明:本文为博主原创文章,未经博主允许不得转载. https://b ...
- http://nancyfx.org + ASPNETCORE
商务产品servicestack: https://servicestack.net/ http://nancyfx.org + ASPNETCORE http://nancyfx.org ...
- xpath 中 [<Element a at 3985984dj343>]
在写爬虫用xpath抓取数据的时候出现了这个问题,列表中都是很多个 < element > 首先这不是报错,也不是你的xpath语法有错. 将这个数据列表循环,循环出的item就是你想要的 ...
- Cent os 6.8添加中文字体
作者:邓聪聪 Cent os 6.8添加中文字体的相关步骤: [root@bogon ]#yum -y install fontconfig #yum安装fontconfig [root@bogon ...
- MongoDB与MySQL的插入、查询性能测试
1.1 MongoDB的简单介绍 在当今的数据库市场上,MySQL无疑是占有一席之地的.作为一个开源的关系型数据库,MySQL被大量应用在各大网站后台中,承担着信息存储的重要作用.2009年,甲骨文 ...
- 解决:error LNK2026: 模块对于 SAFESEH 映像是不安全的
用vs2017编译比较老的vc++项目,出现这个错误,解决方案如下: 1.打开该项目的[属性]对话框, 2.点击[链接器]选项, 3.点击[命令行]选项, 4.将 [/SAFESEH:NO ]键入[其 ...
- Alpha 冲刺 (4/10)
目录 摘要 团队部分 个人部分 摘要 队名:小白吃 组长博客:hjj 作业博客:冲刺4 团队部分 后敬甲 过去两天完成了哪些任务 文字描述 主页部分图标的替换 -拍照按钮的设计和测试 GitHub代码 ...
- js导出excel增加表头、mso-number-format定义数据格式
问题1:增加表头 js导出表格时,只会导出table里的展现出的内容,如需增加表头等内容需要在页面获取的字符串中拼接表头的相关字符串,详细介绍如下: tableString:新增的表头内容字符串: c ...
- 034_nginx报错总结
一.nginx: [emerg] "client_header_timeout" directive is not allowed here in /opt/nginx/conf/ ...