kafka 简单安装以及java小demo
文章目录
ps:抱歉我在做着原来的文章上做了一点改动
系统:centos7
下载kafka:http://kafka.apache.org/downloads ,我下载的版本为 kafka_2.11-0.10.1.0.tgz 。
安装ZooKeeper,默认已经安装好 zookeeper-3.4.9 并已经启动。
第1步,下载解压 kafka:
# tar -xzf kafka_2.11-0.10.1.0.tgz
# cd kafka_2.11-0.10.1.0
修改配置文件config/server.properties
//单节点,这里就配置1
broker.id = 1
port = 9092
//10.0.1.222本机ip
listeners=PLAINTEXT://10.0.1.222:9092
log.dirs=/root/software/kafka/log
//kafka有自己的zooleeper工具,我没有用,在本机安装了一个zookeeper,需要配置下面
zookeeper.connect=10.0.1.222:2181
第2步,运行 kafka:
kafka的运行是需要ZooKeeper支持的,所以要先启动一个ZooKeeper,但是如果实在不想安装,只是为了小实验,那么kafka也提供了一个便捷的小脚本模拟ZooKeeper运行:
> bin/zookeeper-server-start.sh config/zookeeper.properties
这里我有自己单独的ZooKeeper。
root 59741 1 47 17:17 pts/2 00:00:06 /usr/local/java/jdk1.8.0_131/bin/java -Dzookeeper.log.dir=. -Dzookeeper.root.logger=INFO,CONSOLE -cp /usr/local/zookeeper-3.4.9/bin/../build/classes:/usr/local/zookeeper-3.4.9/bin/../build/lib/*.jar:/usr/local/zookeeper-3.4.9/bin/../lib/slf4j-log4j12-1.6.1.jar:/usr/local/zookeeper-3.4.9/bin/../lib/slf4j-api-1.6.1.jar:/usr/local/zookeeper-3.4.9/bin/../lib/netty-3.10.5.Final.jar:/usr/local/zookeeper-3.4.9/bin/../lib/log4j-1.2.16.jar:/usr/local/zookeeper-3.4.9/bin/../lib/jline-0.9.94.jar:/usr/local/zookeeper-3.4.9/bin/../zookeeper-3.4.9.jar:/usr/local/zookeeper-3.4.9/bin/../src/java/lib/*.jar:/usr/local/zookeeper-3.4.9/bin/../conf:.:/usr/local/java/jdk1.8.0_131/lib/dt.jar:/usr/local/java/jdk1.8.0_131/lib/tools.jar -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.local.only=false org.apache.zookeeper.server.quorum.QuorumPeerMain /usr/local/zookeeper-3.4.9/bin/../conf/zoo.cfg
那么现在使用默认配置文件启动 kafka 的服务:
# /usr/local/kafka_2.11-0.10.1.0/bin/kafka-server-start.sh /usr/local/kafka_2.11-0.10.1.0/config/server.properties
后台启动
# /usr/local/kafka_2.11-0.10.1.0/bin/kafka-server-start.sh -daemon /usr/local/kafka_2.11-0.10.1.0/config/server.properties
查看kafka是否启动
jps
然后会出现一堆默认的配置。。。最后一行再来个 INFO [Kafka Server 0], started (kafka.server.KafkaServer),就完成了。
第3步,创建topic
进入kafka根目录,创建一个单分区单分片名为“test”的topic。
# bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
Created topic "test".
然后执行topic的list命令时候,就会列出所有的topic:
# bin/kafka-topics.sh --list --zookeeper localhost:2181
test
或者,也可以配置broker的server.property中的auto.create.topics.enable = true,当不存在的主题被发布时,会自动创建该主题。默认是 true。
第4步,生产者发送消息
kafka 附带一个命令行客户端,它将从文件或标准输入中获取输入信息,并将其作为消息发送到 kafka 集群。默认情况下,每一行将作为一个单独的消息发送。
运行生产者程序并发送消息:
# bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
helo^[[D^H2018
hello2018
第5步,消费者接收消息
# bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
he2018
hello2018
使用 java 客户端
在使用非本机连接的时候,最好先在 config/server.properties 里面把 listeners 修改一下,否则容易连接失败。
listeners=PLAINTEXT://10.10.22.0:9092
引入jar包
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka_2.12</artifactId>
<version>1.0.0</version>
</dependency>
生产者代码,每秒发送一条数据,topic 不存在会自动创建:
import org.apache.kafka.clients.producer.*;
import java.util.Properties;
public class KafkaProducerDemo {
private final Producer<String,String> kafkaProducer;
public final static String TOPIC="test";
private KafkaProducerDemo(){
kafkaProducer=createKafkaProducer() ;
}
private Producer<String,String> createKafkaProducer(){
Properties props = new Properties();
//配置kafka的ip port
props.put("bootstrap.servers", "10.0.1.222:9092");
props.put("acks", "all");
props.put("retries", 0);
props.put("batch.size", 16384);
props.put("linger.ms", 1);
props.put("buffer.memory", 33554432);
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
Producer<String, String> kafkaProducer = new KafkaProducer<>(props);
return kafkaProducer;
}
void produce(){
for(int i=1;i<1000;i++){
try {
Thread.sleep(1000);
} catch (InterruptedException e) {
e.printStackTrace();
}
String key=String.valueOf("key"+i);
String data="hello kafka message:"+key;
kafkaProducer.send(new ProducerRecord<>(TOPIC, key, data), new Callback() {
@Override
public void onCompletion(RecordMetadata recordMetadata, Exception e) {
//do sth
}
});
System.out.println(data);
}
}
public static void main(String[] args){
new KafkaProducerDemo().produce();
}
}
消费者类代码:
import kafka.consumer.ConsumerConfig;
import kafka.consumer.ConsumerIterator;
import kafka.consumer.KafkaStream;
import kafka.javaapi.consumer.ConsumerConnector;
import kafka.serializer.StringDecoder;
import kafka.utils.VerifiableProperties;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import java.util.*;
public class KafkaConsumerDemo {
private final KafkaConsumer<String, String> consumer;
private KafkaConsumerDemo(){
Properties props = new Properties();
//配置kafka的ip port
props.put("bootstrap.servers", "10.0.1.222:9092");
//groupid在kafka根目录下config/consumer.properties中
props.put("group.id", "test");
props.put("enable.auto.commit", "true");
props.put("auto.commit.interval.ms", "1000");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
consumer = new KafkaConsumer<>(props);
}
void consume(){
consumer.subscribe(Arrays.asList(“test”));
while (true) {
ConsumerRecords<String, String> records = consumer.poll(100);
for (ConsumerRecord<String, String> record : records)
System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
}
}
public static void main(String[] args){
new KafkaConsumerDemo().consume();
}
}
原文:https://blog.csdn.net/hohoo1990/article/details/78973896
kafka 0.8.0版本demo
http://outofmemory.cn/code-snippet/33051/java-kafka-producer-consumer-example
kafka 简单安装以及java小demo的更多相关文章
- solr环境搭建及java小demo
一配置solr环境 1.下载solr 2.配置solr(最好单独分离出一个tomcat,一台机器启动多个tomcat参见:http://www.cnblogs.com/lxlwellaccessful ...
- 聊聊UDP、TCP和实现一个简单的JAVA UDP小Demo
最近真的比较忙,很久就想写了,可是一直苦于写点什么,今天脑袋灵光一闪,觉得自己再UDP方面还有些不了解的地方,所以要给自己扫盲. 好了,咱们进入今天的主题,先列一下提纲: 1. UDP是什么,UDP适 ...
- 【Java】Jsoup爬虫,一个简单获取京东商品信息的小Demo
简单记录 - Jsoup爬虫入门实战 数据问题?数据库获取,消息队列中获取中,都可以成为数据源,爬虫! 爬取数据:(获取请求返回的页面信息,筛选出我们想要的数据就可以了!) 我们经常需要分析HTML网 ...
- spark集群配置以及java操作spark小demo
spark 安装 配置 使用java来操作spark spark 安装 tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz rm spark-2.4.0-bin-hadoo ...
- java线程间通信:一个小Demo完全搞懂
版权声明:本文出自汪磊的博客,转载请务必注明出处. Java线程系列文章只是自己知识的总结梳理,都是最基础的玩意,已经掌握熟练的可以绕过. 一.从一个小Demo说起 上篇我们聊到了Java多线程的同步 ...
- Kafka入门 --安装和简单实用
一.安装Zookeeper 参考: Zookeeper的下载.安装和启动 Zookeeper 集群搭建--单机伪分布式集群 二.下载Kafka 进入http://kafka.apache.org/do ...
- java Kafka 简单应用实例
kafka官方中文文档 http://kafka.apachecn.org/ java Kafka 简单应用实例 下面是Linux下的单机模式:https://blog.csdn.net/fct2 ...
- 输出多行字符的一个简单JAVA小程序
public class JAVA { public static void main(String[] args) { System.out.println("-------------- ...
- Kafka 简单实验一(安装Kafka)
Apache Kafka - 安装步骤 步骤1 - Java安装 希望您现在已经在您的计算机上安装了Java,因此您只需使用以下命令进行验证. $ java -version 如果您的计算机上成功安装 ...
随机推荐
- mybatis 查询一对一
官方文档 Mapper接口 public interface UserMapper { User getUser(int userId); } public interface ArticleMapp ...
- ! Failed at the chromedriver@2.35.0 install script.
npm install 过程中报错 解决方法 运行 npm install chromedriver --chromedriver_cdnurl=http://cdn.npm.taobao.org/d ...
- The Stream of Corning 2( 权值线段树/(树状数组+二分) )
题意: 有两种操作:1.在[l,r]上插入一条值为val的线段 2.问p位置上值第k小的线段的值(是否存在) 特别的,询问的时候l和p合起来是一个递增序列 1<=l,r<=1e9:1< ...
- Write File in Vugen
Write a parameter to a text file in loadrunner script char *filename = "c:\\myfilename.txt&qu ...
- 希尔排序(shell)理论---不含源码
| 版权声明:本文为博主原创文章,未经博主允许不得转载. 希尔排序,是一个缩小增量排序.它根据步长来进行排序,步长不同可能会产生不同的序列,但是他们的最终结果是相同的,希尔排序的官方理论难以理解, ...
- 安装vue开发环境→安装淘宝镜像的时候报错
问题: npm WARN deprecated socks@1.1.10: If using 2.x branch, please upgrade to at least 2.1.6 to avoid ...
- python3_OS模块
一.什么是os模块 os模块提供了多数操作系统的功能接口函数.当os模块被导入后,它会自适应于不同的操作系统平台,根据不同的平台进行相应的操作,在python编程时,经常和文件.目录打交道,所以离不了 ...
- 利用hover,制作点击有缩放效果
.tab-pic-wrap .pic-wrap .list li a:hover img { transform: scale(1.03); } .tab-pic-wrap .pic-wrap .li ...
- 拓展练习--find查找、打包压缩、服务器、磁盘挂载
目录 find查找.打包压缩 服务器部分 磁盘挂载及单用户模式 find查找.打包压缩 1.超级用户(管理员用户)提示符是_#,普通用户提示符是$_. 2.如何快速返回上一次所在的目录? cd - 3 ...
- dell iDRAC7配置远程访问管理
一.启动Dell服务器,按F2 System Setup,打开BIOS界面,选择iDRAC Settings 二.在IDRAC Settings界面中选择Network 三.在Network界面中 E ...