【Kafka】Windows环境配置测试

一、配置

1、Java配置：JAVA_HOME路径不要有空格

2、下载/kafka_2.11-1.1.0，地址是https://www.apache.org/dyn/closer.cgi?path=/kafka/1.1.0/kafka_2.11-1.1.0.tgz，并解压缩至C:\1000_Study\3000_Java\kafka_2.11-1.1.0

3、配置kafka的path环境

二、命令行测试

cd C:\1000_Study\3000_Java\kafka_2.11-1.1.0

bin\windows\zookeeper-server-start.bat config\zookeeper.properties

bin\windows\kafka-server-start.bat config\server.properties

bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

bin\windows\kafka-topics.bat --list --zookeeper localhost:2181

bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic demo

bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic demo --from-beginning

三、开发环境

1、topic创建

package kafkatest;

import java.util.ArrayList;

import java.util.Arrays;

import java.util.Collection;

import java.util.Properties;

import java.util.concurrent.ExecutionException;

import org.apache.kafka.clients.admin.AdminClient;

import org.apache.kafka.clients.admin.CreateTopicsResult;

import org.apache.kafka.clients.admin.NewTopic;

import org.apache.kafka.clients.consumer.ConsumerRebalanceListener;

import org.apache.kafka.clients.consumer.ConsumerRecord;

import org.apache.kafka.clients.consumer.ConsumerRecords;

import org.apache.kafka.clients.consumer.KafkaConsumer;

import org.apache.kafka.clients.producer.KafkaProducer;

import org.apache.kafka.clients.producer.Producer;

import org.apache.kafka.clients.producer.ProducerRecord;

import org.apache.kafka.common.TopicPartition;

public class createtopic {

	public static void main(String[] args) {

		//创建topic

	    Properties props = new Properties();

	    props.put("bootstrap.servers", "localhost:9092");

	    AdminClient adminClient = AdminClient.create(props);

	    ArrayList<NewTopic> topics = new ArrayList<NewTopic>();

	    NewTopic newTopic = new NewTopic("demo", 1, (short) 1);

	    topics.add(newTopic);

	    CreateTopicsResult result = adminClient.createTopics(topics);

	    try {

	        result.all().get();

	    } catch (InterruptedException e) {

	        e.printStackTrace();

	    } catch (ExecutionException e) {

	        e.printStackTrace();

	    }

	}

}

2、消息生产

package kafkatest;

import java.util.ArrayList;

import java.util.Properties;

import java.util.concurrent.ExecutionException;

import org.apache.kafka.clients.admin.AdminClient;

import org.apache.kafka.clients.admin.CreateTopicsResult;

import org.apache.kafka.clients.admin.NewTopic;

import org.apache.kafka.clients.producer.KafkaProducer;

import org.apache.kafka.clients.producer.Producer;

import org.apache.kafka.clients.producer.ProducerRecord;

public class msgproducer {

    public static void main(String[] args) {

        Properties props = new Properties();

        props.put("bootstrap.servers", "localhost:9092");

        props.put("acks", "all");

        props.put("retries", 0);

        props.put("batch.size", 16384);

        props.put("linger.ms", 1);

        props.put("buffer.memory", 33554432);

        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        Producer<String, String> producer = new KafkaProducer<String, String>(props);

        for (int i = 0; i < 100; i++)

            producer.send(new ProducerRecord<String, String>("demo", Integer.toString(i), Integer.toString(i)));

        producer.close();

    }

}

3、消息消费

package kafkatest;

import java.util.ArrayList;

import java.util.Arrays;

import java.util.Collection;

import java.util.Properties;

import java.util.concurrent.ExecutionException;

import org.apache.kafka.clients.admin.AdminClient;

import org.apache.kafka.clients.admin.CreateTopicsResult;

import org.apache.kafka.clients.admin.NewTopic;

import org.apache.kafka.clients.consumer.ConsumerRebalanceListener;

import org.apache.kafka.clients.consumer.ConsumerRecord;

import org.apache.kafka.clients.consumer.ConsumerRecords;

import org.apache.kafka.clients.consumer.KafkaConsumer;

import org.apache.kafka.clients.producer.KafkaProducer;

import org.apache.kafka.clients.producer.Producer;

import org.apache.kafka.clients.producer.ProducerRecord;

import org.apache.kafka.common.TopicPartition;

public class msgconsumer {

    public static void main(String[] args) {

         Properties props = new Properties();

            props.put("bootstrap.servers", "localhost:9092");

            props.put("group.id", "test");

            props.put("enable.auto.commit", "true");

            props.put("auto.commit.interval.ms", "1000");

            props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

            props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

            final KafkaConsumer<String, String> consumer = new KafkaConsumer<String,String>(props);

            consumer.subscribe(Arrays.asList("demo"),new ConsumerRebalanceListener() {

                @Override

                public void onPartitionsAssigned(Collection<TopicPartition> collection) {

                    //将偏移设置到最开始

                    consumer.seekToBeginning(collection);

                }

                @Override

                public void onPartitionsRevoked(Collection<TopicPartition> arg0) {

                    // TODO Auto-generated method stub

                }

            });

            while (true) {

                ConsumerRecords<String, String> records = consumer.poll(100);

                for (ConsumerRecord<String, String> record : records)

                    System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());

            }

    }

}

四、参考资料

https://blog.csdn.net/woshixiazaizhe/article/details/80610432

https://blog.csdn.net/chinagissoft/article/details/50954401

https://blog.csdn.net/lingbo229/article/details/80761778

【Kafka】Windows环境配置测试的更多相关文章

kafka windows环境搭建测试
http://www.cnblogs.com/alvingofast/p/kafka_deployment_on_windows.html 照着例子搭建成功
Ant学习-001-ant 基础知识及windows环境配置
一.Ant 概要基础知识 Apache Ant 是一个将软件编译.测试.部署等步骤联系在一起加以自动化的一个工具,大多用于Java环境中的软件开发,用以构建应用,或结合其他开源测试工具例如 git.T ...
Selenium2学习-001-Selenium2 WebUI自动化Java开发 Windows 环境配置
此文主要介绍 Selenium2 WebUI自动化Java开发 Windows 环境配置,供各位亲们参考,若有不足之处,敬请各位大神指正,非常感谢! 所需软件列表如下所示: 所属分类具体名称备注 ...
cocos2d-x3.0 windows 环境配置
cocos2d-x3.0 windows 环境配置参考Oo泡泡糖oO的CSDN博文 :http://blog.csdn.net/u010296979/article/details/24273393 ...
ASP.NET Core Windows 环境配置 - ASP.NET Core 基础教程 - 简单教程，简单编程
原文:ASP.NET Core Windows 环境配置 - ASP.NET Core 基础教程 - 简单教程,简单编程 ASP.NET Core Windows 环境配置 ASP.NET Core ...
Cordova for Android(Windows)环境配置
PS:注意事项一些坑在此声明: 1.安装Eclipse后,记得设置各项编码格式为utf-8 请移步:http://www.blogjava.net/xiaomage234/archive/2014/ ...
Unity 用ml-agents机器学习造个游戏AI吧(1)(Windows环境配置)
前言:以前觉得机器学习要应用于游戏AI,还远得很. 最近看到一些资料后,突发兴致试着玩了玩Unity机器学习,才发觉机器学习占领游戏AI的可能性和趋势. Unity训练可爱柯基犬Puppo 机器学习训 ...
ASP.NET Core Windows 环境配置
ASP.NET Core 是对 ASP.NET 有重大意义的一次重新设计.本章节我们将介绍 ASP.NET Core 中的一些新的概念和它们是如何帮助我们开发现代化的 Web 应用程序尽管 ASP. ...
GEE windows 环境配置
参照GEE开发大神的一篇文章GEE学习笔记三十五:windows下配置本地开发环境 - 无形的风的文章 - 知乎. 按他的顺序下来还是出了点问题,再整理一下自己遇到的问题. 1.安装Google的 ...

随机推荐

ubuntu16.04matlab中文注释乱码的解决办法
中文注释乱码的原因是windows下的m文件采用的是gb2312编码,只要将所有的m文件转成 utf8文件,显示就正常了. 1.首先安装enca:sudo apt-get install enca 2 ...
实时获取input框内容
源码: <%@ page language="java" contentType="text/html; charset=utf-8" pageEncod ...
bayer2bmp
#include <stdlib.h> #include <string.h> #include <getopt.h> #include <stdint.h& ...
动态修改maven的jdk版本
当环境变量jdk为1.7,项目为jdk1.8,用mvn clean package指令打包项目时,想不修改环境变量的情况下,修改maven的jdk版本方法如下: 官网给出了方法 https://ma ...
Java连载37-面向对象的封装性
一.IDE上继续新建工程 1.在src目录下新建软件包:package机制后面再讲,目前先用着 2.给package命名一个名称:com.bjpowernode.java_learning 3.软件包 ...
【shell脚本】定时备份数据库===dbbackup.sh
定时备份数据库是很有必要的一.脚本内容 [root@localhost dbbackup]# cat dbbackup.sh #!/bin/bash #备份数据库 mysqldump -uroot ...
cmake打印shell
cmake链接库失败时,可通过打印路径下对应的lib来定位问题 execute_process(COMMAND ls -lt ${CMAKE_CURRENT_SOURCE_DIR}/lib #执行sh ...
使用Node.js时如何引入jQuery
使用Node.js时如何引入jQuery 首先安装jQuery依赖 npm install jquery 然后安装jsdom npm install jsdom 引入jQuery 新版正确的依赖方式 ...
ElasticSearch 6.7.1操作纪录
以下操作均在 6.7.1版本中正常 c# ES客户端测试项目地址:https://gitee.com/dhclly/IceDog.ElasticSearchClient/tree/master/sr ...
练手WPF(四)——贪吃蛇小游戏的简易实现（上）
一. 游戏界面首先,按照惯例,编辑MainWindow.xaml,先将游戏界面制作好.非常简单:(1)主游戏区依然使用我们熟悉的Canvas控件,大小为640X480像素,设定每小格子为20px,所以 ...

【Kafka】Windows环境配置测试

【Kafka】Windows环境配置测试的更多相关文章

随机推荐

热门专题