Producer API Kafka官网文档给了基本格式 地址:http://kafka.apachecn.org/10/javadoc/index.html?org/apache/kafka/clients/producer/KafkaProducer.html 基础模板 Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put(…

名称 描述 类型 默认值 bootstrap.servers kafka集群地址,ip+端口,以逗号隔开.不管这边配置的是什么服务器,客户端会使用所有的服务器.配置的列表只会影响初始发现所有主机.配置的格式应该是:ip:port,ip:port,因为配置的内容只是用于服务集群的初始发现(集群地址可能会变化),配置可以不包含所有的服务器(你可能需要配置多于一个,防止某个服务挂掉) list key.serializer 实现Serializer接口的序列化类键 class value.serial…

Stream API Kafka官方文档给了基本格式 http://kafka.apachecn.org/10/javadoc/index.html?org/apache/kafka/streams/KafkaStreams.html 基础模板 Map<String, Object> props = new HashMap<>(); props.put(StreamsConfig.APPLICATION_ID_CONFIG, "my-stream-processing-a…

Consumer API Kafka官网文档给了基本格式 http://kafka.apachecn.org/10/javadoc/index.html?org/apache/kafka/clients/consumer/KafkaConsumer.html JavaAPI 模板 自动提交offset Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"…

目录 先创建Maven工程导入jar包 Producer API Consumer API Stream API 先创建Maven工程导入jar包 帮助文档地址:http://kafka.apachecn.org/documentation.html#api <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients --> <dependency> <…

数据分区策略 四种策略 一.指定分区号,数据会直接发送到所指定的分区 二.没有指定分区号,指定了数据的key,可以通过key获取hashCode决定数据发送到哪个分区 三.都没有指定的话,会采取round-robin fashion,是kafka的轮询策略 四.还可以自定义分区策略 四种策略的Java实现 其他的代码都不需要变,只需要更改ProducerRecord()里面的值即可 //既不指定分区号也不指定数据的key producer.send(new ProducerRecord<Stri…

在Linux机器(ip:10.102.16.203)安装完kafka(参考:kafka的安装及使用),在windows上使用Java接口访问服务时(参考:Java实现Kafka的生产者.消费者),报异常:Connection refused: no further information 此时,使用telnet测试kafka的端口9092可正常访问 因此,连接失败与kafka的设置有关,具体修改如下: 1.打开kafka配置文件 server.properties,添加如下配置: 2.重启kaf…

在上篇的例子里([Kafka]<Kafka权威指南>--写数据), ProducerRecord 对象包含了目标主题.键和值. Kafka 的消息是 一个个 键值对, ProducerRecord对象可以只包含目标主题和值,键可以设置为默认的 null,不过大多数应用程序会用到键.键有两个用途 :可以作为消息的附加信息,也可以用来决定消息该被写到主题的哪个分区.拥有相同键的悄息将被写到同一个分区. 也就是说,如果一个进程只从一个主题的分区读取数据(第 4章会介绍更多细节),那么具有相 同键的所…

[译]Android API 规范 译者按: 修改R代码遇到Lint tool的报错,搜到了这篇文档,aosp仓库地址:Android API Guidelines. 58e9b5f Project import generated by Copybara. by Android API Council · 9 months ago c0b835d Initial empty repository by Baligh Uddin · 8 years ago 提交记录显示最近才更新的,是官方的应用…

既然包名是api,说明里面肯定都是一些常用的Kafka API了. 一.ApiUtils.scala 顾名思义,就是一些常见的api辅助类,定义的方法包括: 1. readShortString: 从一个ByteBuffer中读取字符串长度和字符串.这个ByteBuffer的格式应该是:2个字节的字符串长度值N+N个字节的字符串 2. writeShortString: 与readShortString相反,先写入2个字节的长度N,然后写入N个字节到ByteBuffer中 3. shortStr…