本文着重介绍几个常用的topic命令行命令,包括listTopic,createTopic,deleteTopic和describeTopic等.由于alterTopic并不是很常用,本文中就不涉及了.另外本文的代码分析是基于kafka_2.10-0.8.2.1的(虽然截图是Kafka 0.8.1的^_^ )   一. list topic 显示所有topic 1. 从zookeeper的/brokers/topics节点下获取所有topic封装成topic集合 2. 遍历该集合,查看每个top

本文共分为三个部分:   Kafka Topic创建方式 Kafka Topic Partitions Assignment实现原理 Kafka资源隔离方案   1. Kafka Topic创建方式   Kafka Topic创建方式有以下两种表现形式:   (1)创建Topic时直接指定Topic Partition Replica与Kafka Broker之间的存储映射关系   /usr/lib/kafka_2.10-0.8.2.1/bin/kafka-topics.sh --zookeep

Kafka Offset相关命令总结 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.查询topic的offset的范围 1>.查询某个topic的offset的最小值 [root@node101.yinzhengjie.org.cn ~]# kafka-run-class. -topic yinzhengjie -- yinzhengjie:: #很显然,第一列为topic名称,第二列为partition名称,第三列则是offset.为估计仔细的你应该已经发现了最小的of

1.kafka-topics  主题 如:kafka-topics --create --zookeeper 10.0.4.142:2181/kafka --replication-factor 1 --partitions 1 --topic test   ---创建一个主题 #查看kafka主题帮助命令 kafka-topics --help --alter 改变分区的数量.副本分配./.主题的配置 --config <String: name=value> 重写配置 配置: cleanu

1.  概述 数据层:结构化数据+非结构化数据+日志信息(大部分为结构化) 传输层:flume(采集日志--->存储性框架(如HDFS.kafka.Hive.Hbase))+sqoop(关系型数据性数据库里数据--->hadoop)+kafka(将实时日志在线--->sparkstream在数据进行实时处理分析) 存储层:HDFS+Hbase(非关系型数据库)+kafka(节点上默认存储1G数据) 资源调度层:Yarn 计算层:MapReduce+ Hive(计算+存储型框架:sql--

参考文档: https://blog.csdn.net/evankaka/article/details/52421314 http://orchome.com/6 1 启动zookeeper cmd进入zookeeper的bin目录,输入zkServer.cmd 2 启动kafka cmd进入kafka的安装目录 .\bin\windows\kafka-server-start.bat .\config\server.properties 创建主题, 1.进入Kafka安装目录D:\kafka

一.Topic管理 1.创建topic kafka-topics.sh --zookeeper 47.52.199.52:2181 --create --topic test-15 --replication-factor --partitions 2.新增partition kafka-topics.sh --zookeeper zk.server --alter --topic test --replication-factor --partitions 注:topic一旦创建,partit

使用kafka的bin目录下面的kafka-consumer-groups.sh命令可以查看offset消费情况,注意,如果你的offset是存在kafka集群上的,就指定kafka服务器的地址bootstrap-server: [root@QA-6-10 bin]# ./kafka-consumer-groups.sh --bootstrap-server 172.17.6.10:9092 --describe --group friend-group Note: This will only

1  创建topic: kafka-topics.sh --create --zookeeper 3.3.3.3:2181 --replication-factor 1 --partitions 3 --topic test_one replication-factor 副本的个数 (因为创建的副本都是存储在其他broker的,所以这里配置的个数不能大于集群中的broker个数) partitions 分区个数 执行后的结构: drwxr-xr-x 2 root root 4096 8月 11

1.zookeeper安装:   (https://zookeeper.apache.org/releases.html) ①进入zookeeper的相关设置所在的文件目录,例如本文的:D:\bigdata\zookeeper-3.4.10\conf ②将"zoo_sample.cfg"重命名为"zoo.cfg" ③打开zoo.cfg(至于使用什么编辑器,根据自己喜好选即可),找到并编辑:dataDir=/tmp/zookeeper 改为 D:/bigdata/zo

思路 每隔一段时间(比如说10秒)统计一次某topic的所有partition的最大offset值之和,这便是该topic的message总数. 然后除以间隔时间就可以粗略但方便得出 某topic的数据增长速率(即相应程序写kafka的速率) Kafka常用topic操作命令汇总 中有统计最大offset命令 # 最大offset bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --to

a)kafka搭建 1.解压 2.修改配置/software/kafka_2.11-0.11.0.3/config/server.properties broker.id=0 log.dirs=/var/huawei/kafka-logs zookeeper.connect=node03:2181,node04,2181:node05:2181 delete.topic.enable=true 3.配置kafka启动脚本 a)创建文件 /software/kafka_2.11-0.11.0.3/

文章更新时间:2020/06/07 一.安装JDK 过程就不过多介绍了... 二.安装Zookeeper 安装过程可以参考此处~ 三.安装并配置kafka Kafka下载地址  http://kafka.apache.org/downloads 解压文件(我的目录是E:\zhanghaoBF\kafka\kafka_2.11-2.3.0   [PS:这里不要在Program Files等文件名之间有空格的目录下,不然一会执行会不识别路径]) 打开目录E:\zhanghaoBF\kafka\kaf

1.集群管理 前台启动broker bin/kafka-server-start.sh <path>/server.properties Ctrl + C 关闭 后台启动broker bin/kafka-server-start.sh -daemon <path>/server.properties 关闭broker bin/kafka-server-stop.sh 2.Topic管理 创建topic bin/kafka-topics.sh --create --zookeeper

kafka-0.10.1.X版本之前: auto.offset.reset 的值为smallest,和,largest.(offest保存在zk中)   kafka-0.10.1.X版本之后: auto.offset.reset 的值更改为:earliest,latest,和none (offest保存在kafka的一个特殊的topic名为:__consumer_offsets里面)   如果存在已经提交的offest时,不管设置为earliest 或者latest 都会从已经提交的offest

启动kafka自带的zookeeper ./bin/zookeeper-server-start.sh config/zookeeper.properties & 启动kafka ./bin/kafka-server-start.sh config/server.properties 创建一个叫做“test”的topic,它只有一个分区,一个副本. ./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-fa

Apache Kafka命令行工具(Command Line Interface,CLI),下文简称CLI. 1. 启动Kafka 启动Kafka需要两步: 1.1. 启动ZooKeeper [root@Server1 kafka_2.-0.11.0.0]# bin/zookeeper-server-start.sh config/zookeeper.properties 1.2. 启动Kafka Server [root@Server1 kafka_2.-0.11.0.0]# bin/kafk

1. 查看kafka都有那些topic a. list/usr/hdp/current/kafka-broker/bin/kafka-topics.sh --list --zookeeper test1.hadoop.puhuifinance.com:2181b. describe/usr/hdp/current/kafka-broker/bin/kafka-topics.sh --describe --zookeeper test1.hadoop.puhuifinance.com:2181 -

目录 目录 1 1. 前言 2 2. Broker默认端口号 2 3. 安装Kafka 2 4. 启动Kafka 2 5. 创建Topic 2 6. 列出所有Topic 3 7. 删除Topic 3 8. 查看Topic 3 9. 增加topic的partition数 4 10. 生产消息 4 11. 消费消息 4 12. 查看有哪些消费者Group 4 13. 查看新消费者详情 5 14. 查看Group详情 5 15. 删除Group 5 16. 设置consumer group的offse

参考site:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools 目前我们的topic  test-add-replication-topic中partition 0的replicas为[1,2],则1为preferred replica,应该成为leader. 这时我们期望2为preferred replica,并变成leader. 操作步骤: 1. 查看当前topic详细信息: > bin/kafka-top