kafka zk常用命令
1 创建topic:
kafka-topics.sh --create --zookeeper 3.3.3.3:2181 --replication-factor 1 --partitions 3 --topic test_one
replication-factor 副本的个数 (因为创建的副本都是存储在其他broker的,所以这里配置的个数不能大于集群中的broker个数)
partitions 分区个数
执行后的结构:
drwxr-xr-x 2 root root 4096 8月 11 17:07 test_one-0/ 第一个分区
drwxr-xr-x 2 root root 4096 8月 11 17:07 test_one-1/ 第二个分区
drwxr-xr-x 2 root root 4096 8月 11 17:07 test_one-2/ 第三个分区
2 生产消息(手动在命令行执行):kafka-console-producer.sh --broker-list 3.3.3.3:9092 --topic test_one
由于有三个分区,所以我们未手动指定消息的分区规则的情况下,消息会均匀的分发到三个分区,我们可以通过server.properties中log.dirs所配置目录下的 replication-offset-checkpoint文件查看各个分区的消息个数,如下:
root@131:aaaa# cat replication-offset-checkpoint
0
3
test_one 2 24
test_one 0 24
test_one 1 23
test_one为topicname,后面的0 1 2是分区号,后面的24 24 23就是当前这个分区的消息个数
3 查看topic的详细信息: kafka-topics.sh -describe -zookeeper 3.3.3.3:2181 -topic test_one
# kafka-topics.sh -describe -zookeeper .3.3.3.3:2181 -topic test_one
Topic:test_one PartitionCount:3 ReplicationFactor:1 Configs:
Topic: test_one Partition: 0 Leader: 0 Replicas: 0 Isr: 0
Topic: test_one Partition: 1 Leader: 0 Replicas: 0 Isr: 0
Topic: test_one Partition: 2 Leader: 0 Replicas: 0 Isr: 0
这个结果显示了分区的个数,哪个是主分区,那些是有效节点:
Partition:分区编号;
Leader:当前分区编号的主分区
Replicas:当前分区的所有节点(主节点+备节点)
Isr:当前分区的所有节点中的有效节点
判断是否有效节点的条件:1,与主节点保持心跳的节点;2,未同步的消息数量小于我们设置的阈值;3,当前节节点卡住的时间小于我们配置的阈值
注:
这里需要注意的是,kafka里所说的副本/leader/主节点/从节点等都是以分区为单位的,而不是topic;
4 登陆zk客户端查看topic等信息
4.1 登陆客户端:zkCli.sh -server 192.168.138.131:2181
4.2 查看根节点信息:[zk: 192.168.138.131:2181(CONNECTED) 0] ls /
[zk: 3.3.3.3:2181(CONNECTED) 0] ls /
[controller_epoch, controller, brokers, zookeeper, admin, isr_change_notification, consumers, config]
可以使用ls + 路径查看需要的信息,如:ls /brokers/topics/test_one/partitions
[zk: 3.3.3.3:2181(CONNECTED) 9] ls /brokers/topics/test_one/partitions
[0, 1, 2]
kafka zk常用命令的更多相关文章
- Kafka记录-常用命令选项说明
1.kafka-topics 主题 如:kafka-topics --create --zookeeper 10.0.4.142:2181/kafka --replication-factor 1 ...
- windows下使用kafka的常用命令
参考文档: https://blog.csdn.net/evankaka/article/details/52421314 http://orchome.com/6 1 启动zookeeper cmd ...
- ZK常用命令
zkcli脚本命令介绍 zkcli 连接默认zookeeper服务器 zkcli -server ip:port 连接指定的zookeeper服务器 create -s -e path d ...
- kafka安装及常用命令
kafka是一个开源的分布式消息队列 他提供可靠的集群容错机制,并保证故障切换时的数据完整性. 无论从性能.可靠性.易用性都强过ActiveMQ(client的API感觉还是不如ActiveMQ好用, ...
- Kafka常用命令合集
在上一篇文章<Linux安装Kafka>中,已经介绍了如何在Linux安装Kafka,以及Kafka的启动/关闭和创建发话题并产生消息和消费消息.这篇文章就介绍介绍Kafka的那些常用的命 ...
- kafka常用命令
以下是kafka常用命令行总结: 0.查看有哪些主题: ./kafka-topics.sh --list --zookeeper 192.168.0.201:12181 1.查看topic的详细信息 ...
- Kafka系列(二)特性和常用命令
Kafka中Replicas复制备份机制 kafka将每个partition数据复制到多个server上,任何一个partition有一个leader和多个follower(可以没有),备份的个数可以 ...
- 大数据入门第十七天——storm上游数据源 之kafka详解(二)常用命令
一.kafka常用命令 1.创建topic bin/kafka-topics. --replication-factor --zookeeper mini1: // 如果配置了PATH可以省略相关命令 ...
- Hadoop生态圈-Kafka常用命令总结
Hadoop生态圈-Kafka常用命令总结 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.管理Kafka服务的命令 1>.开启kafka服务 [yinzhengjie@s ...
随机推荐
- 修改虚拟机ip备份
修改虚拟机ip 因为别人写的很好,在此备份一下.
- 微软发布SQL Server on Linux
本文参考并翻译自:微软云计算与企业执行副总裁Scott Guthrie的博客. 过去的一年,不管是对于微软的数据业务,还是整个行业,都是令人惊喜的一年.在周四刚于纽约举行的Data Driven活动中 ...
- leetcode-Restore IP Addresses-ZZ
http://www.cnblogs.com/remlostime/archive/2012/11/14/2770072.html class Solution { private: vector&l ...
- ubuntu16.04下无法连接网络的bug
首先介绍下Bug的情况,这个bug纠缠我整整一天,在命令行下ifconfig能够看到ip地址,不过我的不是eth0,而是enps03,然后Ping 本机和ping 网关都能够 ping 通,但是sud ...
- MySQL数据操作(借鉴)
/* 启动MySQL */net start mysql /* 连接与断开服务器 */mysql -h 地址 -P 端口 -u 用户名 -p 密码 /* 跳过权限验证登录MySQL */mysqld ...
- MongoDB安装步骤
安装C:\Users\Administrator>d:\mongo\bin\mongod -dbpath=D:\ND.Monodb\ND.Monodb.db -logpath=D:\ND.Mon ...
- Python学习---重点模块之re
正则表达式是用来操作字符串,但是字符串提供的正则是完全匹配,有时候我们需要进行模糊匹配,这个时候就需要正则表达式了.通过re模块来实现,由C语言来执行底层的匹配 字符匹配(普通字符,元字符): 1 普 ...
- a标签在实际工作中的应用
学习的时候,我们对a标签的认知: 1.href属性添加一个地址,可进行页面的跳转 2.用锚点,制作页面内跳转和跨页面跳转(之前有写过一篇关于锚点的随笔:http://www.cnblogs.com/q ...
- MongoDB删除文档
db.collection.deleteOne() 删除单个文档db.collection.deleteMany() 删除多个文档db.collection.remove() 删除单/多个文档,db. ...
- MySQL语法三:数据控制语句
数据控制语句MCL(GRANT,REVOKE,COMMIT,ROLLBACK)