Kafka笔记--常用指令(删除topic)

删除topic 首先需要设置server.properties,最后一行添加 delete.topic.enable=true 然后运行> ./kafka-topics.sh --zookeeper node4:2181,node3:2181 --delete --topic topic1…

新建topic ./kafka-topics.sh --zookeeper 192.168.1.160:2181 --create --topic kafkatestsmall2 --partitions 2 --replication-factor 1 删除topic 首先需要设置server.properties,最后一行添加 delete.topic.enable=true 然后运行> ./kafka-topics.sh --zookeeper node4:2181,node3:2181…

kafka 修改partition，删除topic，查询offset

修改分区个数: ./kafka-topics./kafka/<id_of_kafka> --alter --partitions 10 --topic test_topic 上面命令将test_topic对应的分区数目调整为10个,127.0.0.1是zookeeper的地址,2181是zookeeper端口. 删除topic ./kafka-topics./kafka/<id_of_kafka> --delete --topic test_topic 上面命令将主题test_to…

kafka删除topic的方法及我在kafka上边的一些经验

我在本地做kafka的producer调试,每隔一段时间后,所使用的topic管道就会堆积数据,而且我这边使用的是 kafka bin 下的consumer命令单独消费的,每次都是 --from-beginning,,启动后有一堆数据,感觉麻烦,,,所幸抽出点时间来,,看看怎么干掉他下边来看俩种常见的方法:见下文! ------------------------------------------------------------------------------------…

kafka2.x常用命令笔记（一）创建topic，查看topic列表、分区、副本详情，删除topic，测试topic发送与消费

接触kafka开发已经两年多,也看过关于kafka的一些书,但一直没有怎么对它做总结,借着最近正好在看<Apache Kafka实战>一书,同时自己又搭建了三台kafka服务器,正好可以做一些总结记录. 本文主要是记录如何在kafka集群服务器上创建topic,查看topic列表.分区.副本详情,删除topic,测试topic发送与消费,算是最基础的操作了,当然,不同版本其实指令是有所差异的,本文只针对kafka 2.x版本.虽然这些指令都很简单,但久不用了,很容易就会忘记,所谓好记性不如烂笔…

Kafka 学习笔记之删除Topic

删除Topic 1. 显示所有Topic信息,testTopic是我们将要删除的Topic 2. 首先确认server.properties下面配置是否已经加上delete.topic.enable=true 3. 我们来验证是否test topic已经被真正的删除了. a. 验证Kafka log: b. 验证Zookeeper 连接Zookeeper zkCli.sh -server hadoop1:2181,hadoop2:2181,hadoop3:2181 ls /brokers/top…

(转)Linux最常用指令及快捷键 Linux学习笔记

Linux最常用指令及快捷键 Linux学习笔记原文:http://blog.csdn.net/yanghongche/article/details/50827478 [摘自鸟叔的私房菜]--转载请注明出处本文仅简单记录有哪些常用命令,具体用法需要具体查询常用基础指令: bc:计算器 cal:日历 date:日期与时间 man:查询指令或者相关档案的用法 man page通常放在目录/usr/share/man下面 man page中常用快捷键: [Page Down]:向下翻一页…

Kafka常用指令

工作中经常会用到的指令 # 查询topic为test的partition数量 ./kafka-topics.sh --zookeeper localhost:2181/kafka --topic test --describe # 查看kafka上所有的topic ./kafka-topics.sh --zookeeper localhost:2181/kafka --list # 发送消息 ./kafka-console-producer.sh --broker-list localhos…

kafka删除topic

手动: 删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录删除zookeeper "/brokers/topics/"目录下相关topic节点命令+手动: bin/kafka-run-,cmcc2:,cmcc3: 删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topi…

kafka彻底删除topic

如果只是用kafka-topics.sh的delete命令删除topic,会有两种情况: 如果当前topic没有使用过即没有传输过信息:可以彻底删除如果当前topic有使用过即有过传输过信息:并没有真正删除topic只是把这个topic标记为删除(marked for deletion). 要彻底把情况2中的topic删除必须把kafka中与当前topic相关的数据目录和zookeeper与当前topic相关的路径一并删除. 相关组件的版本 zookeeper: 3.4.6 kafka: 0.…

Kafka如何彻底删除topic及数据

前言:删除kafka topic及其数据,严格来说并不是很难的操作.但是,往往给kafka 使用者带来诸多问题.项目组之前接触过多个开发者,发现都会偶然出现无法彻底删除kafka的情况.本文总结多个删除kafka topic的应用场景,总结一套删除kafka topic的标准操作方法. step1:如果需要被删除topic 此时正在被程序 produce和consume,则这些生产和消费程序需要停止.因为如果有程序正在生产或者消费该topic,则该topic的offset信息一致会在broker…

Kafka如何删除topic？

Kafka如何删除topic? 今天为大家带来“Kafka删除topic原理解析”,希望可以帮到那些苦于无法删除topic的朋友们. 前提条件: 在启动broker时候开启删除topic的开关,即在server.properties中添加: delete.topic.enable=true 命令: bin/kafka-topics.sh --zookeeper zk_host:port/chroot --delete --topic my_topic_name 这条命令其实就是在zookeep…

kafka删除topic详解

1.删除topic命令 bin/kafka-topics.sh --delete --zookeeper 192.168.242.131:2181 --topic aaa 注:此命令如果要生效,还需在server.properties中添加: delete.topic.enable=true 控制台也会有返回提示信息: Topic aaa is marked for deletion. Note: This will have no impact if delete.topic.enable i…

kafka删除topic数据

一.概述生产环境中,有一个topic的数据量非常大.这些数据不是非常重要,需要定期清理. 要求:默认保持24小时,某些topic 需要保留2小时或者6小时二.清除方式主要有3个: 1. 基于时间 2. 基于日志大小 3. 基于日志起始偏移量详情,请参考链接: https://blog.csdn.net/u013256816/article/details/80418297 接下来,主要介绍基于时间的清除! kafka版本为: 2.11-1.1.0 zk版本为: 3.4.13 三.ka…

kafka 删除topic清空数据

原 kafka 删除topic清空数据 2018年11月20日 18:17:50 Ming! 阅读数:1391 版权声明:版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/qq_39657597/article/details/84307541 一般情况下,是不会删除数据的.到达一定时间后,kafka会自动删除.如果一定要删除可以删除topic在重建topic了 No. 1: 如果需要被删除topic 此时正在被程序 produce和consu…

kafka 删除topic

两种方法: 一.修改配置文件server.properties 添加如下配置: delete.topic.enable=true 说明:官方给的文档说明“Enables delete topic. Delete topic through the admin tool will have no effect if this config is turned off”,意思就是说如果想删除topic,此项配置必须为true,默认为false.配置完重启kafka.zookeeper. 二.如果不想…

kafka入门2：java 创建及删除 topic

1.pom <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.10</artifactId> <version>0.10.2.1</version> </dependency> <dependency> <groupId>org.apache.kafka</groupId> <art…

kafka删除topic及其相关数据

1.删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录 2.Kafka 删除topic的命令是: ./bin/kafka-topics --delete --zookeeper [zookeeper server] --topic [topic name] 如果kafaka启动时加载的配置文件中server.properties没有配置delete.topic.enable=true,那么…

Kafka管理与监控——彻底删除topic

一.配置 server.properties 设置 delete.topic.enable=true 如果没有设置 delete.topic.enable=true,则调用kafka 的delete命令无法真正将topic删除,而是显示(marked for deletion) 二.停止消费如果需要被删除topic 此时正在被程序 produce和consume,则这些生产和消费程序需要停止. 因为如果有程序正在生产或者消费该topic,则该topic的offset信息一致会在broker更新…

《Kafka笔记》2、环境搭建、Topic管理

目录一.Kafka环境搭建和Topic管理 1 单机环境搭建 1.1 环境准备 1.1.1 JDK 安装 1.1.2 配置主机名和ip 1.1.3 关闭防火墙和防火墙开机自启动 1.1.4 zookeeper下载安装 1.1.5 kafka下载安装 2 集群环境搭建 2.1 安装JDK 2.2 配置每台机器的配置 2.3 关闭三台机器的防火墙 2.4 配置集群网络时钟同步 2.5 zookeeper集群安装和搭建 3.6 集群安装Kafka 3 集群环境下topic管理概览 1.创建topic…

Linux | Linux常用指令学习笔记

@ 目录前言 1. Linux目录结构: 2. 运行级别: init.systemctl 3. vim相关快捷键: 4. 开关机相关命令: shutdowm.halt.reboot.sync.logout 5. 查看系统信息相关命令: 6. 用户管理相关命令: useradd.passwd.userdel.id.su.logout groupadd.usermod.groupdel 7. 帮助指令: man.help 8. 文件目录指令: ls.pwd cd mkdir.touch rmdir…

Docker学习笔记_Dockerfile常用指令

Dockerfile常用指令…

Kafka笔记整理（一）

Kafka简介消息队列(Message Queue) 消息 Message 网络中的两台计算机或者两个通讯设备之间传递的数据.例如说:文本.音乐.视频等内容. 队列 Queue 一种特殊的线性表(数据元素首尾相接),特殊之处在于只允许在首部删除元素和在尾部追加元素.入队.出队. 消息队列 MQ 消息+队列,保存消息的队列.消息的传输过程中的容器:主要提供生产.消费接口供外部调用做数据的存储和获取. MQ分类 MQ主要分为两类:点对点(p2p).发布订阅(Pub/Sub) 共同点: 消息生产者生…

Vue系列（一）：简介、起步、常用指令、事件和属性、模板、过滤器

一. Vue.js简介 1. Vue.js是什么 Vue.js也称为Vue,读音/vju:/,类似view,错误读音v-u-e 是一个轻量级MVVM(Model-View-ViewModel)框架,和angular.react类似,其实就是所谓的数据双向绑定数据驱动+组件化的前端开发(核心思想) 更容易上手.小巧 vue2.0和1.0相比,最大的变化就是引入了Virtual DOM(虚拟DOM),页面更新效率更高,速度更快. 参考:官网 2.vue和angular的区别 2.1 angular…

完整的ELK+filebeat+kafka笔记

之前有写过elasticsearch集群和elk集群的博客, 都是基于docker的,使用docker-compose进行编排(K8S暂未掌握) 三台服务器搭建es集群:https://www.cnblogs.com/lz0925/p/12011026.html 单机搭建elk集群:https://www.cnblogs.com/lz0925/p/12018209.html 本文较长,上述两个博文中的内容本文都会重新讲解,建议收藏后进行阅读.本文包含了ELK + kafka(zookeeper)…