工作案例: 大数据开发用系统脚本自动在kafka建topic,检查后才发现副本数只有1个,存在数据丢失的风险.需要立刻把副本数改为3个. 开始干活,首先想到的是下面的命令: ${BIN_PATH}/kafka-topics.sh --zookeeper ${ZOOKEEPER_ADDR} --topic $1 --partitions $2 --alter${BIN_PATH}/kafka-topics.sh --zookeeper ${ZOOKEEPER_ADDR} --topic $1 --

(一)kafka修改topic分区的位置 环境:kafka_2.10-0.8.2.1 + JDK1.7.0_80 1. 查看分区topic的分区分布 $ le-kafka-topics.sh --describe --topic http_zhixin_line1 结果如下: [hadoop@sdf-nimbus-perf project]$ le-kafka-topics.sh --describe --topic http_zhixin_line1 Topic:http_zhixin_lin

1.kafka-topics  主题 如:kafka-topics --create --zookeeper 10.0.4.142:2181/kafka --replication-factor 1 --partitions 1 --topic test   ---创建一个主题 #查看kafka主题帮助命令 kafka-topics --help --alter 改变分区的数量.副本分配./.主题的配置 --config <String: name=value> 重写配置 配置: cleanu

使用Mysql修改密码命令更改root的密码. 进入Mysql数据库命令行方式有两种方式: 方式一:在Mysql开始菜单里包含Mysql命令行客户端,只要点击输入root的密码即可进入. 方式二:在DOS模式下(CMD模式)定位到Mysql安装目录下在子目录bin,调用mysql.exe进入,即 ========================以下是命令=================================== C:\Program Files\MySQL\MySQL Server

在linux系统下.history命令会保存多少条命令呢?曾在一本书上说,如果注销系统,那么会将所有的历史命令都定入到~/.bash_history, 但只保留1000条命令(这个是由默认的shell变量所设置了的)但是为什么我们执行history命令后会出现大于1000条的历史记录呢, 其实当我们仔细一看只是序列大于1000.记录的条数还是1000条. 在此我是这样理解的: 1.~/.bash_histroy里面是记录的上次注销前的历史记录(最大保存1000条,且是上次注销前最近的1000条记

在运行多个tomcat窗口的时候,可以通过修改tomcat命令窗口的名字来区分不同的tomcat,修改如下: 找到tomcat下面的这个文件:tomcat_home\bin\catalina.bat,tomcat_home是指安装tomcat的根目录. 搜索到:set _EXECJAVA=start "Tomcat" %_RUNJAVA% ,代码如下: :doStart shift if "%TITLE%" == "" set TITLE=Tom

Kafka Offset相关命令总结 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.查询topic的offset的范围 1>.查询某个topic的offset的最小值 [root@node101.yinzhengjie.org.cn ~]# kafka-run-class. -topic yinzhengjie -- yinzhengjie:: #很显然,第一列为topic名称,第二列为partition名称,第三列则是offset.为估计仔细的你应该已经发现了最小的of

与chmod这个命令相比,chmod只是改变文件的读写.执行权限,更底层的属性控制是由chattr来改变的. lsattr查看文件或目录属性 chattr命令的用法:chattr [ -RVf ] [ -v version ] [ mode ] files…最关键的是在[mode]部分,[mode]部分是由+-=和[ASacDdIijsTtu]这些字符组合的,这部分是用来控制文件的属性. +:在原有参数设定基础上,追加参数.- :在原有参数设定基础上,移除参数.= :更新为指定参数设定.A:文件

修改Linux命令的别名. (一)临时生效:仅限当前窗口 查看所有别名 alias 添加别名 alias ll='ls -lh' 重置别名 alias ll='ls -alh' 删除别名: unalias ll (二)永久生效 以上方法为临时处理(只对当前shell窗口有效,不推荐),以下方法为永久(强烈推荐): 别名永久化(强烈推荐):alias的作用仅在该次登入的操作,即输入一次alias后,这个修改只在当前的Shell生效.如果重新开启一个 Shell,或者重新登录,则这些alias将无法

http://www.linuxso.com/command/chmod.html Linux的文件访问权限及修改权限命令chmod Mxx000 Mxx000 人赞同了该文章 Linux的文件访问权限可以使用ls -l进行查看,如下图这样操作就可以了. 一.访问权限 访问权限分为读(read).写(write).执行(execute)三种, 并且涉及到文件所有者(user).文件所属组(group).其他人(other)三个主体. 选取上图红框中的两行为例,结合下面的表格先讲一下基本结构: 第

MongoDB 删除,添加副本集,并修改副本集IP等信息 添加副本,在登录到主节点下输入 rs.add("ip:port"); 删除副本 rs.remove("ip:port"); 新增仲裁节点 rs.addArb("ip:port"); 修改副本host: shard1:PRIMARY> cfg = rs.conf() { "_id" : "shard1", , ), "members&q

1.  概述 数据层:结构化数据+非结构化数据+日志信息(大部分为结构化) 传输层:flume(采集日志--->存储性框架(如HDFS.kafka.Hive.Hbase))+sqoop(关系型数据性数据库里数据--->hadoop)+kafka(将实时日志在线--->sparkstream在数据进行实时处理分析) 存储层:HDFS+Hbase(非关系型数据库)+kafka(节点上默认存储1G数据) 资源调度层:Yarn 计算层:MapReduce+ Hive(计算+存储型框架:sql--

a)kafka搭建 1.解压 2.修改配置/software/kafka_2.11-0.11.0.3/config/server.properties broker.id=0 log.dirs=/var/huawei/kafka-logs zookeeper.connect=node03:2181,node04,2181:node05:2181 delete.topic.enable=true 3.配置kafka启动脚本 a)创建文件 /software/kafka_2.11-0.11.0.3/

文章更新时间:2020/06/07 一.安装JDK 过程就不过多介绍了... 二.安装Zookeeper 安装过程可以参考此处~ 三.安装并配置kafka Kafka下载地址  http://kafka.apache.org/downloads 解压文件(我的目录是E:\zhanghaoBF\kafka\kafka_2.11-2.3.0   [PS:这里不要在Program Files等文件名之间有空格的目录下,不然一会执行会不识别路径]) 打开目录E:\zhanghaoBF\kafka\kaf

本文着重介绍几个常用的topic命令行命令,包括listTopic,createTopic,deleteTopic和describeTopic等.由于alterTopic并不是很常用,本文中就不涉及了.另外本文的代码分析是基于kafka_2.10-0.8.2.1的(虽然截图是Kafka 0.8.1的^_^ )   一. list topic 显示所有topic 1. 从zookeeper的/brokers/topics节点下获取所有topic封装成topic集合 2. 遍历该集合,查看每个top

一.Topic管理 1.创建topic kafka-topics.sh --zookeeper 47.52.199.52:2181 --create --topic test-15 --replication-factor --partitions 2.新增partition kafka-topics.sh --zookeeper zk.server --alter --topic test --replication-factor --partitions 注:topic一旦创建,partit

修改分区个数: ./kafka-topics./kafka/<id_of_kafka> --alter --partitions 10 --topic test_topic 上面命令将test_topic对应的分区数目调整为10个,127.0.0.1是zookeeper的地址,2181是zookeeper端口. 删除topic ./kafka-topics./kafka/<id_of_kafka> --delete --topic test_topic 上面命令将主题test_to

1  创建topic: kafka-topics.sh --create --zookeeper 3.3.3.3:2181 --replication-factor 1 --partitions 3 --topic test_one replication-factor 副本的个数 (因为创建的副本都是存储在其他broker的,所以这里配置的个数不能大于集群中的broker个数) partitions 分区个数 执行后的结构: drwxr-xr-x 2 root root 4096 8月 11

1.zookeeper安装:   (https://zookeeper.apache.org/releases.html) ①进入zookeeper的相关设置所在的文件目录,例如本文的:D:\bigdata\zookeeper-3.4.10\conf ②将"zoo_sample.cfg"重命名为"zoo.cfg" ③打开zoo.cfg(至于使用什么编辑器,根据自己喜好选即可),找到并编辑:dataDir=/tmp/zookeeper 改为 D:/bigdata/zo

kafka-0.10.1.X版本之前: auto.offset.reset 的值为smallest,和,largest.(offest保存在zk中)   kafka-0.10.1.X版本之后: auto.offset.reset 的值更改为:earliest,latest,和none (offest保存在kafka的一个特殊的topic名为:__consumer_offsets里面)   如果存在已经提交的offest时,不管设置为earliest 或者latest 都会从已经提交的offest