1. start kafka and schema_registry #!/bin/sh export KAFKA_HOME=/home/lenmom/workspace/software/confluent-community--2.11 export KAFKA_PROCESS_ID=$(jps |grep SupportedKafka |awk '{print $1}') export SCHEMA_REGISTRY_PROCESS_ID=$(jps |grep SchemaRegistr…

转载请注明出处:http://www.cnblogs.com/xiaodf/ 创建kafka topic 查看所有topic列表 查看指定topic信息 控制台向topic生产数据 控制台消费topic的数据 查看topic某分区偏移量最大(小)值 增加topic分区数 删除topic,慎用,只会删除zookeeper中的元数据,消息文件须手动删除 创建kafka topic bin/kafka-topics.sh --zookeeper node01:2181 --create --topic…

创建kafka topic bin/kafka-topics.sh --zookeeper node01:2181 --create --topic t_cdr --partitions 30 --replication-factor 2 注: partitions指定topic分区数,replication-factor指定topic每个分区的副本数 partitions分区数: partitions :分区数,控制topic将分片成多少个log.可以显示指定,如果不指定则会使用broker(…

停止 ./bin/kafka-server-stop.sh  启动 nohup sh kafka-server-start.sh ../config/server.properties & 创建topic ,并指定partion sh kafka-topics.sh --create --zookeeper 192.168.67.74:2182,192.168.67.68:2182,192.168.67.73:2182/kafka08 --replication-factor 3 --parti…

简介: 不想通过kafka shell来管理kafka已创建的topic信息,想通过管理页面来统一管理和查看kafka集群.所以选择了大部分人使用的kafka manager,我一共有一台主机master和三台节点slave1,slave2,slave3,一共有三个zookeeper server和三个kafka broker,分别在master,slave1,slave2.所以我把kafka manager安装在了slave3的服务器上面. 一.启动kafka的JMX端口的访问 至于JMX是什…

http://www.grymoire.com/Unix/CshTop10.txt ======================================================================        Top Ten Reasons not to use the C shell======================================================================    Written by Bruce B…

Ctrl + Alt + Tvim文本编辑器:i(插入模式),v(可视模式),Esc(普通模式),:w(保存),:r(打开),:q(退出)gvim 文本编辑器vim的升级版gedit 更常用的文本编辑器 gcc file1.c 编译file1.c文件./a.out  显示结果 pwd 查看当前路径cd/ 切换到根目录cd 切换到用户的主目录cd /bin 切换到根目录下的bin子目录cd bin 切换到当前坐在目录下的bin子目录cd  ../.. 切换到上级目录的父目录sudo -i 切换到r…

http://www.blogjava.net/lihao336/archive/2010/10/11/334367.html Linux Shell History (快速使用Linux命令) Linux 历史特性 使用history命令可以调出历史曾经用过的命令列表 shell> history 994 cat config.nice 995 cd /usr/local/src 996 ls 997 cd /usr/src 998 ls 999 dmesg 1000 history 1001…

1.shell脚本开始以 #! /usr/bin 这个叫做Shebang 这个指定解释器的路径 2.shell 一些配置在~/.bashrc中,运行的历史shell命令在~/.bash_history 中 3.shell 脚本以分号或新起一行分割命令 4.设置echo输出不同的颜色 colors:  reset=0, black=30, red=31, green=32, yellow=33, blue=34, magenta=35, cyan=36, and white=37. eg: ech…

shell脚本处理长参数的模板 一个shell模板,处理命令行参数,支持长短参数: #!/bin/bash # # FILE: kvm-clone-v2.sh # # DESCRIPTION: Clone a RHEL5.4/RHEL6 kvm guest on ubuntu14.04 host superv. # This shell is used for cloning RHEL5.4 or RHEL6.x KVM guest. # Note this shell is only test…

Apache Kafka is optimized for small messages. According to benchmarks, the best performance occurs with 1 KB messages. Larger messages (for example, 10 MB to 100 MB) can decrease throughput and significantly impact operations. This topic describes op…

需求 需要从服务器中的所有附件(2013-2019) 共60G查找相关字段 在linux上面直接打开doc等是乱码的 思路 先全部附件转码为txt, 然后用grep遍历查找字段实现 转码shell #!/bin/bash #************************************************************************* # > File Name: doc.sh # > Author: chenglee # > Main : chengk…

kafka 到 file at2.sources =st2 at2.channels = ct2 at2.sinks = kt2 # For each one of the sources, the type is defined at2.sources.st2.type = org.apache.flume.source.kafka.KafkaSource at2.sources.st2.kafka.bootstrap.servers = node0.***:9200,node1.***:92…

KAFKA CONNECT 使用说明 一.概述 kafka connect 是一个可扩展的.可靠的在kafka和其他系统之间流传输的数据工具.简而言之就是他可以通过Connector(连接器)简单.快速的将大集合数据导入和导出kafka.可以接收整个数据库或收集来自所有的应用程序的消息到kafka的topic中,kafka connect 功能包括: 1,kafka连接器通用框架:kafka connect 规范了kafka和其他数据系统集成,简化了开发.部署和管理. 2,分布式和单机式:扩展到…

1. 获取 Connect Worker 信息curl -s http://127.0.0.1:8083/ | jq lenmom@M1701:~/workspace/software/kafka_2.-/logs$ curl -s http://127.0.0.1:8083/ | jq { "version": "2.1.0", "commit": "809be928f1ae004e", "kafka_cluste…

Hadoop生态圈-Kafka的完全分布式部署 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客主要内容就是搭建Kafka完全分布式,它是在kafka本地模式(https://www.cnblogs.com/yinzhengjie/p/9209058.html)的基础之上进一步实现完全分布式搭建过程. 一.试验环境 试验环境共计4台服务器 1>.管理服务器(s101) 2>.Kafka节点二(s102,已经部署好了zookeeper服务) 3>.Kafka节点三…

简介: Apache Kafka 是一个 Scala 语言编写的可扩展.分布式.高性能的容错消息发布.订阅系统. 官网地址:http://kafka.apache.org 中文教程:http://www.orchome.com/kafka/index 下载地址:http://mirror.bit.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz ( Scala 2.11 is recommended ) Java版本:jdk-8u111-linux-x…

Don't think it is supported yet. Take a look at this JIRA tracking Delete Topic. For delete manually Shutdown the cluster Clean kafka log dir (specified by the log.dir attribute in kafka config file ) as well the zookeeper data Restart the cluster Fo…

Kafka消费形式验证 前面的<Kafka笔记整理(一)>中有提到消费者的消费形式,说明如下: .每个consumer属于一个consumer group,可以指定组id.group.id .消费形式: 组内:组内的消费者消费同一份数据:同时只能有一个consumer消费一个Topic中的1个partition: 一个consumer可以消费多个partitions中的消息.所以,对于一个topic,同一个group中推荐不能有多于 partitions个数的consumer同时消费,否则将意…

注意:容易出现403错误,实际爬取时不会出现. response - a Response object containing the last fetched page >>>response.xpath('//title/text()').extract()  return a list of selectors >>>for index, link in enumerate(links): ... args = (index, link.xpath('@href'…

svn checkout svn://svn.code.sf.net/p/pluginbox/code/trunk pluginbox-code   Eclipse中Easy Shell插件配置PowerCmd 分类: 心情/笔记 2014-04-28 13:34 885人阅读 评论(0) 收藏 举报 commandshelleclipsecmdPowerCmd 目录(?)[+] 1.了解EasyShell.PowerCMD和基本命令 http://sourceforge.net/project…

清明小长假来加班,总得干点啥吧,今天就说说du 和df的区别. 1.区别 du,disk usage,是通过搜索文件来计算每个文件的大小然后累加,du能看到的文件只是一些当前存在的,没有删除的.他计算的是当前他认为的所有文件大小的累加. df,disk free,通过文件系统来快速获取空间大小的信息,当我们删除一个文件的时候,这个文件不是马上就在文件系统中消失了,而是暂时消失了,当所有程序都不用时,才会根据操作系统的规则释放掉已经删除的文件,df记录的是通过文件系统获取到的文件的大小,他比du强…

1.编写脚本/bin/per.sh,判断当前用户对指定参数文件,是否不可读并且不可写 read -p "Please Input A File: " file if [ ! -e $file ];then echo "$file not exits" elif [ -f $file ];then if [ ! -r $file -a ! -w $file ];then echo "User Not read and write" else ech…

1.了解EasyShell.PowerCMD和基本命令 http://sourceforge.net/projects/pluginbox/ http://www.powercmd.com/ 了解基本命令 cmd.start及 PowerCmd命令參数 2.EasyShell插件配置PowerCMD Eclipse -> Window -> Prefernces -> Easy Shell     Presets选择"Unkonwn Shell / file browser&q…

写在前面 前段时间在实时获取SQLServer数据库变化时候,整个过程可谓是坎坷.然后就想在这里记录一下. 本文的技术栈: Debezium SQL Server Source Connector+Kafka+Spark+MySQL ps:后面应该会将数据放到Kudu上. 然后主要记录一下,整个组件使用和组件对接过程中一些注意点和坑. 开始吧 在处理实时数据时,需要即时地获得数据库表中数据的变化,然后将数据变化发送到Kafka中.不同的数据库有不同的组件进行处理. 常见的MySQL数据库,就有比…

SHELL脚本编程的条件测试 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.条件测试概述 判断某需求是否满足,需要由测试机制来实现 专用的测试表达式需要由测试命令辅助完成测试过程 评估布尔声明,以便用在条件性执行中 若真,则返回0 若假,则返回1 测试命令: test EXPRESSION [ EXPRESSION ] #推荐使用这种风格,易读性更强,操作系统很多脚本判断都是用的这种风格,不过还是看你自己个人习惯,毕竟bash的测试命令支持这三种风格,相当灵活. [[ E…

1. background in most cases, we want to execute sql script  in doris  routinely. using azkaban, to load data,etc.And we want to pass parameters to the sql script file. we can easily handle such situation in hive. 1.1 hive usage: using -hiveconf:  or…

Since Kafka Connect is intended to be run as a service, it also supports a REST API for managing connectors. By default this service runs on port 8083. When executed in distributed mode, the REST API will be the primary interface to the cluster. You…

scrapy shell scrapy shell是一个交互式shell,您可以在其中快速调试 scrape 代码,而不必运行spider.它本来是用来测试数据提取代码的,但实际上您可以使用它来测试任何类型的代码,因为它也是一个常规的Python shell. shell用于测试xpath或css表达式,并查看它们是如何工作的,以及它们从您试图抓取的网页中提取的数据.它允许您在编写spider时交互地测试表达式,而不必运行spider来测试每个更改. 一旦你熟悉了 Scrapy Shell,你就…

命令替换在bash中,$( )与` `(反引号)都是用来作命令替换的.命令替换与变量替换差不多,都是用来重组命令行的,先完成引号里的命令行,然后将其结果替换出来,再重组成新的命令行 [python@master2 shell]$ echo today is $(date "+%Y-%m-%d")today is 2019-03-04[python@master2 shell]$ echo today is `date "+%Y-%m-%d"`today is 201…