kafka&&kafka-manager部署安装
一、zk集群部署
二、kafka部署安装
1、创建kafka用户和日志路径,(直接执行)
groupadd kafka
useradd -g kafka kafka
mkdir -p /web/kafka
mkdir -p /var/kafka/kafka-logs
rsync -zrtopg 10.12.30.102::soft/kafka_2.11-0.10.2.0.cdo.tgz /web/kafka
cd /web/kafka
chmod +x kafka_2.11-0.10.2.0.cdo.tgz
tar zxf kafka_2.11-0.10.2.0.cdo.tgz
chown -R kafka.kafka /var/kafka/kafka-logs
chown -R kafka.kafka /web/kafka
2、修改配置文件 server.properties
kafka用户执行以下操作
broker.id id唯一 listeners = PLAINTEXT://10.32.58.12:9092 监听端口号
advertised.listeners=PLAINTEXT://10.32.58.12:9092
zookeeper.connect zk配置,集群ip以逗号隔开
num.partitions 分区数
default.replication.factor 副本数
delete.topic.enable=true 是否支持手动删除topic
3、启动kafka服务
sh kafka-server-start.sh -daemon ../config/server.properties
4、kafka常用命令
sh kafka-topics.sh --create --zookeeper 10.32.34.2:2181,10.32.58.12:2181,10.32.56.39:2181 --replication-factor 3 --partitions 3 --topic test01 创建test01 topic
sh kafka-topics.sh --list --zookeeper 10.32.34.2:2181,10.32.58.12:2181,10.32.56.39:2181 显示当前所有topic
sh kafka-topics.sh --describe --zookeeper 10.32.34.2:2181,10.32.58.12:2181,10.32.56.39:2181
sh kafka-console-producer.sh --broker-list 10.32.58.12:9092 --topic test01 创建生产者发布消息
sh kafka-console-consumer.sh --zookeeper 10.32.34.2:2181,10.32.58.12:2181,10.32.56.39:2181 --topic test01 --from-beginning 接收消息
sh kafka-topics.sh --delete --zookeeper 10.32.34.2:2181,10.32.58.12:2181,10.32.56.39:2181 --topic test01 删除test01 topic
三、kafka-manager部署安装
1、创建kafka-manager,安装sbt,下载编译
groupadd kafka-manager
useradd -g kafka-manager kafka-manager
mkdir -p /home/kafka-manager
curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo
mv bintray-sbt-rpm.repo /etc/yum.repos.d/
yum install sbt
git clone https://github.com/yahoo/kafka-manager.git
cd kafka-manager
sbt clean dist
2、启动、指定配置文件和启动端口号,默认9000
unzip kafka-manager-1.3.0.4.zip vim kafka-manager-1.3.0.4/conf/application.conf nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port 9001 &
kafka&&kafka-manager部署安装的更多相关文章
- kafka单机模式部署安装,zookeeper启动
在root的用户下 1):前提 安装JDK环境,设置JAVA环境变量 2):下载kafka,命令:wget http://mirrors.shuosc.org/apache/kafka/0.10.2 ...
- 使用Cloudera Manager部署Kafka消息队列
使用Cloudera Manager部署Kafka消息队列 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.下载需要安装的Kafka版本 1>.查看Cloudera Dis ...
- kafka 集群的部署安装
这里我们罗列一下我们的环境 10.19.18.88 zk1 10.19.16.84 zk2 10.19.11.44 zk3 这里公司需要接入kafka用于zipkin来定位调用链 kafka 的地址是 ...
- 消息中间件--kafka(1)安装部署
一.概念 1.什么是kafka Kafka是由Apache软件基金会开发的一个开源的分布式流处理平台,由LinkedIn公司开发,使用 Scala和Java编写.Kafka是一个分布式.分区的.多副本 ...
- canal+mysql+kafka实时数据同步安装、配置
canal+mysql+kafka安装配置 概述 简介 canal译意为水道/管道/沟渠,主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费. 基于日志增量订阅和消费的业务包括 数 ...
- Kafka集群部署
一. 关于kafka Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据. 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键 ...
- Zookeeper+Kafka集群部署(转)
Zookeeper+Kafka集群部署 主机规划: 10.200.3.85 Kafka+ZooKeeper 10.200.3.86 Kafka+ZooKeeper 10.200.3.87 Kaf ...
- 一脸懵逼学习KafKa集群的安装搭建--(一种高吞吐量的分布式发布订阅消息系统)
kafka的前言知识: :Kafka是什么? 在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算.kafka是一个生产-消费模型. Producer:生产者,只负责数 ...
- Zookeeper+Kafka集群部署
Zookeeper+Kafka集群部署 主机规划: 10.200.3.85 Kafka+ZooKeeper 10.200.3.86 Kafka+ZooKeeper 10.200.3.87 Kaf ...
随机推荐
- goweb-安装go及配置go
安装go及配置go 安装go 写这篇博客时,我的电脑的windows已经安装过了go,用的是标准包安装,不过我的linux操作系统还没安装,可以考虑用第三方工具安装,因为看了goweb这本书,我才知道 ...
- iOS 部分API理解
- (void)viewDidLoad { [super viewDidLoad]; // Do any additional setup after loading the view, typica ...
- windows 环境下Maven私服搭建
使用Nexus.3.11在Windows环境上搭建1.下载nexus.3.11.zip包https://www.sonatype.com/download-oss-sonatype 下载下来之后,进行 ...
- mysql,user表中各字段的含义
1.查询user表 select * from mysql.user 2.修改用户密码 ALTER user ' 3.user表中各字段的含义 Select_priv:用户可以通过SELECT命令选择 ...
- CorsConfig
package org.linlinjava.litemall.core.config; import org.springframework.context.annotation.Bean; imp ...
- Random variable
\(\underline{cdf:}\)cumulative distribution function \(F(x)=P(X \leq x)\) \(\underline{pmf:}\)probab ...
- day16-封装(私有静态属性、私有属性、私有方法、类方法、静态方法)
# 一: class P: __age = 30 #私有静态属性 def __init__(self,name): self.__name = name #私有属性:属性名前面加上双下划线是私有属性. ...
- 系统学习Javaweb9----BootStrap1
学习内容: 1.BootStrap的简述 2.BootStrap环境搭建 3.BootStrap环境搭建-基本模板创建 4.BootStrap环境搭建-基本模板讲解 5.BootStrap布局容器 6 ...
- rest framework-版本-长期维护
############### 版本 ############### # # 版本的问题: # rest_framework.versioning.URLPathVersioning # 一般就 ...
- EXAM-2018-8-3
EXAM-2018-8-3 D H 喜闻乐见的水题 J lower_bound + upper_bound 一个可以查找第一个大于,另一个可查找第一个不小于. F 找规律+奇偶分析 偶数好找,就是奇数 ...