kafka集群搭建(图文并用)
将安装包上传服务器并解压
scp kafka_2.11-1.0.0.tgz username@{ip}:~/.
mkdir /usr/local/kafka
mv kafka_2.11-1.0.0.tgz /usr/local/kafka/.
cd /usr/local/kafka
tar zxvf kafka_2.11-1.0.0.tgz
```
# 创建软连接
```
cd /usr/local/kafka
ln -s kafka_2.11-1.0.0 inuse
```
# 配置kafka的环境变量
A:
```
vi /etc/profile
```
B:添加内容:
```
export KAFKA_HOME=/usr/local/kafka/inuse
export PATH=$PATH:$KAFKA_HOME/bin
```
C:重新编译文件:
```
source /etc/profile
```
# 修改三台节点的配置文件
进入kafka的config目录
```
cd /usr/local/kafka/inuse/config
```
修改配置文件server.properties
```
vim server.properties
修改以下配置(如果没有该配置项则手动添加)
broker.id=25 (kafka节点的标识,多节点的id不允许相同,建议同ip的最末位序号保持一致)
port=9092
num.partitions=2 原先的配置为1
zookeeper.connect={ip1}:{port1},{ip2}:{port2},{ip3}:{port3}(如172.16.204.23:2181,172.16.204.24:2181,172.16.204.25:2181)
message.max.byte=5048576
default.replication.factor=1
replica.fetch.max.bytes=5048576
host.name={本机ip}
log.dirs=/usr/local/kafka/log
kafka3节点的ip,分别填入host.name
最终目录差不多是这样:
新建一个start.sh脚本,见上图。
创建日志目录
```
mkdir /usr/local/kafka/log
```
#启动kafka
```
cd /usr/local/kafka/inuse/bin
./kafka-server-start.sh -daemon ../config/server.properties
kafka集群测试
1. 创建一个吃瓜群众的topic
2.查看所有的topic
3.在某个topic下如吃瓜群众下 生产消息
此处的broker-list为kafka的服务ip及端口号
4.消费某个topic消息
我在62,63,64三台机器上安装了kafka集群,在任一台创建的topic,其他两台都能看到,并且都能进行topic消息的消费。
在62机器上直接查看所有topic,zookeeper的地址随意填一个集群内的就行,不用都填,效果都一样
注意点:
不管是生产消息,还是消费消息,kafka的服务地址或zookeeper的地址随意填一个集群内的就行,不用都填,效果都一样。
最后给大家介绍一个工具,kafka-manager,主要可以对集群及topic进行相应的管理。
zookeeper的地址,需要填满,逗号分隔。
详细参考: https://blog.csdn.net/LA7388/article/details/101935535
有任何疑问或有错误,请留言告之,希望能帮助到大家!
kafka集群搭建(图文并用)的更多相关文章
- kafka集群搭建和使用Java写kafka生产者消费者
1 kafka集群搭建 1.zookeeper集群 搭建在110, 111,112 2.kafka使用3个节点110, 111,112 修改配置文件config/server.properties ...
- Kafka【第一篇】Kafka集群搭建
Kafka初识 1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位 我想对用户 ...
- kafka学习(三)-kafka集群搭建
kafka集群搭建 下面简单的介绍一下kafka的集群搭建,单个kafka的安装更简单,下面以集群搭建为例子. 我们设置并部署有三个节点的 kafka 集合体,必须在每个节点上遵循下面的步骤来启动 k ...
- Zookeeper + Kafka 集群搭建
第一步:准备 1. 操作系统 CentOS-7-x86_64-Everything-1511 2. 安装包 kafka_2.12-0.10.2.0.tgz zookeeper-3.4.9.tar.gz ...
- 大数据 --> Kafka集群搭建
Kafka集群搭建 下面是以三台机器搭建为例,(扩展到4台以上一样,修改下配置文件即可) 1.下载kafka http://apache.fayea.com/kafka/0.9.0.1/ ,拷贝到三台 ...
- 消息队列kafka集群搭建
linux系统kafka集群搭建(3个节点192.168.204.128.192.168.204.129.192.168.204.130) 本篇文章kafka集群采用外部zookeeper,没采 ...
- [Golang] kafka集群搭建和golang版生产者和消费者
一.kafka集群搭建 至于kafka是什么我都不多做介绍了,网上写的已经非常详尽了. 1. 下载zookeeper https://zookeeper.apache.org/releases.ht ...
- zookeeper及kafka集群搭建
zookeeper及kafka集群搭建 1.有关zookeeper的介绍可参考:http://www.cnblogs.com/wuxl360/p/5817471.html 2.zookeeper安装 ...
- 【转】kafka集群搭建
转:http://www.cnblogs.com/luotianshuai/p/5206662.html Kafka初识 1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候,是否 ...
随机推荐
- HelloWorld! C++纠错版
例题:1 #include<iostream> int main() { cout << "HelloWorel!" ; ; } #include < ...
- python(类的封装调用/继承/多态)
一.类的定义 类:用来描述具有相同的属性和方法的对象的集合.它定义了该集合中每个对象所共有的属性和方法.对象是类的实例 对象:类实例化出来的叫做对象 对象和类的关系:类和对象的关系就像模具和铸 ...
- kubernetes集群的认证、授权、准入控制
一.kubernetes集群安全架构 用户使用kubectl.客户机或通过REST请求访问API.可以授权用户和Kubernetes服务帐户进行API访问.当一个请求到达API时,它会经历几个阶段,如 ...
- c# String类
- 使用ImageMagick在Linux系统上截图
ImageMagick安装指令: sudo apt-get install imagemagick 安装完成后,输入 import screenshot.png 命令就可以开始截图.此时鼠标图标会变成 ...
- Kotlin泛型与协变及逆变原理剖析
在上一次https://www.cnblogs.com/webor2006/p/11234941.html中学习了数据类[data class]相关的知识,这次会学习关于泛型相关的东东,其中有关于泛型 ...
- linux网络编程之socket编程(四)
经过两周的等待,终于可以回归我正常的学习之旅了,表哥来北京了在我这暂住,晚上回家了基本在和他聊天,周末带他在北京城到处乱转,几乎剥夺了我自由学习的时间了,不过,亲人之情还是很难得的,工作学习并不是生活 ...
- Angular CLI behind the scenes, part one
原文:https://commandlinefanatic.com/cgi-bin/showarticle.cgi?article=art074 --------------------------- ...
- spring DefaultListableBeanFactory 概述
有人说,DefaultListableBeanFactory是spring的发动机,其实重要性不为过.TA的整体类图如下: 这里先概述接口部分: BeanFact ...
- DT6.0下搜索页解决canonical获取乱码问题
最近研究dt6.0,官方内核默认是把搜索页屏蔽的,但是做seo的人都知道,搜索页聚合是争取排名的好地方,所以我就二次开发搜索页,具体可以查看前几期分享的,今天说说关于搜索的canonical的url乱 ...