将安装包上传服务器并解压

scp kafka_2.11-1.0.0.tgz username@{ip}:~/.

mkdir /usr/local/kafka

mv kafka_2.11-1.0.0.tgz /usr/local/kafka/.

cd /usr/local/kafka

tar zxvf kafka_2.11-1.0.0.tgz
```

# 创建软连接
```
cd /usr/local/kafka

ln -s kafka_2.11-1.0.0 inuse
```

# 配置kafka的环境变量
A:
```
vi /etc/profile
```
B:添加内容:
```
export KAFKA_HOME=/usr/local/kafka/inuse
export PATH=$PATH:$KAFKA_HOME/bin
```
C:重新编译文件:
```
source /etc/profile
```
# 修改三台节点的配置文件

进入kafka的config目录
```
cd /usr/local/kafka/inuse/config
```
修改配置文件server.properties
```
vim server.properties

修改以下配置(如果没有该配置项则手动添加)

broker.id=25 (kafka节点的标识,多节点的id不允许相同,建议同ip的最末位序号保持一致)
port=9092
num.partitions=2  原先的配置为1
zookeeper.connect={ip1}:{port1},{ip2}:{port2},{ip3}:{port3}(如172.16.204.23:2181,172.16.204.24:2181,172.16.204.25:2181)
message.max.byte=5048576
default.replication.factor=1
replica.fetch.max.bytes=5048576
host.name={本机ip}
log.dirs=/usr/local/kafka/log
kafka3节点的ip,分别填入host.name

最终目录差不多是这样:

新建一个start.sh脚本,见上图。

创建日志目录

```
mkdir /usr/local/kafka/log
```
#启动kafka

```
cd /usr/local/kafka/inuse/bin

./kafka-server-start.sh -daemon ../config/server.properties

kafka集群测试

1. 创建一个吃瓜群众的topic

2.查看所有的topic

3.在某个topic下如吃瓜群众下 生产消息

此处的broker-list为kafka的服务ip及端口号

4.消费某个topic消息

我在62,63,64三台机器上安装了kafka集群,在任一台创建的topic,其他两台都能看到,并且都能进行topic消息的消费。

在62机器上直接查看所有topic,zookeeper的地址随意填一个集群内的就行,不用都填,效果都一样

注意点:

不管是生产消息,还是消费消息,kafka的服务地址或zookeeper的地址随意填一个集群内的就行,不用都填,效果都一样。

最后给大家介绍一个工具,kafka-manager,主要可以对集群及topic进行相应的管理。

zookeeper的地址,需要填满,逗号分隔。

详细参考: https://blog.csdn.net/LA7388/article/details/101935535

有任何疑问或有错误,请留言告之,希望能帮助到大家!

kafka集群搭建(图文并用)的更多相关文章

  1. kafka集群搭建和使用Java写kafka生产者消费者

    1 kafka集群搭建 1.zookeeper集群  搭建在110, 111,112 2.kafka使用3个节点110, 111,112 修改配置文件config/server.properties ...

  2. Kafka【第一篇】Kafka集群搭建

    Kafka初识 1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位 我想对用户 ...

  3. kafka学习(三)-kafka集群搭建

    kafka集群搭建 下面简单的介绍一下kafka的集群搭建,单个kafka的安装更简单,下面以集群搭建为例子. 我们设置并部署有三个节点的 kafka 集合体,必须在每个节点上遵循下面的步骤来启动 k ...

  4. Zookeeper + Kafka 集群搭建

    第一步:准备 1. 操作系统 CentOS-7-x86_64-Everything-1511 2. 安装包 kafka_2.12-0.10.2.0.tgz zookeeper-3.4.9.tar.gz ...

  5. 大数据 --> Kafka集群搭建

    Kafka集群搭建 下面是以三台机器搭建为例,(扩展到4台以上一样,修改下配置文件即可) 1.下载kafka http://apache.fayea.com/kafka/0.9.0.1/ ,拷贝到三台 ...

  6. 消息队列kafka集群搭建

    linux系统kafka集群搭建(3个节点192.168.204.128.192.168.204.129.192.168.204.130)    本篇文章kafka集群采用外部zookeeper,没采 ...

  7. [Golang] kafka集群搭建和golang版生产者和消费者

    一.kafka集群搭建 至于kafka是什么我都不多做介绍了,网上写的已经非常详尽了. 1. 下载zookeeper  https://zookeeper.apache.org/releases.ht ...

  8. zookeeper及kafka集群搭建

    zookeeper及kafka集群搭建 1.有关zookeeper的介绍可参考:http://www.cnblogs.com/wuxl360/p/5817471.html 2.zookeeper安装 ...

  9. 【转】kafka集群搭建

    转:http://www.cnblogs.com/luotianshuai/p/5206662.html Kafka初识 1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候,是否 ...

随机推荐

  1. HelloWorld! C++纠错版

    例题:1 #include<iostream> int main() { cout << "HelloWorel!" ; ; } #include < ...

  2. python(类的封装调用/继承/多态)

    一.类的定义 类:用来描述具有相同的属性和方法的对象的集合.它定义了该集合中每个对象所共有的属性和方法.对象是类的实例   对象:类实例化出来的叫做对象   对象和类的关系:类和对象的关系就像模具和铸 ...

  3. kubernetes集群的认证、授权、准入控制

    一.kubernetes集群安全架构 用户使用kubectl.客户机或通过REST请求访问API.可以授权用户和Kubernetes服务帐户进行API访问.当一个请求到达API时,它会经历几个阶段,如 ...

  4. c# String类

  5. 使用ImageMagick在Linux系统上截图

    ImageMagick安装指令: sudo apt-get install imagemagick 安装完成后,输入 import screenshot.png 命令就可以开始截图.此时鼠标图标会变成 ...

  6. Kotlin泛型与协变及逆变原理剖析

    在上一次https://www.cnblogs.com/webor2006/p/11234941.html中学习了数据类[data class]相关的知识,这次会学习关于泛型相关的东东,其中有关于泛型 ...

  7. linux网络编程之socket编程(四)

    经过两周的等待,终于可以回归我正常的学习之旅了,表哥来北京了在我这暂住,晚上回家了基本在和他聊天,周末带他在北京城到处乱转,几乎剥夺了我自由学习的时间了,不过,亲人之情还是很难得的,工作学习并不是生活 ...

  8. Angular CLI behind the scenes, part one

    原文:https://commandlinefanatic.com/cgi-bin/showarticle.cgi?article=art074 --------------------------- ...

  9. spring DefaultListableBeanFactory 概述

                 有人说,DefaultListableBeanFactory是spring的发动机,其实重要性不为过.TA的整体类图如下:     这里先概述接口部分:   BeanFact ...

  10. DT6.0下搜索页解决canonical获取乱码问题

    最近研究dt6.0,官方内核默认是把搜索页屏蔽的,但是做seo的人都知道,搜索页聚合是争取排名的好地方,所以我就二次开发搜索页,具体可以查看前几期分享的,今天说说关于搜索的canonical的url乱 ...