kafka集群搭建(图文并用)
将安装包上传服务器并解压
scp kafka_2.11-1.0.0.tgz username@{ip}:~/.
mkdir /usr/local/kafka
mv kafka_2.11-1.0.0.tgz /usr/local/kafka/.
cd /usr/local/kafka
tar zxvf kafka_2.11-1.0.0.tgz
```
# 创建软连接
```
cd /usr/local/kafka
ln -s kafka_2.11-1.0.0 inuse
```
# 配置kafka的环境变量
A:
```
vi /etc/profile
```
B:添加内容:
```
export KAFKA_HOME=/usr/local/kafka/inuse
export PATH=$PATH:$KAFKA_HOME/bin
```
C:重新编译文件:
```
source /etc/profile
```
# 修改三台节点的配置文件
进入kafka的config目录
```
cd /usr/local/kafka/inuse/config
```
修改配置文件server.properties
```
vim server.properties
修改以下配置(如果没有该配置项则手动添加)
broker.id=25 (kafka节点的标识,多节点的id不允许相同,建议同ip的最末位序号保持一致)
port=9092
num.partitions=2 原先的配置为1
zookeeper.connect={ip1}:{port1},{ip2}:{port2},{ip3}:{port3}(如172.16.204.23:2181,172.16.204.24:2181,172.16.204.25:2181)
message.max.byte=5048576
default.replication.factor=1
replica.fetch.max.bytes=5048576
host.name={本机ip}
log.dirs=/usr/local/kafka/log
kafka3节点的ip,分别填入host.name
最终目录差不多是这样:
新建一个start.sh脚本,见上图。
创建日志目录
```
mkdir /usr/local/kafka/log
```
#启动kafka
```
cd /usr/local/kafka/inuse/bin
./kafka-server-start.sh -daemon ../config/server.properties
kafka集群测试
1. 创建一个吃瓜群众的topic
2.查看所有的topic
3.在某个topic下如吃瓜群众下 生产消息
此处的broker-list为kafka的服务ip及端口号
4.消费某个topic消息
我在62,63,64三台机器上安装了kafka集群,在任一台创建的topic,其他两台都能看到,并且都能进行topic消息的消费。
在62机器上直接查看所有topic,zookeeper的地址随意填一个集群内的就行,不用都填,效果都一样
注意点:
不管是生产消息,还是消费消息,kafka的服务地址或zookeeper的地址随意填一个集群内的就行,不用都填,效果都一样。
最后给大家介绍一个工具,kafka-manager,主要可以对集群及topic进行相应的管理。
zookeeper的地址,需要填满,逗号分隔。
详细参考: https://blog.csdn.net/LA7388/article/details/101935535
有任何疑问或有错误,请留言告之,希望能帮助到大家!
kafka集群搭建(图文并用)的更多相关文章
- kafka集群搭建和使用Java写kafka生产者消费者
1 kafka集群搭建 1.zookeeper集群 搭建在110, 111,112 2.kafka使用3个节点110, 111,112 修改配置文件config/server.properties ...
- Kafka【第一篇】Kafka集群搭建
Kafka初识 1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位 我想对用户 ...
- kafka学习(三)-kafka集群搭建
kafka集群搭建 下面简单的介绍一下kafka的集群搭建,单个kafka的安装更简单,下面以集群搭建为例子. 我们设置并部署有三个节点的 kafka 集合体,必须在每个节点上遵循下面的步骤来启动 k ...
- Zookeeper + Kafka 集群搭建
第一步:准备 1. 操作系统 CentOS-7-x86_64-Everything-1511 2. 安装包 kafka_2.12-0.10.2.0.tgz zookeeper-3.4.9.tar.gz ...
- 大数据 --> Kafka集群搭建
Kafka集群搭建 下面是以三台机器搭建为例,(扩展到4台以上一样,修改下配置文件即可) 1.下载kafka http://apache.fayea.com/kafka/0.9.0.1/ ,拷贝到三台 ...
- 消息队列kafka集群搭建
linux系统kafka集群搭建(3个节点192.168.204.128.192.168.204.129.192.168.204.130) 本篇文章kafka集群采用外部zookeeper,没采 ...
- [Golang] kafka集群搭建和golang版生产者和消费者
一.kafka集群搭建 至于kafka是什么我都不多做介绍了,网上写的已经非常详尽了. 1. 下载zookeeper https://zookeeper.apache.org/releases.ht ...
- zookeeper及kafka集群搭建
zookeeper及kafka集群搭建 1.有关zookeeper的介绍可参考:http://www.cnblogs.com/wuxl360/p/5817471.html 2.zookeeper安装 ...
- 【转】kafka集群搭建
转:http://www.cnblogs.com/luotianshuai/p/5206662.html Kafka初识 1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候,是否 ...
随机推荐
- @JsonIgnore注解
注解名称:@JsonIgnore 作用:在实体类向前台返回数据时用来忽略不想传递给前台的属性或接口. Eg:User实体中会有字段password字段,当返回用户信息给前台的时候,当然是不希望将pas ...
- php实现人员权限管理(用户界面)
上一篇介绍的是管理员页面,能完成对用户的角色修改和保存,这里来说一下用户界面,用户通过登录,显示出其对应功能界面. 1.登录页面(用的ajax,也可以用php表单提交方式) <!DOCTYPE ...
- python面试总结3(性能分析优化,GIl常考题)
python性能分析和优化,GIL常考题 什么是Cpython GIL Cpython解释器的内存管理并不是线程安全的 保护多线程情况下对python对象访问 Cpython使用简单的锁机制避免多个线 ...
- [openssl][nginx] 使用openssl模拟ssl/tls客户端测试nginx stream
一 server的配置 nginx # cat conf/nginx.conf daemon off; events { debug_connection ; } stream { upstream ...
- ARP欺骗之ettercap图形化界面
ARP欺骗原理: 在每台主机中都有ARP缓存表,缓存表中记录了IP地址与MAC地址的对应关系,而局域网数据传输依靠的是MAC地址(网络设备之间互相通信是用MAC地址而不是IP地址) 一.ARP欺骗 工 ...
- java读取excel的内容(可保存到数据库中)
//** poi jar包 // public class ReadExcel { @SuppressWarnings("static-access") private stati ...
- Count the Colors 线段树
题目 参考博客地址 题意: n范围[1,8000] , li 和 ri 的范围[0,8000]. n个操作,每个操作是把 [li , ri]内的点修改成一个颜色c. n个操作过后,按颜色从小到大 ...
- java基础(11)---模块(java9)
一.模块介绍 二.模块可以解决的问题 三.module-info.java文件 四.一个项目就可变成一个模块
- 转 C#关于DateTime得到的当前时间的格式和用法
DateTime.Now.ToShortTimeString() DateTime dt = DateTime.Now; dt.ToString();//2005-11-5 13:21:25 dt.T ...
- 最快速的办法解决MySQL数据量增大之后翻页慢问题
MySQL最易碰到的性能问题就是数据量逐步增大之后的翻页速度变慢的额问题,而且越往后翻页速度越慢,如果用最快速的办法解决,以下就是解决办法,简单方便. 1.问题现状 现有MySQL数据表 event_ ...