zk集群环境搭建:https://www.cnblogs.com/toov5/p/9897868.html

三台主机每台的Java版本1.8

下面kafka集群的搭建:

 3台虚拟机均进行以下操作: 

// 解压下载好的kafka压缩包并重命名
cd /home

wget http://mirror.bit.edu.cn/apache/kafka/1.1.1/kafka_2.11-1.1.1.tgz

tar -xzvf kafka_2.11-1.1.1.tgz

mv kafka_2.11-1.1.1 kafka

// 修改配置文件

vi ./kafka/config/server.properties

修改如下:

主机1的:(其他主机类似)

broker.id=0  #做标记的哦 其他的主机 1  2   与Zookeeper的data目录下的myId一致!

listeners=PLAINTEXT://192.168.91.1:9092  #监听的IP地址和端口号  这其实是个协议 要写全!  监听的本机的ip端口号哈     其他的主机ip地址更改

zookeeper.connect=192.168.91.1:2181,192.168.91.3:2181,192.168.91.4:2181    #zk的集群地址

然后修改系统环境中配置kafka的路径

vi /etc/profile

// 在文件最下方添加kafka路径

export KAFKA_HOME=/home/kafaka/kafka

// PATH的修改 多路径PATH写法为PATH=${ZOOKEEPER_HOME}/bin:${KAFKA_HOME}/bin:$PATH

$PATH:${KAFKA_HOME}/bin

我的配置后:

export PATH=$PATH:${KAFKA_HOME}/bin:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$PATH

// 使修改完的环境变量生效

source /etc/profile

此时 其他的两台

scp -r ./kafaka/ root@192.168.91.3:/home

scp -r ./kafaka/ root@192.168.91.4:/home

然后分别修改server.properties

broker.id=X  #做标记的哦 其他的主机 X =1 和  2

listeners=PLAINTEXT://192.168.91.X:9092  #监听的IP地址和端口号  这其实是个协议 要写全!  监听的本机的ip端口号哈     其他的主机ip地址更改

,修改 /etc/profile  与第一台一致

此时的环境便搭建完毕!

先启动Zookeeper集群,

逐个主机启动: /home/zookeeper/zookeeper-3.4.6/bin/zkServer.sh start

查看启动状态: /home/zookeeper/zookeeper-3.4.6/bin/zkServer.sh status

再启动kafka集群

2、在后台开启3台虚拟机的kafka程序

/home/kafaka/kafka

./bin/kafka-server-start.sh -daemon config/server.properties

启动成功!

注意每个服务器要关闭防火墙!!

Kafka 没有后台图形化 不跟rabbitmq似的哈哈

查看Zookeeper:

每个broker启动后 会去zk注册信息,创建节点信息

下面创建个topic试试:

    参考官网:http://kafka.apachecn.org/quickstart.html 

     创建topic时候 需要指定分区partition  1 表示只在一个broker里面存放。(单节点存放)

                                                                   3 表示三个broker里面存放 。生产者投递消息时候 均摊存放!

只会在1个broker进行创建

在某一台服务器上创建 topic:

/home/kafaka/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.91.1:2181 --replication-factor 1 --partitions 1 --topic test   # 创建topic时候 会向zk进行连接 1表示在单机上存储创建

zk查看:

broker就是我们指定的这台服务器上   partition是1 的话每次都投递到 0这个broker上哦

下面介绍下日志查看:

kafka的日志存放是在配置中的 server.properties:

创新topic后发送消息

往指定的broker发送消息

bin/kafka-console-producer.sh --broker-list 192.168.91.1:9092 --topic test

启动consumer进行消费:连接的不是同一台主机,也可以进行消费

bin/kafka-console-consumer.sh --bootstrap-server 192.168.91.3:9092 --topic test --from-beginning

同是一个集群。互通的 ,只是消息存放的地方有别而已。

继续创建topic,存放到三个broker:

/home/kafaka/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.91.1:2181 --replication-factor 1 --partitions --topic  my_test_topic

创建成功后查看日志目录:

broker0

broker1

broker2

通过test-0  my_test_topic_x 可以看出编号是有自己的算法的

得出的结论是 topic 在三台不同的节点进行存放的,生产者投递消费进行均摊。

Kafaka高可用集群环境搭建的更多相关文章

  1. ElasticSearch高可用集群环境搭建和分片原理

    1.ES是如何实现分布式高并发全文检索 2.简单介绍ES分片Shards分片技术 3.为什么ES主分片对应的备分片不在同一台节点存放 4.索引的主分片定义好后为什么不能做修改 5.ES如何实现高可用容 ...

  2. SpringCloud之Eureka高可用集群环境搭建

    注册中心集群 在微服务中,注册中心非常核心,可以实现服务治理,如果一旦注册出现故障的时候,可能会导致整个微服务无法访问,在这时候就需要对注册中心实现高可用集群模式. Eureka集群相当简单:相互注册 ...

  3. rabbitmq+haproxy+keepalived高可用集群环境搭建

    1.先安装centos扩展源: # yum -y install epel-release 2.安装erlang运行环境以及rabbitmq # yum install erlang ... # yu ...

  4. CentOS下RabbitMq高可用集群环境搭建

    准备工作 1,准备两台或多台安装有rabbitmq-server服务的服务器 我这里准备了两台,分别如下: 192.168.40.130 rabbitmq01192.168.40.131 rabbit ...

  5. Mysql高可用集群环境介绍

    MySQL高可用集群环境搭建 01.MySQL高可用环境方案 02.MySQL主从复制原理 03.MySQL主从复制作用 04.在Linux环境上安装MySQL 05.在MySQL集群环境上配置主从复 ...

  6. Apache httpd和JBoss构建高可用集群环境

    1. 前言 集群是指把不同的服务器集中在一起,组成一个服务器集合,这个集合给客户端提供一个虚拟的平台,使客户端在不知道服务器集合结构的情况下对这一服务器集合进行部署应用.获取服务等操作.集群是企业应用 ...

  7. Flink的高可用集群环境

    Flink的高可用集群环境 Flink简介 Flink核心是一个流式的数据流执行引擎,其针对数据流的分布式计算提供了数据分布,数据通信以及容错机制等功能. 因现在主要Flink这一块做先关方面的学习, ...

  8. centos HA高可用集群 heartbeat搭建 heartbeat测试 主上停止heartbeat服务 测试脑裂 两边都禁用ping仲裁 第三十二节课

    centos   HA高可用集群  heartbeat搭建 heartbeat测试  主上停止heartbeat服务  测试脑裂  两边都禁用ping仲裁  第三十二节课 heartbeat是Linu ...

  9. Mysql双主双从高可用集群的搭建且与MyCat进行整合

    1.概述 老话说的好:瞻前顾后.患得患失只会让我们失败,下定决心,干就完了. 言归正传,之前我们聊了Mysql的一主一从读写分离集群的搭建,虽然一主一从或一主多从集群解决了并发读的问题,但由于主节点只 ...

随机推荐

  1. python:编写行政区域三级菜单(day 1)

    地区分三层结构例如: 大中华地区一级划分: 华东 华中 华北 西南 特别行政区 华南 ------------------------------------------------- 请输入你要查看 ...

  2. iOS学习笔记(十七)——文件操作(NSFileManager)

    iOS的沙盒机制,应用只能访问自己应用目录下的文件.iOS不像android,没有SD卡概念,不能直接访问图像.视频等内容.iOS应用产生的内容,如图像.文件.缓存内容等都必须存储在自己的沙盒内.默认 ...

  3. mysql小知识点汇总

    附录:(更新于2013-11-21) sql必知必会学习笔记:http://www.cnblogs.com/IPrograming/category/509859.html mysql 基本命令学习: ...

  4. EF 批量更新删除(linq篇)

    刚开始用EF很多东西都不会用,事后想想都很简单的东西总是用很麻烦的方式实现 1:  EF的联合查询 inner join  很久很久以前我是这么写一个列表展示的,其中有两个字段Contractor和M ...

  5. javascript数组遍历for与for in区别详解

    js中遍历数组的有两种方式 复制代码代码如下: var array=['a']//标准的for循环for(var i=1;i<array.length;i++){    alert(array[ ...

  6. Distance matrix

    w https://en.wikipedia.org/wiki/Distance_matrix For example, suppose these data are to be analyzed, ...

  7. [转载]$(document).ready(function(){});

    转载自:http://www.cnblogs.com/king-sheng/archive/2012/01/06/2313980.html $(document).ready(function() 页 ...

  8. MySQL中myisam和innodb的主键索引有什么区别?

    MyISAM引擎使用B+Tree作为索引结构,叶节点的data域存放的是数据记录的地址.下图是MyISAM索引的原理图: 这里设表一共有三列,假设我们以Col1为主键,则上图是一个MyISAM表的主索 ...

  9. 我的Android进阶之旅------>ListView中android:cacheColorHint,android:listSelector属性作用 .

    ( 本文转载于:http://blog.csdn.net/stonecao/article/details/6216449) 自定义listview的时候,当你不使用android:cacheColo ...

  10. javaSE27天复习总结

    JAVA学习总结    2 第一天    2 1:计算机概述(了解)    2 (1)计算机    2 (2)计算机硬件    2 (3)计算机软件    2 (4)软件开发(理解)    2 (5) ...