• Kafka 是一个开源的分布式事件流平台，依赖Zookeeper或者KRaft，本文基于Zookeeper。

服务器IP配置

本文使用三个服务器来做集群搭建，IP如下：

nodeName IP
node1 10.10.210.96
node2 10.10.210.97
node3 10.10.210.98

部署zookeeper

  • 工作目录为/home/zookeeper

node1配置

目录结构

- zookeeper

  - config

    - zoo.cfg

  - docker-compose.yml

zoo.cfg

dataDir=/data

dataLogDir=/datalog

tickTime=2000

initLimit=5

syncLimit=2

clientPort:2181

server.1=127.0.0.1:2888:3888

server.2=10.10.210.97:2888:3888

server.3=10.10.210.98:2888:3888

docker-compose.yml

version: '3'

services:

  zookeeper:

    image: zookeeper:3.7.0

    restart: always

    hostname: zookeeper-node-1

    container_name: zookeeper

    ports:

    - 2181:2181

    - 2888:2888

    - 3888:3888

    - 8080:8080

    volumes:

    - ./data:/data

    - ./datalog:/datalog

    - ./config/zoo.cfg:/conf/zoo.cfg

    environment:

      ZOO_MY_ID: 1

node2配置

目录结构

- zookeeper

  - config

    - zoo.cfg

  - docker-compose.yml

zoo.cfg

dataDir=/data

dataLogDir=/datalog

tickTime=2000

initLimit=5

syncLimit=2

clientPort:2181

server.1=10.10.210.96:2888:3888

server.2=127.0.0.1:2888:3888

server.3=10.10.210.98:2888:3888

docker-compose.yml

version: '3'

services:

  zookeeper:

    image: zookeeper:3.7.0

    restart: always

    hostname: zookeeper-node-2

    container_name: zookeeper

    ports:

    - 2181:2181

    - 2888:2888

    - 3888:3888

    - 8080:8080

    volumes:

    - ./data:/data

    - ./datalog:/datalog

    - ./config/zoo.cfg:/conf/zoo.cfg

    environment:

      ZOO_MY_ID: 2

node3配置

目录结构

- zookeeper

  - config

    - zoo.cfg

  - docker-compose.yml

zoo.cfg

dataDir=/data

dataLogDir=/datalog

tickTime=2000

initLimit=5

syncLimit=2

clientPort:2181

server.1=10.10.210.96:2888:3888

server.2=10.10.210.97:2888:3888

server.3=127.0.0.1:2888:3888

docker-compose.yml

version: '3'

services:

  zookeeper:

    image: zookeeper:3.7.0

    restart: always

    hostname: zookeeper-node-3

    container_name: zookeeper

    ports:

    - 2181:2181

    - 2888:2888

    - 3888:3888

    - 8080:8080

    volumes:

    - ./data:/data

    - ./datalog:/datalog

    - ./config/zoo.cfg:/conf/zoo.cfg

    environment:

      ZOO_MY_ID: 3
  • 在对应服务器的/home/zookeeper执行 docker-compose up -d 启动三个Zookeeper服务,通过docker-compose logs -f观察启动日志
  • ZOO_MY_ID 对应zookeeper的id,多台服务器需设置不同,对应zoo.cfg的server.1,其中.1 就是对应的ZOO_MY_ID
  • zoo.cfg配置信息具体可参考 Zookeeper部署和管理指南

部署kafka

  • 工作目录为/home/kafka

node1配置

目录结构

- kafka

  - docker-compose.yml

  - config/server.properties

docker-compose.yml

version: '3'

services:

  kafka:

    image: bitnami/kafka:3.0.0

    restart: always

    hostname: kafka-node-1

    container_name: kafka

    ports:

    - 9092:9092

    - 9999:9999

    volumes:

    - ./logs:/opt/bitnami/kafka/logs

    - ./data:/bitnami/kafka/data

    - ./config/server.properties:/opt/bitnami/kafka/config/server.properties

server.properties

broker.id=1

listeners=PLAINTEXT://:9092

advertised.listeners=PLAINTEXT://10.10.210.96:9092

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

log.dirs=/bitnami/kafka/data

num.partitions=1

num.recovery.threads.per.data.dir=1

offsets.topic.replication.factor=1

transaction.state.log.replication.factor=1

transaction.state.log.min.isr=1

log.retention.hours=168

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

zookeeper.connect=10.10.210.96:2181,10.10.210.97:2181,10.10.210.98:2181

zookeeper.connection.timeout.ms=18000

group.initial.rebalance.delay.ms=0

auto.create.topics.enable=true

max.partition.fetch.bytes=1048576

max.request.size=1048576

sasl.enabled.mechanisms=PLAIN,SCRAM-SHA-256,SCRAM-SHA-512

sasl.mechanism.inter.broker.protocol=

node2配置

目录结构

- kafka

  - docker-compose.yml

  - config/server.properties

docker-compose.yml

version: '3'

services:

  kafka:

    image: bitnami/kafka:3.0.0

    restart: always

    hostname: kafka-node-2

    container_name: kafka

    ports:

    - 9092:9092

    - 9999:9999

    volumes:

    - ./logs:/opt/bitnami/kafka/logs

    - ./data:/bitnami/kafka/data

    - ./config/server.properties:/opt/bitnami/kafka/config/server.properties

server.properties

broker.id=2

listeners=PLAINTEXT://:9092

advertised.listeners=PLAINTEXT://10.10.210.97:9092

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

log.dirs=/bitnami/kafka/data

num.partitions=1

num.recovery.threads.per.data.dir=1

offsets.topic.replication.factor=1

transaction.state.log.replication.factor=1

transaction.state.log.min.isr=1

log.retention.hours=168

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

zookeeper.connect=10.10.210.96:2181,10.10.210.97:2181,10.10.210.98:2181

zookeeper.connection.timeout.ms=18000

group.initial.rebalance.delay.ms=0

auto.create.topics.enable=true

max.partition.fetch.bytes=1048576

max.request.size=1048576

sasl.enabled.mechanisms=PLAIN,SCRAM-SHA-256,SCRAM-SHA-512

sasl.mechanism.inter.broker.protocol=

node3配置

目录结构

- kafka

  - docker-compose.yml

  - config/server.properties

docker-compose.yml

version: '3'

services:

  kafka:

    image: bitnami/kafka:3.0.0

    restart: always

    hostname: kafka-node-3

    container_name: kafka

    ports:

    - 9092:9092

    - 9999:9999

    volumes:

    - ./logs:/opt/bitnami/kafka/logs

    - ./data:/bitnami/kafka/data

    - ./config/server.properties:/opt/bitnami/kafka/config/server.properties

server.properties

broker.id=3

listeners=PLAINTEXT://:9092

advertised.listeners=PLAINTEXT://10.10.210.98:9092

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

log.dirs=/bitnami/kafka/data

num.partitions=1

num.recovery.threads.per.data.dir=1

offsets.topic.replication.factor=1

transaction.state.log.replication.factor=1

transaction.state.log.min.isr=1

log.retention.hours=168

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

zookeeper.connect=10.10.210.96:2181,10.10.210.97:2181,10.10.210.98:2181

zookeeper.connection.timeout.ms=18000

group.initial.rebalance.delay.ms=0

auto.create.topics.enable=true

max.partition.fetch.bytes=1048576

max.request.size=1048576

sasl.enabled.mechanisms=PLAIN,SCRAM-SHA-256,SCRAM-SHA-512

sasl.mechanism.inter.broker.protocol=
  • 在对应服务器的/home/kafka执行 docker-compose up -d 启动三个Kafka服务,通过docker-compose logs -f观察启动日志
  • server.properties配置信息具体可参考 Kafka Broker Configs

kafka测试使用

  • 通过offset explorer测试连接kafka是否可用。

后记

  • 如果想要简单配置的情况下，可以通过environment的方式启动kafka，参考如下：

docker-compose.yml

version: '3'

services:

  kafka:

    image: bitnami/kafka:3.0.0

    restart: always

    hostname: kafka-node

    container_name: kafka

    ports:

    - 9092:9092

    - 9999:9999

    environment:

      - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://10.10.210.96:9092

      - KAFKA_ADVERTISED_HOST_NAME=10.10.210.96

      - KAFKA_ADVERTISED_PORT=9092

      - KAFKA_ZOOKEEPER_CONNECT=10.10.210.96:2181,10.10.210.97:2181,10.10.210.98:2181

      - ALLOW_PLAINTEXT_LISTENER=yes

      - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092

      - JMX_PORT=9999

    volumes:

    - ./logs:/opt/bitnami/kafka/logs

    - ./data:/bitnami/kafka/data

docker-compose多服务器部署kafka集群的更多相关文章

  1. Docker swarm结合Openresty部署rabbitmq集群

    Docker swarm结合Openresty部署rabbitmq集群 大家好,年底了,年味儿越来越浓了．2019年的寒冬被定义为未来10年中最好的一年,对于这一说法悲观的人和乐观的人的理解是不一样的 ...

  2. 阿里云ECS服务器部署HADOOP集群（一）：Hadoop完全分布式集群环境搭建

    准备: 两台配置CentOS 7.3的阿里云ECS服务器: hadoop-2.7.3.tar.gz安装包: jdk-8u77-linux-x64.tar.gz安装包: hostname及IP的配置: ...

  3. 阿里云ECS服务器部署HADOOP集群（二）：HBase完全分布式集群搭建（使用外置ZooKeeper）

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建,多添加了一个 datanode 节点 . 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里 ...

  4. 阿里云ECS服务器部署HADOOP集群（三）：ZooKeeper 完全分布式集群搭建

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建,多添加了一个 datanode 节点 . 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里 ...

  5. 阿里云ECS服务器部署HADOOP集群（六）：Flume 安装

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建. 1 环境介绍 一台阿里云ECS服务器:master 操作系统:CentOS 7.3 Hadoop ...

  6. 阿里云ECS服务器部署HADOOP集群（七）：Sqoop 安装

    本篇将在 阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建 阿里云ECS服务器部署HADOOP集群(二):HBase完全分布式集群搭建(使用外置ZooKeeper) 阿 ...

  7. 阿里云ECS服务器部署HADOOP集群（五）：Pig 安装

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建. 1 环境介绍 一台阿里云ECS服务器:master 操作系统:CentOS 7.3 Hadoop ...

  8. 阿里云ECS服务器部署HADOOP集群（四）：Hive本地模式的安装

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建. 本地模式需要采用MySQL数据库存储数据. 1 环境介绍 一台阿里云ECS服务器:master ...

  9. Docker快速搭建Zookeeper和kafka集群

    使用Docker快速搭建Zookeeper和kafka集群 镜像选择 Zookeeper和Kafka集群分别运行在不同的容器中zookeeper官方镜像,版本3.4kafka采用wurstmeiste ...

  10. 使用Docker快速搭建Zookeeper和kafka集群

    使用Docker快速搭建Zookeeper和kafka集群 镜像选择 Zookeeper和Kafka集群分别运行在不同的容器中zookeeper官方镜像,版本3.4kafka采用wurstmeiste ...

随机推荐

  1. Nucleistudio+Vivado协同仿真教程

    创建Vivado工程 1.创建工程: 在Vivado中创建工程,命名随意,路径随意: 2.配置工程: 这里可以选择是否添加源文件等,我们先不添加: 3.选择FPGA核心: 选择MCU200T对应的FP ...

  2. Springboot整合Flowable6.x导出bpmn20

    项目源码仓库 BPMN2.0(Business Process Model and Notation)是一套业务流程模型与符号建模标准,以XML为载体,以符号可视化业务,支持精准的执行语义来描述元素的 ...

  3. ArrayList实现原理和自动扩容

    ArrayList在Java集合中的位置, ArrayList原理: transient Object[] elementData; ArrayList通过数组来实现. 默认构造方法会构造一个容量为1 ...

  4. Windows屏幕解锁服务原理及实现（1）

    https://github.com/zk2013/windows_remote_lock_unlock_screen 将生成的DLL注册至注册表 HKEY_LOCAL_MACHINE\SOFTWAR ...

  5. Go函数基础

    在Go语言中,函数是一种基本的代码组织方式.函数能够接受输入参数并返回结果.Go语言中的函数有以下特点: 函数定义使用关键字func,后跟函数名.参数列表和返回值类型. 如果函数有返回值,则在函数定义 ...

  6. C++ ATL + WTL 选择文件

    1 #include "stdafx.h" 2 #include "CStringHelper.h" 3 #include "AFileEngine. ...

  7. Golang for循环遍历小坑

    一.for循环 循环:让程序多次执行相同的代码块for循环是Go语言中唯一一个循环结构for循环经典语法先执行表达式1执行表达式2判断是否成立,如果成立执行循环体循环体执行完成后,执行表达式3再次执行 ...

  8. Oracle 定时任务job实际应用

    目录 一.Oracle定时任务简介 二.dbms_job涉及到的知识点 三.初始化相关参数job_queue_processes 四.实际创建一个定时任务(一分钟执行一次),实现定时一分钟往表中插入数 ...

  9. express服务器框架

    Express 为了提高开发效率,我们在开发过程中,都会尽量使用别人已经开发好的第三方模块,而我们想要快速实现服务器端的开发,推荐一个当下比较流行的框架:Express Express 作为开发框架, ...

  10. 2020-12-30：生产环境 CPU 占用过高，你如何解决？

    福哥答案2020-12-30: 1.top + H 指令找出占用 CPU 最高的进程的 pid. 2.top -H -p.在该进程中找到,哪些线程占用的 CPU 最高的线程,记录下 tid. 3.js ...