1. 配置zookeeper单机模式

选择的是zookeeper-3.4.10版本,官网下载链接:http://mirrors.hust.edu.cn/apache/zookeeper/stable/。下载之后将zookeeper-3.4.10.tar.gz解压到指定文件夹。

tar xvzf dl/zookeeper-3.4..tar.gz -C app/

解压之后,将conf/zoo_sample.cfg复制为conf/zoo.cfg。

cp $ZOOKEEPER_HOME/conf/zoo_sample.cfg $ZOOKEEPER_HOME/conf/zoo.cfg

然后编辑zoo.cfg,修改内容如下:

# /home/jason是我的用户主目录
dataDir=/home/jason/app/zookeeper/data

其他参数保持默认,若有特殊需求,也可进行修改。配置好后,手动创建dataDir目录。

mkdir /home/jason/app/zookeeper/data

若系统没有配置java环境变量,则需要在$ZOOKEEPER/bin/zkEnv.sh脚本中配置JAVA_HOME。在zkEnv.sh脚本的JAVA_HOME变量前面加上:

JAVA_HOME="/home/jason/app/jdk"

配置好后就可以启动zookeeper了:

./bin/zkServer.sh start

启动成功的日志如下:

ZooKeeper JMX enabled by default
Using config: /home/jason/app/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

需要结束服务时,仍在本目录下,执行如下命令即可:

./bin/zkServer.sh stop

如果需要自定义zookeeper的JVM配置,可以修改zkServer.sh脚本的JVMFLAGS参数,例如:

JVMFLAGS="-Xms128m -Xmx256m -Xmn64m -XX:PermSize=65m $JVMFLAGS"

修改后重启zookeeper,使用jmap -heap <pid>查看配置是否生效。

2.配置kafka单机模式

选择的是kafka_2.12-0.10.2.0版本,官网下载链接:http://mirrors.hust.edu.cn/apache/kafka/0.10.2.1/kafka_2.12-0.10.2.1.tgz 。下载之后将kafka_2.12-0.10.2.0.tgz解压到指定文件夹。

tar xvzf dl/kafka_2.12-0.10.2.0.tgz -C app/

配置kafka时需要修改2个配置文件:server.properties、zookeeper.properties,其他配置文件保持默认选项。

2.1. 配置server.properties

需要配置4项,其余保持默认值,如果kafka是部署在IAAS平台的话,后三个参数一定要配置,否则kafka客户端无法通过IAAS公网地址找到broker:

log.dirs=/home/jason/app/kafka/kafka-logs
port=9092
host.name=阿里云或腾讯云内网地址
advertised.host.name=阿里云或腾讯云外网映射地址

然后手动创建log.dirs目录:

mkdir /home/jason/app/kafka/kafka-logs

2.2. 配置zookeeper.properties

只需要配置一项,其余保持默认值:

dataDir=/home/jason/app/kafka/zookeeper/data

然后手动创建dataDir目录:

mkdir /home/jason/app/kafka/zookeeper/data

至此环境配置已经完成,然后可以开始使用kafka了。

3. 使用kafka

若系统没有配置java环境变量,则需要在$KAFKA/bin/kafka-run-class.sh脚本中配置JAVA_HOME。在kafka-run-class.sh脚本的JAVA_HOME变量前面加上:

JAVA_HOME="/home/jason/app/jdk"

3.1. 启动kafka服务(前提是要先启动zookeeper)

./bin/kafka-server-start.sh config/server.properties

对于这种启动之后就可以忽略的服务,可以在最前面加上nohup,让其在后台自己运行,或者:

/bin/kafka-server-start.sh -daemon config/server.properties

需要结束服务时,仍在本目录下,执行如下命令即可:

./bin/kafka-server-stop.sh

3.2. 创建话题topic

新开一个命令行窗口,创建一个叫做test的topic:

./bin/kafka-topics.sh --create --zookeeper localhost: --replication-factor  --partitions  --topic test

然后可以根据地址和端口号将话题topic展示出来:

./bin/kafka-topics.sh --list --zookeeper localhost:2181

如果topic分区数需要扩展,可以通过下面命令:

./bin/kafka-topics.sh --zookeeper localhost:  --alter --topic test --partitions 

查看kafka特定topic的详情,使用--topic与--describe参数:

./bin/kafka-topics.sh --zookeeper localhost: --topic test --describe

删除指定Topic:

./bin/kafka-topics.sh --delete --zookeeper localhost: --topic test
Topic test is marked for deletion.
Note: This will have no impact if delete.topic.enable is not set to true.

Note中指出该Topic并没有真正的删除,如果真删除,需要把server.properties中的delete.topic.enable置为true

3.3. 启动生产者producer

新开一个命令行窗口,执行以下命令:

./bin/kafka-console-producer.sh --broker-list localhost: --topic test

然后可以之间在本窗口输入消息,每遇到换行符就认为是一条消息输入完成。

3.4. 启动消费者consumer

./bin/kafka-console-consumer.sh --bootstrap-server localhost: --topic test --from-beginning

然后,每在producer那里输入一条,consumer这里就会显示一条,然后kafka服务那里也会产生日志记录。

在以后启动时,只需要依次启动kafka server,producer和consumer就可以了。

查看consumer group列表,使用--list参数

查看consumer group列表有新、旧两种命令,分别查看新版(信息保存在broker中)consumer列表和老版(信息保存在zookeeper中)consumer列表,因而需要区分指定bootstrap--server和zookeeper参数:

./bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost: --list
test
./bin/kafka-consumer-groups.sh --zookeeper localhost: --list
console-consumer-
console-consumer-

查看特定consumer group 详情,使用--group与--describe参数

同样根据新/旧版本的consumer,分别指定bootstrap-server与zookeeper参数:

./bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost: --group test --describe
GROUP TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG OWNER
lx_test test kafka-python-1.3.1_/127.0.0.1
./bin/kafka-consumer-groups.sh --zookeeper localhost: --group console-consumer- --describe
GROUP TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG OWNER
Could not fetch offset from zookeeper for group console-consumer- partition [lx_test_topic,] due to missing offset data in zookeeper.
console-consumer- test unknown unknown console-consumer-11967_aws-lx--d3a91f05-

其中依次展示group名称、消费的topic名称、partition id、consumer group最后一次提交的offset、最后提交的生产消息offset、消费offset与生产offset之间的差值、当前消费topic-partition的group成员id(不一定包含hostname)

上面示例中console-consumer-11967是为了测试临时起的一个console consumer,缺少在zookeeper中保存的current_offset信息。

Ubuntu16.04配置单机版Zookeeper和Kafka的更多相关文章

  1. Ubuntu16.04配置TOMCAT8

    基于虚拟机Ubuntu16.04配置Tomcat过程 一.安装JDK 首先要确定好要安装的jdk和tomcat版本能对的上,具体如图所示: 版本选择是Jdk1.8,首先上官网http://www.or ...

  2. ubuntu16.04配置java环境(重启后不会失效)

    ubuntu16.04配置java环境(重启后不会失效) 1.jdk的安装包(.tar.gz)拷贝到/opt目录下 mv jdk-8u144-linux-x64.tar.gz /opt 2.解压文件 ...

  3. Ubuntu16.04配置apache+php+mysql

    命令行配置apache input sudo apt-get install apache2 done! 命令行配置mysql 参见: MySQL install and setting 命令行配置p ...

  4. ubuntu16.04配置记录

    新开一篇随笔记录ubuntu16.04配置中遇到的坑 1.安装Bumblebee(大黄蜂) Bumblebee是一款双显卡驱动,可以关闭独显,有效控制笔记本发热 第一步:安装我们的主角Bumblebe ...

  5. ubuntu16.04配置py-faster-rcnn

    在ubuntu16.04下编译安装了py-faster-rcnn. 主要步骤包括:安装cuda/cudnn,换apt源,装开源显卡驱动,装caffe依赖的apt包和python包,下载py-faste ...

  6. 【.net core 跨平台】第一步 在Ubuntu16.04 配置.net core环境

    本次使用VMware10.0.4工具安装Ubuntu16.04系统并配置.net core环境   Ubuntu 16.04 desktop下载地址:http://releases.ubuntu.co ...

  7. Ubuntu16.04配置静态IP地址

    ubuntu如何设置静态IP? 设置静态IP 1.编辑/etc/network/interfaces文件: # This file describes the network interfaces a ...

  8. Ubuntu16.04配置Tomcat的80端口访问

    [问题描述] 在阿里云 ECS 服务器 Ubuntu16.04 下部署 Java Web 应用时,发现配置的 Tomcat 服务启动后 80 端口无法被监听. [问题原因] 出现该问题的主要原因是:非 ...

  9. ubuntu16.04 配置双网卡机器

    本文介绍一台具有双有线网卡的机器在Linux下如何配置双网卡 系统平台:Ubuntu16.04 1:查看机器网卡信息,是否双网卡都能正确被机器pci识别 可以通过以下命令查看设备网卡,若果看到两条网卡 ...

随机推荐

  1. python学习之老男孩python全栈第九期_day018知识点总结——正则表达式、re模块

    一. 正则表达式 正则表达式本身和python没有什么关系,就是匹配字符串内容的一种规则. 官方定义:正则表达式是对字符串操作的一种逻辑公式,就是用事先定义好的一些特定字符.及这些特定字符的组合,组成 ...

  2. JavaScript中各存在性函数

    JavaScript中有很多表示存在性和从属关系的函数,本文介绍如下几个: 1)有关实例与构造函数原型之间的关系:isPrototypeOf(),Object.getPrototypeOf(); 2) ...

  3. 常用SEO优化

  4. Vuejs入门级简单实例

    Vue作为2016年最火的框架之一,以其轻量.易学等特点深受大家的喜爱.今天简单介绍一下Vue的使用. 首先,需要在官网下载vuejs,或者直接用cdn库.以下实例使用Vue实现数据绑定与判断循环: ...

  5. 【javascript】javascript设计模式之工厂模式

    1.要解决的问题 2.如何实现 3.与构造函数的区别 4.总结 1.要解决的问题 工厂模式通常用于重复创建相似对象,提供动态创建对象的接口. 2.工厂模式最为设计模式中构造模式之一,通常在类或类的静态 ...

  6. IoT Gateway Based on OSGi

    1. OSGi Knowleage 2. OSGi.Net on Windows 3. OSGi with JAVA 4. OSGi with Qt and C++ 5. Architecture o ...

  7. Linux 中常用命令

    命令基本格式: 命令提示符:[root@localhost ~]#      root 代表当前的登录用户(linux当中管理员账号是root)      @ 无实际意义      localhost ...

  8. Android BitmapFactory.Options

    public Bitmap inBitmap 如果设置,解码选项“对象的方法,采取将尝试重用这个位图加载内容时. public int inDensity 使用的位图的象素密度. public boo ...

  9. Python 获得汉字笔画

    通过unihan的文件来实现. 只要是unihan中有kTotalStrokes字段,获取其笔画数. Hash也是非常简单清楚的,但想到这些unicode其实会有一个分布规律,就记录了一下, 利用此性 ...

  10. AdvStringGrid使用小结

    结合最近自己做的一些工作,用到了第三方控件AdvStringGrid,这里就常用的一些技巧做个小小的总结 (1)如何设置表格固定的列数,如下图所示: 这里固定的列数为3列,通过设置下面属性来改变固定的 ...