Linux 下搭建 Kafka 环境
Linux 下搭建 Kafka 环境
作者:Grey
原文地址:
环境要求
操作系统:CentOS 7
Kafka 版本:2.11-2.1.0
注:这个版本的 Kafka 需要依赖 JDK 和 Zookeeper。
JDK 版本:8u181
Zookeeper 版本:3.4.5
注:以上中间件均搭建在一个 Linux 系统中,如果需要分不同的系统安装,注意修改对应的连接配置。
如果使用的中间件版本不一致,请以官方搭建文档为准。
安装步骤
准备软件目录
mkdir /datalake
上传之前下载好的安装包到 /datalake 目录下
jdk-8u181-linux-x64.gz
kafka_2.11-2.1.0.tgz
zookeeper-3.4.5.tar.gz
批量解压这几个安装包
cd /datalake
ls * | xargs -n1 tar xzvf
将解压的软件移动到 /usr/local 目录
cd /datalake
mv jdk1.8.0_181 /usr/local/jdk
mv kafka_2.11-2.1.0 /usr/local/kafka
mv zookeeper-3.4.5 /usr/local/zk
配置 Zookeeper
cd /usr/local/zk/conf
首先,先备份 Zookeeper 的默认配置文件
cp zoo_sample.cfg zoo.cfg
然后将配置文件修改下
vi zoo.cfg
将 dataDir 选项配置为
dataDir=/usr/local/zk/data
接下来,配置 Kafka
vi /usr/local/kafka/config/server.properties
将 log.dirs 参数修改为
log.dirs=/usr/local/zk/logs
由于 Kafka 和 Zookeeper 装在同一个 Linux 中,所以 zookeeper.connect 配置维持默认配置即可
zookeeper.connect=localhost:2181
配置环境变量
vi /usr/profile
添加如下内容
export JAVA_HOME=/usr/local/jdk
export ZK_HOME=/usr/local/zk
export KAFKA_HOME=/usr/local/kafka
export PATH=$PATH:$JAVA_HOME/bin:$ZK_HOME/bin:$KAFKA_HOME/bin
应用环境变量
source /etc/profile
接下来,就开始启动 Kafka,首先,需要先启动 Zookeeper
zkServer.sh start
输出信息如下
[root@datalake conf]# zkServer.sh start
JMX enabled by default
Using config: /usr/local/zk/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
说明启动成功。
接下来启动 Kafka
kafka-server-start.sh /usr/local/kafka/config/server.properties
接下来,再打开 Shell 一个窗口,创建 topic
kafka-topics.sh --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --create --topic test
然后再开一个 Shell 窗口,启动生产者
kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test
再打开一个 Shell 窗口,启动消费者
kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test
切换到生产者启动页面,发送数据,消费者能正常接收数据
生产者
消费者
Linux 下搭建 Kafka 环境的更多相关文章
- Linux 下搭建 HBase 环境
Linux 下搭建 HBase 环境 作者:Grey 原文地址: 博客园:Linux 下搭建 HBase 环境 CSDN:Linux 下搭建 HBase 环境 前置工作 首先,需要先完成 Linux ...
- Linux 下搭建 Hive 环境
Linux 下搭建 Hive 环境 作者:Grey 原文地址: 博客园:Linux 下搭建 Hive 环境 CSDN:Linux 下搭建 Hive 环境 前置工作 首先,需要先完成 Linux 下搭建 ...
- Linux下搭建PHP环境
转载于: http://www.uxtribe.com/php/405.html 该站下有系列PHP文章. 在Linux下搭建PHP环境比Windows下要复杂得多.除了安装Apache,PHP等软件 ...
- Java学习心得之 Linux下搭建Java环境
作者:枫雪庭 出处:http://www.cnblogs.com/FengXueTing-px/ 欢迎转载 Java学习心得之 Linux下搭建Java环境 1.前言2.JDK安装3.配置环境变量4. ...
- Java学习心得之 Linux下搭建JavaWeb环境
作者:枫雪庭 出处:http://www.cnblogs.com/FengXueTing-px/ 欢迎转载 Java学习心得之 Linux下搭建JavaWeb环境 1. 前言2. Java安装3. t ...
- Ruby学习心得之 Linux下搭建Ruby环境
作者:枫雪庭 出处:http://www.cnblogs.com/FengXueTing-px/ 欢迎转载 Ruby学习心得之 Linux下搭建Ruby环境1.前言2.Linux下安装Ruby环境 一 ...
- linux 下搭建php环境
linux 下搭建php环境 1.下载apache (http://httpd.apache.org/download.cgi) 下载php组件 ( http://cn2.php.net/get/ph ...
- linux下搭建lamp环境以及安装swoole扩展
linux下搭建lamp环境以及安装swoole扩展 一.CentOS 6.5使用yum快速搭建LAMP环境 准备工作:先更新一下yum源 我安装的环境是:apache2.2.15+mysql5 ...
- Linux下搭建JSP环境
Linux下搭建JSP环境 作为一名Java EE系统架构工程师,经常需要搭配和建立JSP(Java Server Pages)的开发环境和运行环境,所以本人在平时的工作中积累了一些在Linu ...
随机推荐
- MySQL sql优化(摘抄自文档)
前言 有人反馈之前几篇文章过于理论缺少实际操作细节,这篇文章就多一些可操作性的内容吧. 注:这篇文章是以 MySQL 为背景,很多内容同时适用于其他关系型数据库,需要有一些索引知识为基础. 优化目标 ...
- 1个小时!从零制作一个! AI图片识别WEB应用!
0 前言 近些年来,所谓的人工智能也就是AI. 在媒体的炒作下,变得神乎其神,但实际上,类似于图片识别的AI,其原理只不过是数学的应用. 线性代数,概率论,微积分(著名的反向传播算法). 大家觉得这些 ...
- WPF 截图控件之文字(七)「仿微信」
前言 接着上周写的截图控件继续更新添加 文字. 1.WPF实现截屏「仿微信」 2.WPF 实现截屏控件之移动(二)「仿微信」 3.WPF 截图控件之伸缩(三) 「仿微信」 4.WPF 截图控件之绘制方 ...
- Vue 状态管理之vuex && {mapState,mapGetters}
1 # 一.理解vuex 2 1.概念:专门在Vue中实现集中式状态(数据)管理的一个Vue插件,对vue应用中多个组件的共享状态进行集中式的管理(读写),也是一种组件间通信的方式,且适用于任意组件间 ...
- 6.14 YZBOI模拟赛solution
\(6.14\ YZBOI\)模拟赛\(solution\) 本来不想写题解来着...毕竟是自己找的题还是写一写吧 上午为了整活,就把赛制改成\(IOI\)赛制了,于是乎拯救了大家的\(70pts\) ...
- RGBColor类定义
这个类主要是颜色操作,操作详细原理如下图: 类声明: class RGBColor { public: RGBColor(); ~RGBColor(); RGBColor(ldouble a); RG ...
- Linux 13 配置服务自启动
参考源 https://www.bilibili.com/video/BV187411y7hF?spm_id_from=333.999.0.0 版本 本文章基于 CentOS 7.6 准备 我们通常的 ...
- 稳定好用的短连接生成平台,支持API批量生成
https://www.5w.fit/ 01 安全:快码拥有两种模式:防封模式和极速模式,防封模式使短链更加安全! 02 无流量劫持:快码短链绝不劫持流量! 03 极速:专属大量服务器,支持高并发 ...
- 应用集成-在Hexo、Hugo博客框架中使用Gitalk基于Github上仓库项目的issue无后端服务评论系统实践
关注「WeiyiGeek」公众号 设为「特别关注」每天带你玩转网络安全运维.应用开发.物联网IOT学习! 希望各位看友[关注.点赞.评论.收藏.投币],助力每一个梦想. 本章目录 目录 0x00 Gi ...
- 杀死 Windows 某个端口
进入终端命令行,输入netstat -aon|findstr 3000查找端口号所对应的 PID: 输入指令taskkill /pid 20348 /f: