kafka安装流程
本文是作者原创,版权归作者所有.若要转载,请注明出处.
安装前的环境准备
1.由于Kafka是用Scala语言开发的,运行在JVM上,在安装之前需要先安装JDK(省略)
2.kafka依赖zookeeper,所以需要先安装zookeeper,https://zookeeper.apache.org/releases.html
解压zookeeper,安装在/usr/local/java下
tar zxvf zookeeper-3.4.14.tar.gz
进入zk目录
cd zookeeper-3.4.14/
zookeeper的默认配置文件为/conf/zoo_sample.cfg,需要将其修改为zoo.cfg
cp conf/zoo_sample.cfg conf/zoo.cfg
进入zk的bin目录,启动zk服务端,查看zk状态,默认端口2181
cd /usr/local/java/zookeeper-3.4.14/bin
./zkServer.sh start
./zkServer.sh status
添加放行端口
firewall-cmd --zone=public --add-port=2181/tcp --permanent
重启防火墙
firewall-cmd --reload
查看已开放端口:
firewall-cmd --list-all
安装kafka
下载kafka(官网 http://kafka.apache.org/downloads),就按官方推荐的即可
1. 解压安装包,(前面2.12是Scala版本,后面2.4.1是kafka版本),安装在/usr/local/java下
tar zxvf kafka_2.12-2.4.1.tgz
2.修改配置文件 config/server.properties:
#broker.id属性在kafka集群中必须要是唯一 broker.id=0 #kafka部署的机器ip和提供服务的端口号 listeners=PLAINTEXT://localhost:9092 #kafka的消息存储文件 log.dir=/usr/local/java/data/kafka‐logs #kafka连接zookeeper的地址 zookeeper.connect=localhost:2181
3.进入kafka目录,后台启动kafka
bin/kafka-server-start.sh -daemon config/server.properties
4 可以用jps命令,查看有没有kafka的进程
5. 停止kafka服务
bin/kafka-server-stop.sh config/server.properties
6.添加放行端口
firewall-cmd --zone=public --add-port=9302/tcp --permanent
重启防火墙
firewall-cmd --reload
查看已开放端口:
firewall-cmd --list-all
Zk和kafka都启动完成后测试
以下测试命令都在kafka主目录下进行
1. 创建topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
2.查看主题
bin/kafka-topics.sh --list --zookeeper localhost:2181
3. 发送消息
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
4.接收消息
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
5. 查看特定主题的详细信息
bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic test
6 删除主题
kafka安装流程的更多相关文章
- 大数据系列之Kafka安装
先简单说下安装kafka的流程..(可配置多个zookeeper,这篇文只说一个zookeeper场景) 1.环境配置:jdk1.7+ (LZ用的是jdk1.8) 2.资料准备:下载 kafka_2. ...
- iOS 最新版 CocoaPods 的安装流程
iOS 最新版 CocoaPods 的安装流程1.移除现有Ruby默认源$gem sources --remove https://rubygems.org/2.使用新的源$gem sources - ...
- 最新版 CocoaPods 的安装流程
iOS 最新版 CocoaPods 的安装流程 1.移除现有Ruby默认源 $gem sources --remove h ...
- CocoaPods安装流程
iOS 最新版 CocoaPods 的安装流程 1.移除现有Ruby默认源 $gem sources --remove https://rubygems.org/ 2.使用新的源 $g ...
- CentOS 7 64位的安装流程
若出现以下不支持虚拟机的问题: 表示虚拟机检测到CPU支不支持虚拟化,要去BIOS里设置虚拟化技术设置为enabled:重启电脑-按"F1或Fn+F1"-进入BIOS主界面-移至S ...
- Yii2框架与MongoDB拓展、Redis拓展的安装流程
@author 周煦辰 2016-03-21 这段时间新上了一个项目,使用的是Yii2框架.这里记录一下Yii2框架.Yii2-Mongo拓展.Yii2-Redis拓展等的安装流程.因为使用的系统是W ...
- hadoop 之 kafka 安装与 flume -> kafka 整合
62-kafka 安装 : flume 整合 kafka 一.kafka 安装 1.下载 http://kafka.apache.org/downloads.html 2. 解压 tar -zxvf ...
- Kafka安装及部署
安装及部署 一.环境配置 操作系统:Cent OS 7 Kafka版本:0.9.0.0 Kafka官网下载:请点击 JDK版本:1.7.0_51 SSH Secure Shell版本:XShell 5 ...
- Canopy v. 1.5.5 ubuntu安装流程
官网的下载超级慢,还总是断,一断就失败了 我花费了7个小时终于在尝试了5次以后下载成功了,现在将网盘链接分享出来 https://yunpan.cn/cxt28gM26mxQU 访问密码 301d ...
随机推荐
- 使用数据泵,在不知道sys用户密码的情况下导出导入
expdp \"/as sysdba\" directory=my_dir logfile=expdp.log dumpfile=expdp_scott.dmp schemas=s ...
- 死磕以太坊源码分析之Ethash共识算法
死磕以太坊源码分析之Ethash共识算法 代码分支:https://github.com/ethereum/go-ethereum/tree/v1.9.9 引言 目前以太坊中有两个共识算法的实现:cl ...
- 回文数字(Palindrome Number)
总时间限制:1000ms 内存限制: 65536kB 描述 给出一系列非负整数,判断是否是一个回文数.回文数指的是正着写和倒着写相等的数. 输入 一行,一个01字符串. 输出 若干行,每行是一个非负整 ...
- Java中的命名规范。
类:所有单词的首字母大写,如:TestJava. 方法:第1个单词的首字母小写,之后每个单词的首字母大写,如:getInfo(). 属性:第1个单词的首字母小写,之后每个单词的首字母大写,如:stud ...
- Windows 系列GVLK密钥
以下是GVLK密钥版本对照表,可配合KMS服务器进行使用. Windows 系列GVLK密钥 Windows Server 2019 Operating system edition KMS Clie ...
- React Native Android 环境搭建
因为工作需要,最近正在学习React Native Android.温故而知新,把学习的内容记录下来巩固一下知识,也给有需要的人一些帮助. 需要说明的是,我刚接触React Native也不久,对它的 ...
- 万恶的NPE差点让我半个月工资没了
引言 最近看到<阿里巴巴Java开发手册>(公众号回复[开发手册]免费获取)第11条规范写到: 防止 NPE ,是程序员的基本修养 NPE(Null Pointer Exception)一 ...
- Mac如何下载软件
1.App Store 2.软件官网 3.Mac软件网站 4.搜狗微信 个人首选App Store,里面的软件安全可靠,其次就是官网,必不得已才去其他网站下载,毕竟不是App Store或官网 ...
- 运行命令区分webpack环境,以及axios数据请求的封装
在开发环境和线上环境时,由于环境的不同,有时候需要修改一定的代码,可以通过配置webpack环境来减少对代码的修改:另外,有时候去看别人的代码,你可能都找不到他的数据请求在什么位置,最近在做一个vue ...
- jQuery EasyUI学习一
1. jQuery EasyUI介绍 1. 创建组件的方式和原理(掌握) 2. 组件三要素(掌握) 3. Panel.LinkButton.上下文菜单;(掌握) 简介 2.1. jQuer ...