Ubuntu安装部署Kafka
Ubuntu安装部署Kafka
环境: Ubuntu 18.04.4 LTS ,JDK1.8,kafka_2.12-2.3.1
确保已经安装了JDK,JDK安装过程不再赘述。可参考文章xxxx
一、下载二进制安装包
1.1 官网地址:https://kafka.apache.org/downloads
1.2 国内镜像地址:https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.3.1/
二、安装
2.1 上传二进制安装包到服务器/usr/local
目录下并解压
##进入/usr/local目录
# cd /usr/local
##解压
# tar xvf kafka_2.12-2.3.1.tgz
##创建软链接
# ln -sv kafka_2.12-2.3.1 kafka
2.2 创建kafka的日志目录
# cd /usr/local/kafka
# mkdir logs
2.3 修改配置文件 server.properties
# vim /usr/local/kafka/config/server.properties
修改broker.id的值为1,因为kafka一般线上均为集群部署,所以每个单机有自己的id,本次测试只是单机所以随意设定为1
指定kafka的日志文件目录为2.2所创建的目录
2.4 启动zookeeper
zookeeper可以自己搭建,参考文章xxx。这里我使用kafka自带的zk
# cd /usr/loacl/kafka/
# ./bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
# jps
检查一下是否启动成功,QuorumPeerMain表示启动成功
2.5 启动kafka
# cd /usr/loacl/kafka/
# ./bin/kafka-server-start.sh -daemon config/server.properties
检查一下启动是否成功,kafka占用端口为9092,zookeeper占用端口2181
三、验证
3.1 创建topic
指定zookeeper的地址、端口,副本个数为1(因为我只是单机一个broker) 分区数1 和topic名称test
# cd /usr/local/kafka
# bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
3.2 查看top列表
# cd /usr/local/kafka
# bin/kafka-topics.sh --list --zookeeper localhost:2181
3.3 启动生产者
--broker-list 指定broker集群的端口 多个重甲你用都好隔开 ,--topic指定具体的topic
# cd /usr/local/kafka
# bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
3.4 启动消费者
另开一个终端,启动消费者。指定broker集群的端口 和具体的topic --from-beginning代表从头开始读取消息
# cd /usr/local/kafka
# bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
最终效果
四、命令总结
#启动zookeeper
# bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
#启动kafka服务器
# bin/kafka-server-start.sh config/server.properties
#创建topic
# bin/kafka-topics.sh --create --zookeeper localhost:2181 --repication-factor 1 --partitions 1 --topic test
#查看topic列表
# bin/kafka-topics.sh --list --zookeeper localhost:2181
#启动生产者
# bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
#启动消费者
# bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
>特别鸣谢:
>kafka的下载安装
>ubuntu18.04下Kafka安装与部署
>kafka安装及部署
Ubuntu安装部署Kafka的更多相关文章
- Linux下单机安装部署kafka及代码实现
技术交流群:233513714 这几天研究了kafka的安装及使用,在网上找了很多教程但是均以失败告终,直到最后想起网络方面的问题最终才安装部署成功,下面就介绍一下kafka的安装部署及代码实现 一. ...
- 安装部署Kafka集群
kafka是一个开源的分布式消息订阅系统(消息中间件) 安装过程 1.下载kafka_2.11-0.10.1.0.gz(ps:千万不要下错了,博主就是下到了src文件上去了,kafka中的zookee ...
- ceph学习笔记之十二 Ubuntu安装部署Ceph J版本
https://cloud.tencent.com/info/2b70340c72d893c30f5e124e89c346cd.html 安装Ubuntu系统安装步骤略过 拓扑连接: 一.安装前准备工 ...
- 【kafka】安装部署kafka集群(kafka版本:kafka_2.12-2.3.0)
3.2.1 下载kafka并安装kafka_2.12-2.3.0.tgz tar -zxvf kafka_2.12-2.3.0.tgz 3.2.2 配置kafka集群 在config/server.p ...
- Ansible Ubuntu 安装部署
一.安装: $ sudo apt-get install ansible 二.配置: a.基本配置 $ cd /etc/ansible/ $ sudo cp hosts hosts_back 备份一个 ...
- Kafka介绍及安装部署
本节内容: 消息中间件 消息中间件特点 消息中间件的传递模型 Kafka介绍 安装部署Kafka集群 安装Yahoo kafka manager kafka-manager添加kafka cluste ...
- 消息中间件--kafka(1)安装部署
一.概念 1.什么是kafka Kafka是由Apache软件基金会开发的一个开源的分布式流处理平台,由LinkedIn公司开发,使用 Scala和Java编写.Kafka是一个分布式.分区的.多副本 ...
- 大数据安装之Kafka(用于实时处理的消息队列)
一.安装部署kafka 1.集群规划 hadoop102 hadoop103 hado ...
- 在Ubuntu 12.10 上安装部署Openstack
OpenStack系统有几个关键的项目,它们能够独立地安装但是能够在你的云计算中共同工作.这些项目包括:OpenStack Compute,OpenStack Object Storage,OpenS ...
随机推荐
- 交互-通过axios拦截器添加token认证
通过axios拦截器添加token认证 一.通过axios请求拦截器添加token,保证拥有获取数据的权限 通常访问接口需要相关权限,通常是需要携带token如下所示 那如何在请求头中添加token? ...
- git合并代码到主分支
git合并login分支到master分支 1.首先查看源码状态 git status 2.添加到暂存区 git add . git status //添加到暂存区后再次查看源码状态 3.提交代码到本 ...
- CentOS7启动SSH服务报:Job for ssh.service failed because the control process exited with error code
CentOS7启动SSH服务报:Job for ssh.service failed because the control process exited with error code....... ...
- 怎么用优启通安装win7 !!!!好好好20191020
怎么用优启通安装win7 PE技术探索在国内属于前沿梯队.相关PE工具更新的非常及时,两个月一更新,很赞. 尤其是论坛代表作之一:EasyImageX系统备份恢复镜像工具(集成在PE里面),可以说是用 ...
- 如何使用ghost备份系统?
如何使用ghost备份系统? 如何使用ghost工具电脑系统备份?需要具体的详细步骤 关注者 11 被浏览 13,197 关注问题写回答 邀请回答 添加评论 分享 1 个回答 默认排 ...
- jmeter中beanshell postprocessor结合fastjson库提取不确定个数的json参数
在项目实践中,遇到了这样一个问题.用jmeter作http接口测试,需要的接口参数个数是不确定的.也就是说,在每次测试中,根据情况不同,可能页面中的列表中所含的参数个数是不确定的,那么要提取的参数个数 ...
- C++ STL 里为什么不维护一个 size 成员变量?
回答: 为什么 GCC 里要把 list::size() 的复杂度搞成 O(N)? 一通搜索后终于看到有这样的讨论:关于 list::splice() 函数. list 是链表结构,它的优势就在于可以 ...
- 90%的人都不知道的Node.js 依赖关系管理(上)
转载请注明出处:葡萄城官网,葡萄城为开发者提供专业的开发工具.解决方案和服务,赋能开发者. 原文参考:https://dzone.com/articles/nodejs-dependency-mana ...
- 看完这篇还不懂 MySQL 主从复制,可以回家躺平了~
大家好,我是小羽. 我们在平时工作中,使用最多的数据库就是 MySQL 了,随着业务的增加,如果单单靠一台服务器的话,负载过重,就容易造成宕机. 这样我们保存在 MySQL 数据库的数据就会丢失,那么 ...
- 大数据开发-Flink-窗口全解析
Flink窗口背景 Flink认为Batch是Streaming的一个特例,因此Flink底层引擎是一个流式引擎,在上面实现了流处理和批处理.而Window就是从Streaming到Batch的桥梁. ...