kafka单机版的安装、集群部署 及使用
1.安装kafka(单机版)
1.1上传 kafka_2.11-2.0.0.tgz 到 /root/Downloads
1.2解压 tar 包
tar -zxvf kafka_2.11-2.0.0.tgz
解压后:kafka_2.11-2.0.0
1.3删除 LICENSE、NOTICE 、site-docs
rm -rf LICENSE NOTICE site-docs
1.4
1.4.1启动kafka单机版的命令(在启动kafka之前先启动zookeeper)
kafka的libs文件夹中内置了zookeeper
1.4.2 在kafka的bin目录下启动
./zookeeper-server-start.sh ../config/zookeeper.properties
在启动该命令之后,可以在该虚拟机上查看进程
1.4.3接下来,在bin目录下启动kafka
./kafka-server-start.sh ../config/server.properties
再次查看进程
1.5 开始使用kafka
1.5.1 topic是用来放消息的,也可以做消息分类
创建topic,在bin目录下
./kafka-topics.sh --create --zookeeper zhangqi:2181 --replication-factor 1 --partitions 1 --topic test
1.5.2 查看topic
./kafka-topics.sh --list --zookeeper zhangqi:2181
1.5.3 启动生产者
./kafka-console-producer.sh --broker-list zhangqi:9092 --topic test
启动消费者
./kafka-console-consumer.sh --bootstrap-server zhangqi:9092 --topic test
生产者的作用:往topic里生产数据。生产者可以是java客户端、flume等
消费者的作用:消费topic里的数据。消费者可以是java客户端、spark streaming等
什么叫broker(代理)?安装了kafka服务的机器
1.5.4 消费者可以接收,生成者生成的数据
消费者可以接收,生成者生成的数据,如果不指定 --from-beginning 那么消费者消费的是最新的数据。指定了之后也可以消费以前的数据
1.5.5 消费者,可以消费之前产生的数据
./kafka-console-consumer.sh --bootstrap-server zhangqi:9092 --topic test --from-beginning
2.kafka集群部署
分别往192.168.115.11、192.168.115.12、192.168.115.13这三台虚拟机上安装kafka
2.1 将安装好的一台分别拷贝到其余2台
2.2 修改 /root/Downloads/kafka_2.11-2.0.0/config/server.properties文件里的broker.id
修改kafka运行日志存放的路径
配置连接zookeeper集群地址
2.3集群配置成功
kafka单机版的安装、集群部署 及使用的更多相关文章
- kafka学习总结之集群部署和zookeeper
1. 集群部署 kafka集群的瓶颈主要在网络和磁盘上:kafka依赖于zookeeper,zookeeper集群的节点采用奇数个,3个节点允许一个节点失败,5个节点允许2个节点失败. 图 1 ka ...
- Kafka入门初探+伪集群部署
Kafka是目前非常流行的消息队列中间件,常用于做普通的消息队列.网站的活性数据分析(PV.流量.点击量等).日志的搜集(对接大数据存储引擎做离线分析). 全部内容来自网络,可信度有待考证!如有问题, ...
- 02_Storm集群部署
1. 部署前的硬件及软件检查 硬件要求 1)storm集群部署包括zookeeper部署,而zookeeper集群最小为3台机器2)storm的计算过程都在内存中完成,因此内存要尽量大3)storm少 ...
- Kafka集群部署
一. 关于kafka Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据. 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键 ...
- 消息中间件kafka+zookeeper集群部署、测试与应用
业务系统中,通常会遇到这些场景:A系统向B系统主动推送一个处理请求:A系统向B系统发送一个业务处理请求,因为某些原因(断电.宕机..),B业务系统挂机了,A系统发起的请求处理失败:前端应用并发量过大, ...
- Zookeeper+Kafka集群部署(转)
Zookeeper+Kafka集群部署 主机规划: 10.200.3.85 Kafka+ZooKeeper 10.200.3.86 Kafka+ZooKeeper 10.200.3.87 Kaf ...
- Zookeeper+Kafka集群部署
Zookeeper+Kafka集群部署 主机规划: 10.200.3.85 Kafka+ZooKeeper 10.200.3.86 Kafka+ZooKeeper 10.200.3.87 Kaf ...
- Kafka集群部署 (守护进程启动)
1.Kafka集群部署 1.1集群部署的基本流程 下载安装包.解压安装包.修改配置文件.分发安装包.启动集群 1.2集群部署的基础环境准备 安装前的准备工作(zk集群已经部署完毕) 关闭防火墙 c ...
- 流量分析系统---kafka集群部署
1.集群部署的基本流程 Storm上游数据源之Kakfa 下载安装包.解压安装包.修改配置文件.分发安装包.启动集群 2.基础环境准备 安装前的准备工作(zk集群已经部署完毕) 关闭防火墙 chk ...
随机推荐
- main()和代码块
main方法 * main()方法的使用说明 * main方法是程序的主入口(一个主程序 先从main开始进行执行) * * * main方法也可以是一个普通的静态方法 代码块 代码块也是类的成员变量 ...
- 对业务类进行构造的工厂类BLLFactory
using System; using System.Collections.Generic; using System.Text; using System.Collections; using W ...
- tdom中selectNodes的使用
tdom中selectNodes的使用 */--> pre.src {background-color: #002b36; color: #839496;} pre.src {backgroun ...
- UVA 12821 Double Shortest Paths
Double Shortest PathsAlice and Bob are walking in an ancient maze with a lot of caves and one-way pa ...
- im开发总结:netty的使用
最近公司在做一个im群聊的开发,技术使用得非常多,各种代码封装得也是十分优美,使用到了netty,zookeeper,redis,线程池·,mongdb,lua,等系列的技术 netty是对nio的一 ...
- android 样式和主题
- jq 将translate的旋转角度转为数值
// 将translate内的角度转为数值 function getmatrix(nowDeg){ var values = nowDeg.split('(')[1].split(')')[0].sp ...
- 配置基于python的VIM环境
配置基于python的VIM环境 安装插件管理工具 为防止过多插件管理的麻烦,首先安装vim的插件管理工具Vundle.vundle本身的github软件已经有相关的中文文档,地址如下: vundle ...
- STL_Algorithm
#include <algorithm> #include <cstdio> using namespace std; /*虽然最后一个排列没有下一个排列,用next_perm ...
- mac 命令行
本文为使用到过的命令行,仅方便自己查阅 1.进入目录文件 cd name name为文件名 2.返回上一级目录 cd ../ 3.创建文件夹 mkdir name 4.删除文件夹(文件夹下不能包含文件 ...