kafka单机版的安装、集群部署 及使用
1.安装kafka(单机版)
1.1上传 kafka_2.11-2.0.0.tgz 到 /root/Downloads
1.2解压 tar 包
tar -zxvf kafka_2.11-2.0.0.tgz
解压后:kafka_2.11-2.0.0
1.3删除 LICENSE、NOTICE 、site-docs
rm -rf LICENSE NOTICE site-docs
1.4
1.4.1启动kafka单机版的命令(在启动kafka之前先启动zookeeper)
kafka的libs文件夹中内置了zookeeper
1.4.2 在kafka的bin目录下启动
./zookeeper-server-start.sh ../config/zookeeper.properties
在启动该命令之后,可以在该虚拟机上查看进程
1.4.3接下来,在bin目录下启动kafka
./kafka-server-start.sh ../config/server.properties
再次查看进程
1.5 开始使用kafka
1.5.1 topic是用来放消息的,也可以做消息分类
创建topic,在bin目录下
./kafka-topics.sh --create --zookeeper zhangqi:2181 --replication-factor 1 --partitions 1 --topic test
1.5.2 查看topic
./kafka-topics.sh --list --zookeeper zhangqi:2181
1.5.3 启动生产者
./kafka-console-producer.sh --broker-list zhangqi:9092 --topic test
启动消费者
./kafka-console-consumer.sh --bootstrap-server zhangqi:9092 --topic test
生产者的作用:往topic里生产数据。生产者可以是java客户端、flume等
消费者的作用:消费topic里的数据。消费者可以是java客户端、spark streaming等
什么叫broker(代理)?安装了kafka服务的机器
1.5.4 消费者可以接收,生成者生成的数据
消费者可以接收,生成者生成的数据,如果不指定 --from-beginning 那么消费者消费的是最新的数据。指定了之后也可以消费以前的数据
1.5.5 消费者,可以消费之前产生的数据
./kafka-console-consumer.sh --bootstrap-server zhangqi:9092 --topic test --from-beginning
2.kafka集群部署
分别往192.168.115.11、192.168.115.12、192.168.115.13这三台虚拟机上安装kafka
2.1 将安装好的一台分别拷贝到其余2台
2.2 修改 /root/Downloads/kafka_2.11-2.0.0/config/server.properties文件里的broker.id
修改kafka运行日志存放的路径
配置连接zookeeper集群地址
2.3集群配置成功
kafka单机版的安装、集群部署 及使用的更多相关文章
- kafka学习总结之集群部署和zookeeper
1. 集群部署 kafka集群的瓶颈主要在网络和磁盘上:kafka依赖于zookeeper,zookeeper集群的节点采用奇数个,3个节点允许一个节点失败,5个节点允许2个节点失败. 图 1 ka ...
- Kafka入门初探+伪集群部署
Kafka是目前非常流行的消息队列中间件,常用于做普通的消息队列.网站的活性数据分析(PV.流量.点击量等).日志的搜集(对接大数据存储引擎做离线分析). 全部内容来自网络,可信度有待考证!如有问题, ...
- 02_Storm集群部署
1. 部署前的硬件及软件检查 硬件要求 1)storm集群部署包括zookeeper部署,而zookeeper集群最小为3台机器2)storm的计算过程都在内存中完成,因此内存要尽量大3)storm少 ...
- Kafka集群部署
一. 关于kafka Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据. 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键 ...
- 消息中间件kafka+zookeeper集群部署、测试与应用
业务系统中,通常会遇到这些场景:A系统向B系统主动推送一个处理请求:A系统向B系统发送一个业务处理请求,因为某些原因(断电.宕机..),B业务系统挂机了,A系统发起的请求处理失败:前端应用并发量过大, ...
- Zookeeper+Kafka集群部署(转)
Zookeeper+Kafka集群部署 主机规划: 10.200.3.85 Kafka+ZooKeeper 10.200.3.86 Kafka+ZooKeeper 10.200.3.87 Kaf ...
- Zookeeper+Kafka集群部署
Zookeeper+Kafka集群部署 主机规划: 10.200.3.85 Kafka+ZooKeeper 10.200.3.86 Kafka+ZooKeeper 10.200.3.87 Kaf ...
- Kafka集群部署 (守护进程启动)
1.Kafka集群部署 1.1集群部署的基本流程 下载安装包.解压安装包.修改配置文件.分发安装包.启动集群 1.2集群部署的基础环境准备 安装前的准备工作(zk集群已经部署完毕) 关闭防火墙 c ...
- 流量分析系统---kafka集群部署
1.集群部署的基本流程 Storm上游数据源之Kakfa 下载安装包.解压安装包.修改配置文件.分发安装包.启动集群 2.基础环境准备 安装前的准备工作(zk集群已经部署完毕) 关闭防火墙 chk ...
随机推荐
- idea 查看字节码 bytecode插件 (jclasslib Bytecode Viewer、ASM Bytecode Viewer )
文章目录 jclasslib Bytecode Viewer ASM Bytecode Viewer jclasslib Bytecode Viewer 然后重启idea===>重新编译(构建项 ...
- HBase 入门之数据刷写(Memstore Flush)详细说明
接触过 HBase 的同学应该对 HBase 写数据的过程比较熟悉(不熟悉也没关系).HBase 写数据(比如 put.delete)的时候,都是写 WAL(假设 WAL 没有被关闭) ,然后将数据写 ...
- 运维 05 Shell基本命令
Shell基本命令 前言 前面咱们已经成功安装了Linux系统--centos7,那么现在跟着超哥奔向Linux的大门. Linux命令行的组成结构 [root@oldboy_python ~]# ...
- 十次艳遇单例设计模式(Singleton Pattern)
1.引言 单例设计模式(Singleton Pattern)是最简单且常见的设计模式之一,在它的核心结构中只包含一个被称为单例的特殊类.通过单例模式可以保证系统中一个类只有一个实例而且该实例易于外界访 ...
- HashMap的hash分析
哈希 Hash,一般翻译做“散列”,也有直接音译为“哈希”的,就是把任意长度的输入,通过散列算法,变换成固定长度的输出,该输出就是散列值.这种转换是一种压缩映射,也就是,散列值的空间通常远小于输入的空 ...
- 浅谈异步上传插件 jquery-file-upload插件
当我们需要异步上传文件的时候,我们倾向于在网上查找相关的JQuery插件,jquery-file-upload就是我们经常看到的,但是他的主页是英文的,对于我们这些英语比较差的同学来说,简直就是... ...
- PHP实现上传视频的功能
首先前台HTML表单代码如下: <html> <head> <meta http-equiv="Content-Type" content=" ...
- Xversion for Mac优秀的SVN客户端功能特色介绍
xversion for mac是一款专为macOS打造的svn客户端,该软件拥有一个设计精美的界面以及全面的功能,简介的用户界面可以让您做到无需浏览用户手册即可熟练使用.xversion支持从最开始 ...
- spring约束
<?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.sp ...
- 批量更新数据(BatchUpdate)
批量更新数据(BatchUpdate) /// <summary> /// 批量更新数据,注意:如果有timestamp列,要移除 /// </summary> /// < ...