centos7下kafka集群安装部署
应用摘要:
Apache kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的
分布式发布订阅消息系统,是消息中间件的一种,用于构建实时数据管道和流应用程序,很火!
Kafka官网:http://kafka.apache.org/
学习推荐 :http://orchome.com/kafka/index
官网下载 :http://kafka.apache.org/downloads
安装环境:
Kafka集群环境搭建,需要准备好一个zookeeper环境(集群),zk集群部署:>> 点击这里 <<
说明:kafka名中的2.12是Scala语言版本,后面的0.11.0.2是kafka版本,端口默认为9092。
2. 编辑配置文件
进入到config目录,编辑配置文件:server.properties
[root@server- config]# vim server.properties
其他配置可以保持默认,保持,退出;
参数说明可以参考:http://orchome.com/12 或者 http://blog.csdn.net/lizhitao/article/details/25667831
同样的操作在server-2和server-3上修改一下broker.id和host.name,不再赘述。
3. 启动Kafka
切换到bin目录中,查看相关脚本:
[root@server- bin]# ./kafka-server-start.sh -daemon ../config/server.properties // -daemon:以后台方式启动
查看9092端口状态,确保服务已经启动;
同样的,启动server-2和server-3:
[root@server- bin]# ./kafka-server-start.sh -daemon ../config/server.properties
[root@server- bin]# ./kafka-server-start.sh -daemon ../config/server.properties
至此,kafka安装启动完成。
关闭命令: [root@server- bin]# ./kafka-server-stop.sh //不带任何参数即可
4. 检查测试
在上一篇部署zookeeper集群的时候提到连接kafka使用的时候,里面除了zookeeper之外还有其他内容,来查看一下。
登录zookeeper(切换到zk的bin目录下),先连接zk:
[root@server- bin]# ./zkCli.sh -server 192.168.1.21:
[zk: 192.168.1.21:(CONNECTED) ] ls / cluster controller controller_epoch brokers
zookeeper admin isr_change_notification consumers
latest_producer_id_block config
[zk: 192.168.1.21:(CONNECTED) ] ls /brokers
[ids, topics, seqid]
[zk: 192.168.1.21:(CONNECTED) ] ls /brokers/ids
[, , ]
[zk: 192.168.1.21:(CONNECTED) ]
说明:zookeeper集群建好之后,通过“ls /”出来的只有zookeeper,连接kafka使用后,/ 下面多了不少东西,其中通过查看/brokers/ids可以
发现已经检查到了已经安装的三台kafka的broker.id[1,2,3]。
具体Kafka常见操作见下一篇:kafka命令行常见使用
结束.
centos7下kafka集群安装部署的更多相关文章
- centos7下zookeeper集群安装部署
应用场景:ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件. 它是一个为分布式应用提供一致性服务的软 ...
- Centos7.4 kafka集群安装与kafka-eagle1.3.9的安装
Centos7.4 kafka集群安装与kafka-eagle1.3.9的安装 集群规划: hostname Zookeeper Kafka kafka-eagle kafka01 √ √ √ kaf ...
- kafka集群安装部署
kafka集群安装 使用的版本 系统:centos6.5 centos6.7 jdk:1.7.0_79 zookeeper:3.4.9 kafka:2.10-0.10.1.0 一.环境准备[只列,不具 ...
- Kafka集群安装部署、Kafka生产者、Kafka消费者
Storm上游数据源之Kakfa 目标: 理解Storm消费的数据来源.理解JMS规范.理解Kafka核心组件.掌握Kakfa生产者API.掌握Kafka消费者API.对流式计算的生态环境有深入的了解 ...
- Linux 下Redis集群安装部署及使用详解(在线和离线两种安装+相关错误解决方案)
一.应用场景介绍 本文主要是介绍Redis集群在Linux环境下的安装讲解,其中主要包括在联网的Linux环境和脱机的Linux环境下是如何安装的.因为大多数时候,公司的生产环境是在内网环境下,无外网 ...
- Kafka 集群安装部署
2.1 安装部署 2.1.1 集群规划 192.168.1.102 192.168.1.103 192.168.1.104 zookeeper zookeeper zookeeper kafka ka ...
- centos7:Kafka集群安装
解压文件到安装目录 tar -zxvf kafka_2.10-0.10.2.1.tgz 1.进入目录 cd kafka_2.10-0.10.2.1 mkdir logs cd config cp se ...
- Elasticsearch学习总结 (Centos7下Elasticsearch集群部署记录)
一. ElasticSearch简单介绍 ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口.Elasticse ...
- 原创:centos7.1下 ZooKeeper 集群安装配置+Python实战范例
centos7.1下 ZooKeeper 集群安装配置+Python实战范例 下载:http://apache.fayea.com/zookeeper/zookeeper-3.4.9/zookeepe ...
随机推荐
- 批量处理word所有回车行
在WORD中点击CTRL+H,弹出对话框,输入如下替换符
- windows浏览器访问虚拟机开的rabbitmq服务,无法访问
根据这个博主的建议 https://blog.csdn.net/csdnliuxin123524/article/details/78207427 换了一个浏览器上火狐浏览器输入“localhost: ...
- Python的web编程
1.urlparse模块 urlparse.urlparse() 将一个url转化为(prot_sch, net_loc, path, params, query, frag)的元组 url ...
- html5 表單輸入類型
輸入類型有:email,url,number,range,Date pickers(工作機制是什麼),search, 有相關類型的輸入域,會對域進行驗證. 不同的瀏覽器並不一定都支持所有的輸入類型.
- Hbase和Oracle的对比
转自:http://www.cnblogs.com/chay1227/archive/2013/03/17/2964020.html 转自:http://blog.csdn.net/allen879/ ...
- oss命令使用
下载文件夹 ossutil64 cp oss://folder/ out_folder/ -r --jobs 20
- 两种从spring容器获取bean方式
- Nginx 热部署最版本
L10 进入nginx里的sbin目录 拷贝原先的做备份 cp nginx nginx.old 然后将已经编译好的nginx二进制文件复制到sbin目录下并覆盖原有的二进制文件 kill -USR2 ...
- 【Python】一份非常好的Matplotlib教程
Matplotlib 教程 本文为译文,原文载于此,译文原载于此.本文欢迎转载,但请保留本段文字,尊重作者和译者的权益.谢谢.: ) 介绍 Matplotlib 可能是 Python 2D-绘图领域使 ...
- HTML5-SVG-基础篇
什么是SVG? SVG 指可伸缩矢量图形 (Scalable Vector Graphics) SVG 用于定义用于网络的基于矢量的图形 SVG 使用 XML 格式定义图形 SVG 图像在放大或改变尺 ...