2.kafka 分布式集群安装
Kafka集群安装
主节点h201,从节点h202、h203
1.安装jdk1.8
[hadoop@h201 ~]$ /usr/jdk1.8.0_144/bin/java -version
2.安装zookeeper
kafka集群需要 zookeeper支持
[hadoop@h201 ~]$ tar -zxvf zookeeper-3.4.5-cdh5.5.2.tar.gz
[hadoop@h201 zookeeper-3.4.5-cdh5.5.2]$ mkdir data
[hadoop@h201 zookeeper-3.4.5-cdh5.5.2]$ mkdir log
[hadoop@h201 conf]$ vi zoo.cfg
tickTime=2000
#心跳的时间间隔
initLimit=10
#初始化连接时最长能忍受多少个心跳时间间隔数
syncLimit=5
#Leader 与Follower 之间发送消息,请求和应答时间长度
dataDir=/home/hadoop/zookeeper-3.4.5-cdh5.5.2/data
dataLogDir=/home/hadoop/zookeeper-3.4.5-cdh5.5.2/data
clientPort=2181
server.1=192.168.8.201:2888:3888
server.2=192.168.8.202:2888:3888
server.3=192.168.8.203:2888:3888
[hadoop@h201 ~]$ scp -r zookeeper-3.4.5-cdh5.5.2 h202:/home/hadoop/
[hadoop@h201 ~]$ scp -r zookeeper-3.4.5-cdh5.5.2 h203:/home/hadoop/
[hadoop@h201 ~]$ echo "1" > zookeeper-3.4.5-cdh5.5.2/data/myid
[hadoop@h202 ~]$ echo "2" > zookeeper-3.4.5-cdh5.5.2/data/myid
[hadoop@h203 ~]$ echo "3" > zookeeper-3.4.5-cdh5.5.2/data/myid
3.kafka安装 (集群安装模式)
[hadoop@h201 ~]$tar -zxvf kafka_2.12-0.10.2.1.tgz
[hadoop@h201kafka_2.12-0.10.2.1]$ mkdir kafkalogs
[hadoop@h201kafka_2.12-0.10.2.1]$ cd config
[hadoop@h201 config]$ vi server.properties
#broker.id=0
#每台节点唯一
#zookeeper.connect=localhost:2181
#关闭kafka自带的zk
#log.dirs=/tmp/kafka-logs
host.name=h201
#每节点的地址
log.dirs=/home/hadoop/kafka_2.12-0.10.2.1/kafkalogs
message.max.byte=5242880
default.replication.factor=2
replica.fetch.max.bytes=5242880
broker.id=1
port=9092
zookeeper.connect=h201:2181,h202:2181,h203:2181
########禁用原始的broker.id=0#########
[hadoop@h201 ~]$ scp -r kafka_2.12-0.10.2.1 h202:/home/hadoop/
[hadoop@h202 config]$ vi server.properties
修改
host.name=h202
broker.id=2
[hadoop@h201 ~]$ scp -r kafka_2.12-0.10.2.1 h203:/home/hadoop/
[hadoop@h203 config]$ vi server.properties
修改
host.name=h203
broker.id=3
启动服务
[hadoop@h201 zookeeper-3.4.5-cdh5.5.2]$ bin/zkServer.sh start
[hadoop@h202 zookeeper-3.4.5-cdh5.5.2]$ bin/zkServer.sh start
[hadoop@h203 zookeeper-3.4.5-cdh5.5.2]$ bin/zkServer.sh start
[hadoop@h201kafka_2.12-0.10.2.1]$ bin/kafka-server-start.sh config/server.properties &
[hadoop@h202kafka_2.12-0.10.2.1]$ bin/kafka-server-start.sh config/server.properties &
[hadoop@h203kafka_2.12-0.10.2.1]$ bin/kafka-server-start.sh config/server.properties &
[hadoop@h201kafka_2.12-0.10.2.1]$jps
2.kafka 分布式集群安装的更多相关文章
- (转)ZooKeeper伪分布式集群安装及使用
转自:http://blog.fens.me/hadoop-zookeeper-intro/ 前言 ZooKeeper是Hadoop家族的一款高性能的分布式协作的产品.在单机中,系统协作大都是进程级的 ...
- hadoop学习之hadoop完全分布式集群安装
注:本文的主要目的是为了记录自己的学习过程,也方便与大家做交流.转载请注明来自: http://blog.csdn.net/ab198604/article/details/8250461 要想深入的 ...
- HBase 1.2.6 完全分布式集群安装部署详细过程
Apache HBase 是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,是NoSQL数据库,基于Google Bigtable思想的开源实现,可在廉价的PC Server上搭建大规模结构化存 ...
- 一张图讲解最少机器搭建FastDFS高可用分布式集群安装说明
很幸运参与零售云快消平台的公有云搭建及孵化项目.零售云快消平台源于零售云家电3C平台私有项目,是与公司业务强耦合的.为了适用于全场景全品类平台,集团要求项目平台化,我们抢先并承担了此任务.并由我来主 ...
- ZooKeeper伪分布式集群安装及使用
ZooKeeper伪分布式集群安装及使用 让Hadoop跑在云端系列文章,介绍了如何整合虚拟化和Hadoop,让Hadoop集群跑在VPS虚拟主机上,通过云向用户提供存储和计算的服务. 现在硬件越来越 ...
- kafka2.9.2的伪分布式集群安装和demo(java api)测试
目录: 一.什么是kafka? 二.kafka的官方网站在哪里? 三.在哪里下载?需要哪些组件的支持? 四.如何安装? 五.FAQ 六.扩展阅读 一.什么是kafka? kafka是LinkedI ...
- ubuntu12.04+kafka2.9.2+zookeeper3.4.5的伪分布式集群安装和demo(java api)测试
博文作者:迦壹 博客地址:http://idoall.org/home.php?mod=space&uid=1&do=blog&id=547 转载声明:可以转载, 但必须以超链 ...
- Kafka分布式集群部署
这个是kafka的官网地址:http://kafka.apache.org/ 1.kafka是一个消息系统. 2.kafka对流数据可以高效的实时处理. 3.分布式集群的环境下能够保证数据的安全. k ...
- Spark On YARN 分布式集群安装
一.导读 最近开始学习大数据分析,说到大数据分析,就必须提到Hadoop与Spark.要研究大数据分析,就必须安装这两个软件,特此记录一下安装过程.Hadoop使用V2版本,Hadoop有单机.伪分布 ...
随机推荐
- springMvc将对象json返回时自动忽略掉对象中的特定属性的注解方式
1.注解使用在 类名,接口头上 @JsonIgnoreProperties(value={"comid"}) //希望动态过滤掉的属性 例 @JsonIgnorePropertie ...
- 《精通CSS第3版》(3)可见格式化模型+(4)网页排版
- WebGL学习笔记(五):变换库
在WebGL开始绘制之前,我们需要通过自己对3D空间进行矩阵和向量的运算,使用网上已经成熟的转换库,可以避免自己去实现这些复杂的数学运算. 我们这里选择的是gl-matrix库,下载地址:https: ...
- Pytorch 类别平衡化处理
采用 WeightedRandomSampler: def make_weights_for_balanced_classes(images, nclasses): count = [0] * nc ...
- Xcode UI界面调试神器-injectionIII
App Store搜索injectionIII下载即可,免费的哟. 打开injectionIII,运行即可. - (BOOL)application:(UIApplication *)applicat ...
- 导入一个eclipse的java项目到IDEA报Cannot find JDK '1.7' for module 'TEST'
解决办法: 右键你的项目--------------->OPen module settings 将dependencies里面的module sdk改成你安装的java版本就可以了(比如我电脑 ...
- vue地图可视化 ArcGIS篇
ArcGIS for javascript开发心得 本次实例中采用ArcGIS for javascript3.24版本,由于版本3与4在API等存在较大区别,就不一一列举,详细区别看官方解释arcg ...
- [LeetCode] 269. Alien Dictionary 外文字典
There is a new alien language which uses the latin alphabet. However, the order among letters are un ...
- GitLab - GitLab的备份与还原
1 - GitLab配置文件 GitLab默认的配置文件路径:/etc/gitlab/ /etc/gitlab/gitlab.rb:主配置文件,包含外部URL.仓库目录.备份目录等 /etc/gitl ...
- odoo 上下文
order = self.env[model].browse(id)if order: order.with_context(write_type='voucher_generation').writ ...