CentOS7 搭建Kafka(一)zookeeper篇
CentOS7 搭建Kafka(一)zookeeper篇
近几年当红小生Kafka备受各路英雄好汉追捧,一点不比老前辈RabbitMQ和ActiveMQ差,因为流行,所以你就得学啊;我这么懒,肯定是不愿意学的,流行也跟我没啥关系,人工智能那么火我去学了么?好吧,我学了一点放弃了,学渣伤不起。我们部门和各个业务部都有对接,但每个业务部各自为政,还很强势,各种技术都用,稍微有点要求满足不了,那就要到领导去哭诉,所以用RabbitMQ的有、用Kafka的有,用RestfulAPI的有,走FileQueue也有,要直接对接数据库Mysql、SqlServer、MongoDb的也有,你还没辙,都得支持不是,o(︶︿︶)o 唉,还是会哭的孩子有奶吃啊,只能安慰一下自己多学学总归是好的~。
简介
kafka依赖zookeeper和jvm,jvm这里就不再说了,所以要搭建kafka首先要搞定zookeeper。
安装
wget -c -t 100 http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.12/zookeeper-3.4.12.tar.gz
tar -zxvf zookeeper-3.4.12.tar.gz
mv zookeeper-3.4.12 /opt/zookeeper_3.4
mkdir zkdata
mkdir zkdatalog
cd /opt/zookeeper_3.4/conf
cp zoo_sample.cfg zoo.cfg #zoo.cfg是zookeeper的配置文件
vi zoo.cfg
修改相关的值:
tickTime=2000 #作为服务器与服务器或客户端之间的心跳时间间隔
initLimit=10 #接受客户端初始化链接时最长能忍受多少个心跳间隔,当已经超过5个心跳时间长度后还没有收到客户端的返回信息,则表明客户端链接失败
syncLimit=5 #标识Leader和Follower之间请求和应答的时间长度不能操作多少个心跳间隔
dataDir=/opt/zookeeper/zkdata #快照日志的存储路径
dataLogDir=/opt/zookeeper/zkdatalog #事物日志的存储逻辑,如果不配置的话那么事物日志会默认存储到datadir中,会严重影响zookeeper的性能;
clientPort=2181 #客户端链接服务端的端口
集群配置
首先在zoo.cfg中追加:
server.133=192.168.253.133:2888:3888 #集群的配置,没集群你就不用配置啦,server.133中的133用于标识服务器,你用1、2、3也可以,只要是数字就行;
server.134=192.168.253.134:2888:3888 #192.168.253.134:2888:3888中的端口有两个第一个端口是master和slave的通信端口,默认是2888,第二个端口是选举端口,集群刚启动或者leader挂掉的时候的端口,默认是3888
然后在data目录下添加myid文件,存储一个数值作为zookeeper server进程的标识:
133服务器:
echo "133">/opt/zookeeper_3.4/zkdata/myid
134服务器:
echo "134">/opt/zookeeper_3.4/zkdata/myid
启动
/opt/zookeeper_3.4/bin/zkServer.sh start
链接
/opt/zookeeper_3.4/bin/zkCli.sh
关闭
/opt/zookeeper_3.4/bin/zkServer.sh start
CentOS7 搭建Kafka(一)zookeeper篇的更多相关文章
- CentOS7 搭建Kafka(二)kafka篇
CentOS7 搭建Kafka(二)kafka篇 前面我们说了zookeeper的搭建,zookeeper运行后就可以着手搭建kafka了. 必看 喜欢官方文档的请移步:[http://kafka.a ...
- CentOS7 搭建Kafka(三)工具篇
CentOS7 搭建Kafka(三)工具篇 做为一名懒人,自然不喜欢敲那些命令,一个是容易出错,另外一个是懒得记,能有个工具就最好了,一查还挺多,我们用个最主流的Kafka Manager Kafka ...
- centos7搭建kafka集群-第二篇
好了,本篇开始部署kafka集群 Zookeeper集群搭建 注:Kafka集群是把状态保存在Zookeeper中的,首先要搭建Zookeeper集群(也可以用kafka自带的ZK,但不推荐) 1.软 ...
- centOS7安装kafka和zookeeper
wget http://mirrors.hust.edu.cn/apache/kafka/2.0.0/kafka_2.11-2.0.0.tgz tar zxvf kafka_2.-.tgz cd ka ...
- CentOS7搭建 Hadoop + HBase + Zookeeper集群
摘要: 本文主要介绍搭建Hadoop.HBase.Zookeeper集群环境的搭建 一.基础环境准备 1.下载安装包(均使用当前最新的稳定版本,截止至2017年05月24日) 1)jdk-8u131 ...
- centos7搭建kafka集群-第一篇
Kafka初识 1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位 我想对用户 ...
- centOS7搭建hadoop,zookeeper,hbase
1.配置ssh免密登录 (本人使用的是centOS7虚拟机) (本人未在root用户下安装,建议使用root用户,不然很麻烦!!) ① 本机无密钥登录 1.进入~/.ssh目录(若无,则执行一次ssh ...
- centos7搭建kafka集群
一.安装jdk 1.下载jdk压缩包并移动到/usr/local目录 mv jdk-8u162-linux-x64.tar.gz /usr/local 2.解压 tar -zxvf jdk-8u162 ...
- CentOS7搭建Kafka单机环境及基础操作
前提 安装Kafka前需要先安装zookeeper集群,集体安装方法请参照我的另一篇文档. Kafka安装 下载 wget https://archive.apache.org/dist/kafka/ ...
随机推荐
- js中关于new Object时传参的一些细节分析
1, 参数是一个对象,核心js对象(native ECMAScript object)或宿主对象(host object),那么将直接返回该对象. 其生成的对象构造器仍然是所传参数对象的构造器.这样造 ...
- .net 程序集加载,版本不匹配的解决方法
经常有些时候,A.dll引用的是Microsoft.EntityFrameworkCore.dll version=1.0.0.0 publicKeyToken="adb9793829dda ...
- PHP常用的设计模式
工厂模式 工厂模式是我们最常用的实例化对象模式,是用工厂方法代替new操作的一种模式. 使用工厂模式的好处是如果你想要更改所实例化的类名等,则只需要更改该工厂方法内容即可,不需逐一寻找代码中具体实例化 ...
- git学习(1)
一.git fetch 和git pull 的差别 1.git fetch 相当于是从远程获取最新到本地,不会自动merge,如下指令: git fetch orgin master //将远程仓库的 ...
- SqlServer大数据的分区方案
这里介绍的是大数据量的维护日志的分区解决方案: 每个月1张数据表,1个分组文件.31个分区(按每天1个分区).... 为了日后维护方便,直接删除旧的日志数据文件就可以,而不需要去做分区压缩. --用的 ...
- Linux之网络文件共享服务(NFS)
概念: NFS:Network File System 网络文件系统,基于内核的文件系统.Sun公司开发,通过使用NFS,用户和程序可以像访问本地文件一样访问远端系统上的文件,基于RPC(Remote ...
- JAVA中对事物的理解
1.事物是一组操作数据的集合动作 (场景:再开发的时候相信大家都遇到主表和子表的插入问题,当主表插入成功时,子表没有插入成功,这时候我们就要把主表的数据回滚,这个时候我们就要用到事物了) 2.一组处理 ...
- LVM和RAID
RAID: Redundant Arrays of Inexpensive Disks Independent Berkeley: A case for Redundent Arrays of Ine ...
- emacs 定制进缩风格
纵览 emacs 文档中描述,进缩风格实现只需要两步:第一步,根据内容与上下文找到对应的进缩风格的类别:第二步,依据进缩风格决定的表达式锚点的进缩偏移.下面我们对 cc-mode 风格定制加以说明. ...
- scrapy——7 scrapy-redis分布式爬虫,用药助手实战,Boss直聘实战,阿布云代理设置
scrapy——7 什么是scrapy-redis 怎么安装scrapy-redis scrapy-redis常用配置文件 scrapy-redis键名介绍 实战-利用scrapy-redis分布式爬 ...