CentOS7 搭建Kafka(一)zookeeper篇

近几年当红小生Kafka备受各路英雄好汉追捧,一点不比老前辈RabbitMQ和ActiveMQ差,因为流行,所以你就得学啊;我这么懒,肯定是不愿意学的,流行也跟我没啥关系,人工智能那么火我去学了么?好吧,我学了一点放弃了,学渣伤不起。我们部门和各个业务部都有对接,但每个业务部各自为政,还很强势,各种技术都用,稍微有点要求满足不了,那就要到领导去哭诉,所以用RabbitMQ的有、用Kafka的有,用RestfulAPI的有,走FileQueue也有,要直接对接数据库Mysql、SqlServer、MongoDb的也有,你还没辙,都得支持不是,o(︶︿︶)o 唉,还是会哭的孩子有奶吃啊,只能安慰一下自己多学学总归是好的~。

简介

kafka依赖zookeeper和jvm,jvm这里就不再说了,所以要搭建kafka首先要搞定zookeeper。

安装

 wget -c -t 100 http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.12/zookeeper-3.4.12.tar.gz
tar -zxvf zookeeper-3.4.12.tar.gz
mv zookeeper-3.4.12 /opt/zookeeper_3.4
mkdir zkdata
mkdir zkdatalog
cd /opt/zookeeper_3.4/conf
cp zoo_sample.cfg zoo.cfg #zoo.cfg是zookeeper的配置文件
vi zoo.cfg

修改相关的值:

tickTime=2000  #作为服务器与服务器或客户端之间的心跳时间间隔
initLimit=10 #接受客户端初始化链接时最长能忍受多少个心跳间隔,当已经超过5个心跳时间长度后还没有收到客户端的返回信息,则表明客户端链接失败
syncLimit=5 #标识Leader和Follower之间请求和应答的时间长度不能操作多少个心跳间隔
dataDir=/opt/zookeeper/zkdata #快照日志的存储路径
dataLogDir=/opt/zookeeper/zkdatalog #事物日志的存储逻辑,如果不配置的话那么事物日志会默认存储到datadir中,会严重影响zookeeper的性能;
clientPort=2181 #客户端链接服务端的端口

集群配置

首先在zoo.cfg中追加:

server.133=192.168.253.133:2888:3888 #集群的配置,没集群你就不用配置啦,server.133中的133用于标识服务器,你用1、2、3也可以,只要是数字就行;
server.134=192.168.253.134:2888:3888 #192.168.253.134:2888:3888中的端口有两个第一个端口是master和slave的通信端口,默认是2888,第二个端口是选举端口,集群刚启动或者leader挂掉的时候的端口,默认是3888

然后在data目录下添加myid文件,存储一个数值作为zookeeper server进程的标识:

133服务器:

echo "133">/opt/zookeeper_3.4/zkdata/myid

134服务器:

echo "134">/opt/zookeeper_3.4/zkdata/myid

启动

/opt/zookeeper_3.4/bin/zkServer.sh start

链接

/opt/zookeeper_3.4/bin/zkCli.sh

关闭

/opt/zookeeper_3.4/bin/zkServer.sh start

CentOS7 搭建Kafka(一)zookeeper篇的更多相关文章

  1. CentOS7 搭建Kafka(二)kafka篇

    CentOS7 搭建Kafka(二)kafka篇 前面我们说了zookeeper的搭建,zookeeper运行后就可以着手搭建kafka了. 必看 喜欢官方文档的请移步:[http://kafka.a ...

  2. CentOS7 搭建Kafka(三)工具篇

    CentOS7 搭建Kafka(三)工具篇 做为一名懒人,自然不喜欢敲那些命令,一个是容易出错,另外一个是懒得记,能有个工具就最好了,一查还挺多,我们用个最主流的Kafka Manager Kafka ...

  3. centos7搭建kafka集群-第二篇

    好了,本篇开始部署kafka集群 Zookeeper集群搭建 注:Kafka集群是把状态保存在Zookeeper中的,首先要搭建Zookeeper集群(也可以用kafka自带的ZK,但不推荐) 1.软 ...

  4. centOS7安装kafka和zookeeper

    wget http://mirrors.hust.edu.cn/apache/kafka/2.0.0/kafka_2.11-2.0.0.tgz tar zxvf kafka_2.-.tgz cd ka ...

  5. CentOS7搭建 Hadoop + HBase + Zookeeper集群

    摘要: 本文主要介绍搭建Hadoop.HBase.Zookeeper集群环境的搭建 一.基础环境准备 1.下载安装包(均使用当前最新的稳定版本,截止至2017年05月24日) 1)jdk-8u131 ...

  6. centos7搭建kafka集群-第一篇

    Kafka初识 1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位 我想对用户 ...

  7. centOS7搭建hadoop,zookeeper,hbase

    1.配置ssh免密登录 (本人使用的是centOS7虚拟机) (本人未在root用户下安装,建议使用root用户,不然很麻烦!!) ① 本机无密钥登录 1.进入~/.ssh目录(若无,则执行一次ssh ...

  8. centos7搭建kafka集群

    一.安装jdk 1.下载jdk压缩包并移动到/usr/local目录 mv jdk-8u162-linux-x64.tar.gz /usr/local 2.解压 tar -zxvf jdk-8u162 ...

  9. CentOS7搭建Kafka单机环境及基础操作

    前提 安装Kafka前需要先安装zookeeper集群,集体安装方法请参照我的另一篇文档. Kafka安装 下载 wget https://archive.apache.org/dist/kafka/ ...

随机推荐

  1. CAD把一个DWG文件中的多个图框一次性全部插入到打开的DWG文件中

    主要用到函数说明: _DMxDrawX::InsertBlock 向控件数据库中插入一个图块,不用它插入匿名块,详细说明如下: 参数 说明 BSTR pszDwgFileName 图块定义的dwg 文 ...

  2. Ansible 利用playbook批量部署Nginx

    我这里直接部署的,环境已经搭建好,如果不知道的小伙伴可以看上一遍ansible搭建,都写好了,这里是根据前面环境部署的 192.168.30.21     ansible 192.168.30.25  ...

  3. P4047 [JSOI2010]部落划分(最小生成树)

    题目描述 聪聪研究发现,荒岛野人总是过着群居的生活,但是,并不是整个荒岛上的所有野人都属于同一个部落,野人们总是拉帮结派形成属于自己的部落,不同的部落之间则经常发生争斗.只是,这一切都成为谜团了——聪 ...

  4. scrapy实例matplotlib脚本下载

    利用scrapy框架实现matplotlib实例脚本批量下载至本地并进行文件夹分类:话不多说上代码: 首先是爬虫代码: import scrapy from scrapy.linkextractors ...

  5. cxf 和 httpclient 客户端调用 webservice 接口

    一.cxf 生成 webservice 客户端 1.接口路径 http://ws.webxml.com.cn/WebServices/WeatherWS.asmx 2.进入你需要放置 webservi ...

  6. BNUOJ 1021 信息战(七)——情报传递

    信息战(七)——情报传递 Time Limit: 3000ms Memory Limit: 262144KB 64-bit integer IO format: %lld      Java clas ...

  7. POJ2001 Shortest Prefixes (Trie树)

    直接用Trie树即可. 每个节点统计经过该点的单词数,遍历时当经过的单词数为1时即为合法的前缀. type arr=record next:array['a'..'z'] of longint; w: ...

  8. nyoj_171_聪明的kk_201402281518

    聪明的kk时间限制:1000 ms  |  内存限制:65535 KB 难度:3描述 聪明的“KK”非洲某国展馆的设计灵感源于富有传奇色彩的沙漠中陡然起伏的沙丘,体现出本国不断变换和绚丽多彩的自然风光 ...

  9. Spring MVC-视图解析器(View Resolverr)-资源包视图解析器(Resource Bundle View Resolver)示例(转载实践)

    以下内容翻译自:https://www.tutorialspoint.com/springmvc/springmvc_resourcebundleviewresolver.htm 说明:示例基于Spr ...

  10. [Python]Django部署问题

    给客户部署系统 Apache + mod_wsgi + django 打开浏览器妈的死活就是pending状态 运来mod_wsgi用的32位,操作系统64位(window server 2003 r ...