搭建要求:

1.CDH环境已经搭建成功,在CDH上搭建kafka。要求用CDH上zookeeper管理kafka而不用kafka自带的zookeeper

2.kafka_2.11-0.8.2.1.tgz已经上传到kafka集群环境中

搭建步骤

1. 主机操作

改动hosts

10.10.0.11 s1-1

10.10.0.12 s1-2

10.10.0.13 s1-3

10.10.0.14 s1-4

10.10.0.15 s2-1

10.10.0.16 s2-2

10.10.0.17 s2-3

10.10.0.18 s2-4

10.10.0.19 s3-1

10.10.0.20 s3-2

10.10.0.21 s3-3

10.10.0.22 s3-4

10.10.0.23 s4-1

10.10.0.24 s4-2

2. zookeeper操作(13/17/21server)

1.cd /usr/lib/zookeeper/conf/

2.vi zoo.cfg

3.加入下面内容

#kafka server

10.10.0.12 s1-2

10.10.0.16 s2-2

10.10.0.20 s3-2

# zookeeper cluster

server.1=s1-3:2888:3888

server.2=s2-3:2888:3888

server.3=s3-3:2888:3888

4.每台机器上生成myid:

13:

$ echo "1" >/var/lib/zookeeper/myid

17:

$ echo "2" >/var/lib/zookeeper/myid

21:

$ echo "3" >/var/lib/zookeeper/myid

3. kafka操作(12/16/20server)

1.cd /usr/lib/kafka

2.tar -zxvf kafka_2.11-0.8.2.1.tgz

3.cd kafka_2.11-0.8.2.1/config/

4.vi server.properties

broker.id=1,其它两个为2,3

port=9092 其它两个为9093,9094

hostname=10.10.0.12,其它两个为10.10.0.16。10.10.0.20

zookeeper.connect=10.10.0.13:2181,10.10.0.17:2181,10.10.0.21:2181

4.cdh管理界面重新启动zookeeper

依次关闭yarn。HBase,HDFS。zookeeper,然后反顺序开启

5启动kafka

12/16/20

./bin/kafka-server-start.shconfig/server.properties &

6.測试

1.jps显示有kakka

2.  创建Topic

./bin/kafka-topics.sh --create --zookeeper10.10.0.13:2181,10.10.0.17:2181,10.10.0.21:2181 --replication-factor 1 --partitions1 --topic page_visits

3.  查看命令

./bin/kafka-topics.sh --list --zookeeper10.10.0.13:2181,10.10.0.17:2181,10.10.0.21:2181

CDH集群集成kafka的更多相关文章

  1. CDH集群安装&测试总结

    0.绪论 之前完全没有接触过大数据相关的东西,都是书上啊,媒体上各种吹嘘啊,我对大数据,集群啊,分布式计算等等概念真是高山仰止,充满了仰望之情,觉得这些东西是这样的: 当我搭建的过程中,发现这些东西是 ...

  2. CDH集群中YARN的参数配置

    CDH集群中YARN的参数配置 前言:Hadoop 2.0之后,原先的MapReduce不在是简单的离线批处理MR任务的框架,升级为MapReduceV2(Yarn)版本,也就是把资源调度和任务分发两 ...

  3. CentOS7安装CDH 第七章:CDH集群Hadoop的HA配置

    相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...

  4. 相同版本的CDH集群间迁移hdfs以及hbase

    前言 由于项目数据安全的需要,这段时间看了下hadoop的distcp的命令使用,不断的纠结的问度娘,度娘告诉我的结果也让我很纠结,都是抄来抄去, 还好在牺牲大量的时间的基础上还终于搞出来了,顺便写这 ...

  5. Spark集群 + Akka + Kafka + Scala 开发(3) : 开发一个Akka + Spark的应用

    前言 在Spark集群 + Akka + Kafka + Scala 开发(1) : 配置开发环境中,我们已经部署好了一个Spark的开发环境. 在Spark集群 + Akka + Kafka + S ...

  6. Spark集群 + Akka + Kafka + Scala 开发(2) : 开发一个Spark应用

    前言 在Spark集群 + Akka + Kafka + Scala 开发(1) : 配置开发环境,我们已经部署好了一个Spark的开发环境. 本文的目标是写一个Spark应用,并可以在集群中测试. ...

  7. Spark集群 + Akka + Kafka + Scala 开发(1) : 配置开发环境

    目标 配置一个spark standalone集群 + akka + kafka + scala的开发环境. 创建一个基于spark的scala工程,并在spark standalone的集群环境中运 ...

  8. 朝花夕拾之--大数据平台CDH集群离线搭建

    body { border: 1px solid #ddd; outline: 1300px solid #fff; margin: 16px auto; } body .markdown-body ...

  9. Spark集群 + Akka + Kafka + Scala 开发(4) : 开发一个Kafka + Spark的应用

    前言 在Spark集群 + Akka + Kafka + Scala 开发(1) : 配置开发环境中,我们已经部署好了一个Spark的开发环境. 在Spark集群 + Akka + Kafka + S ...

随机推荐

  1. NSByteCountFormatter

    可以将字节转化为我们需要的Kb或者m + (NSString *)stringFromByteCount:(long long)byteCount countStyle:(NSByteCountFor ...

  2. 【bzoj4668】冷战 并查集按秩合并+朴素LCA

    题目描述 1946 年 3 月 5 日,英国前首相温斯顿·丘吉尔在美国富尔顿发表“铁幕演说”,正式拉开了冷战序幕. 美国和苏联同为世界上的“超级大国”,为了争夺世界霸权,两国及其盟国展开了数十年的斗争 ...

  3. 【bzoj2721】[Violet 5]樱花 数论

    题目描述 输入 输出 样例输入 2 样例输出 3 题解 数论 设1/x+1/y=1/m,那么xm+ym=xy,所以xy-xm-ym+m^2=m^2,所以(x-m)(y-m)=m^2. 所以解的数量就是 ...

  4. [TC_SRM_460]TheCitiesAndRoadsDivOne

    [TC_SRM_460]TheCitiesAndRoadsDivOne 试题描述 John and Brus have become very famous people all over the w ...

  5. MFC点击控件拖动窗口

    void CMouseClickDlg::OnLButtonDown(UINT nFlags, CPoint point) { CDialogEx::OnLButtonDown(nFlags, poi ...

  6. mongodb学习(2)--- nodeJS与MongoDB的交互(使用mongodb/node-mongodb-native)

    转载:http://www.cnblogs.com/zhongweiv/p/node_mongodb.html 目录 简介 MongoDB安装(windows) MongoDB基本语法和操作入门(mo ...

  7. pat 团体天梯赛 L2-006. 树的遍历

    L2-006. 树的遍历 时间限制 400 ms 内存限制 65536 kB 代码长度限制 8000 B 判题程序 Standard 作者 陈越 给定一棵二叉树的后序遍历和中序遍历,请你输出其层序遍历 ...

  8. Android开发跳坑记录

    本文主要记录在Android开发中遇见的一些问题,以及解决方法. 2015.12.01 1.adb.exe 端口被占用 解决: http://blog.csdn.net/xiaanming/artic ...

  9. 2017-2018 ACM-ICPC, NEERC, Southern Subregional Contest I. Photo Processing

    题目链接 题意 将一个升序排好的数列切成若干段,要求每段的长度\(\gt k\),对每一段中最大值与最小值的差取个最大值,问这个最大值最小是多少. 思路 二分答案 怎么check呢? dp一下. d[ ...

  10. struts 中继承ActionSupport类

    理论上Struts 2.0的Action无须实现任何接口或继承任何类型,但是,我们为了方便实现Action,大多数情况下都会继承 com.opensymphony.xwork2.ActionSuppo ...