CentOS6安装各种大数据软件 第五章:Kafka集群的配置
相关文章链接
CentOS6安装各种大数据软件 第二章:Linux各个软件启动命令
CentOS6安装各种大数据软件 第三章:Linux基础软件的安装
CentOS6安装各种大数据软件 第四章:Hadoop分布式集群配置
CentOS6安装各种大数据软件 第五章:Kafka集群的配置
CentOS6安装各种大数据软件 第六章:HBase分布式集群的配置
CentOS6安装各种大数据软件 第七章:Flume安装与配置
CentOS6安装各种大数据软件 第八章:Hive安装和配置
CentOS6安装各种大数据软件 第九章:Hue大数据可视化工具安装和配置
CentOS6安装各种大数据软件 第十章:Spark集群安装和部署
1. Kafka集群的安装准备
1.1. 选择安装Kafka的版本
由于kafka是scala语言编写的,基于scala的多个版本,kafka发布了多个版本。
其中2.11是推荐版本。
1.2. 下载并解压安装包
解压文件,删除之前的的安装记录,并重命名
tar -zxvf kafka_2.11-1.0.0.tgz -C /export/servers/
cd /export/servers/
rm -rf /export/servers/kafka
rm -rf /export/logs/kafka/
rm -rf /export/data/kafka
mv kafka_2.11-1.0.0 kafka
2. 查看目录及修改配置文件
2.1. 查看目录
2.2. 修改配置文件
进入配置目录,查看server.properties文件
可以通过cat server.properties |grep -v "#"目录过滤掉带有#的注释行数
修改三个地方
1)Borker.id
2)数据存放的目录,注意目录如果不存在,需要新建下。
3)zookeeper的地址信息
# broker.id 标识了kafka集群中一个唯一broker。
broker.id=0 # 存放生产者生产的数据 数据一般以topic的方式存放
# 创建一个数据存放目录 /export/data/kafka --- mkdir -p /export/data/kafka
log.dirs=/export/data/kafka # 配置zk的信息
zookeeper.connect=zk01:2181,zk02:2181,zk03:2181
3. 分发配置文件及修改brokerid
将修改好的配置文件,分发到其他服务器上。
注意:如果在其他服务器上原先安装过kafka,需先删除以往的安装记录。
rm -rf /export/servers/kafka
rm -rf /export/logs/kafka/
rm -rf /export/data/kafka
分发安装包:
scp -r /export/servers/kafka/ node02:/export/servers/
scp -r /export/servers/kafka/ node03:/export/servers/
修改其他服务器上的broker.id
4. 启动Kafka集群
cd /export/servers/kafka/bin
./kafka-server-start.sh /export/servers/kafka/config/server.properties
5. 测试kafka集群
5.1. 创建一个topic
kafka-topics.sh --create --zookeeper node01:2181 --replication-factor 1 --partitions 1 --topic my-kafka-topic
#执行结果:
Created topic "my-kafka-topic".
参数说明:
- zookeeper:参数是必传参数,用于配置 Kafka 集群与 ZooKeeper 连接地址。至少写一个。
- partitions:参数用于设置主题分区数,该配置为必传参数。
- replication-factor:参数用来设置主题副本数 ,该配置也是必传参数。
- topic:指定topic的名称。
5.2. 查看该kafka集群中的topic
kafka-topics.sh --list --zookeeper node01.ouyang.com:2181
__consumer_offsets
my-kafka-topic
5.3. 创建一个生产者
bin/kafka-console-producer.sh --broker-list node01.ouyang.com:9092,node02.ouyang.com:9092,node02.ouyang.com:9092 --topic test
5.4. 创建一个消费者
bin/kafka-console-consumer.sh --zookeeper node01.ouyang.com:2181,node02.ouyang.com:2181,node03.ouyang.com:2181 --topic test --from-beginning(老版本)
bin/kafka-console-consumer.sh --bootstrap-server node01.ouyang.com:9092,node02.ouyang.com:9092,node03.ouyang.com:9092 --topic test --from-beginning(新版本)
6. 查看Kafka集群(需借助外部工具kafka-manager)
Kafka Manager 由 yahoo 公司开发,该工具可以方便查看集群 主题分布情况,同时支持对 多个集群的管理、分区平衡以及创建主题等操作。
源码托管于github:https://github.com/yahoo/kafka-manager
6.1. 上传Kafka-manager安装包并且解压
tar -xvf kafka-manager-1.3.3.17.tar.gz -C /export/servers/
cd /export/servers/kafka-manager-1.3.3.17/conf
6.2. 修改配置文件
/kafka-manager/conf下的application.conf文件
#在配置文件中新增如下配置,http访问服务的端口
http.port=19000
#修改成自己的zk机器地址和端口
kafka-manager.zkhost1s="node01:2181"
#保存退出
6.3. 启动服务
cd /export/servers/kafka-manager-1.3.3.17/bin
./kafka-manager -Dconfig.file=../conf/application.conf
6.4. 制作一键启动脚本
步骤一:配置该文件夹的环境变量和一键启动文件的环境变量
export KAFKA_MANAGE_HOME= /export/servers/kafka-manager
export PATH=${KAFKA_MANAGE_HOME}/bin:$PATH
export PATH=${ZK_ONEKEY}/kafka-manager:$PATH
步骤二:编写一键启动脚本
vim startkafkamanager.sh
nohup kafka-manager -Dconfig.file=${KAFKA_MANAGE_HOME}/conf/application.conf >/dev/null 2>&1 &
chmod +x start-kafka-manager.sh
步骤三:重新加载环境变量,并一键启动
source /etc/profile
startkafkamanager.sh
步骤四:检查是否启动成功
打开浏览器,输入地址:http://node01:19000/,即可看到kafka-manage管理界面。
6.5. kafka-manager的使用
6.5.1. 添加Cluster
进入管理界面,是没有显示Cluster信息的,需要添加后才能操作。
1. 添加 Cluster:
2. 输入Cluster Name、ZooKeeper信息、以及Kafka的版本信息(这里最高只能选择1.0.0)。
3. 点击Save按钮保存。
6.5.2. 在kafka-manager界面查看各主键的信息
1. 查看kafka的信息
2. 查看Broker信息
3. 查看Topic列表
4. 查看单个topic信息以及操作
5. 优化副本选举
6. 查看消费者信息
CentOS6安装各种大数据软件 第五章:Kafka集群的配置的更多相关文章
- CentOS6安装各种大数据软件 第十章:Spark集群安装和部署
相关文章链接 CentOS6安装各种大数据软件 第一章:各个软件版本介绍 CentOS6安装各种大数据软件 第二章:Linux各个软件启动命令 CentOS6安装各种大数据软件 第三章:Linux基础 ...
- CentOS6安装各种大数据软件 第四章:Hadoop分布式集群配置
相关文章链接 CentOS6安装各种大数据软件 第一章:各个软件版本介绍 CentOS6安装各种大数据软件 第二章:Linux各个软件启动命令 CentOS6安装各种大数据软件 第三章:Linux基础 ...
- CentOS6安装各种大数据软件 第七章:Flume安装与配置
相关文章链接 CentOS6安装各种大数据软件 第一章:各个软件版本介绍 CentOS6安装各种大数据软件 第二章:Linux各个软件启动命令 CentOS6安装各种大数据软件 第三章:Linux基础 ...
- CentOS6安装各种大数据软件 第六章:HBase分布式集群的配置
相关文章链接 CentOS6安装各种大数据软件 第一章:各个软件版本介绍 CentOS6安装各种大数据软件 第二章:Linux各个软件启动命令 CentOS6安装各种大数据软件 第三章:Linux基础 ...
- CentOS6安装各种大数据软件 第三章:Linux基础软件的安装
相关文章链接 CentOS6安装各种大数据软件 第一章:各个软件版本介绍 CentOS6安装各种大数据软件 第二章:Linux各个软件启动命令 CentOS6安装各种大数据软件 第三章:Linux基础 ...
- CentOS6安装各种大数据软件 第九章:Hue大数据可视化工具安装和配置
相关文章链接 CentOS6安装各种大数据软件 第一章:各个软件版本介绍 CentOS6安装各种大数据软件 第二章:Linux各个软件启动命令 CentOS6安装各种大数据软件 第三章:Linux基础 ...
- CentOS6安装各种大数据软件 第八章:Hive安装和配置
相关文章链接 CentOS6安装各种大数据软件 第一章:各个软件版本介绍 CentOS6安装各种大数据软件 第二章:Linux各个软件启动命令 CentOS6安装各种大数据软件 第三章:Linux基础 ...
- CentOS6安装各种大数据软件 第一章:各个软件版本介绍
相关文章链接 CentOS6安装各种大数据软件 第一章:各个软件版本介绍 CentOS6安装各种大数据软件 第二章:Linux各个软件启动命令 CentOS6安装各种大数据软件 第三章:Linux基础 ...
- CentOS6安装各种大数据软件 第二章:Linux各个软件启动命令
相关文章链接 CentOS6安装各种大数据软件 第一章:各个软件版本介绍 CentOS6安装各种大数据软件 第二章:Linux各个软件启动命令 CentOS6安装各种大数据软件 第三章:Linux基础 ...
随机推荐
- [算法练习]Reverse Integer
题目说明: Reverse digits of an integer. Example1: x = 123, return 321 Example2: x = -123, return –321 ...
- 如何查看服务器CPU核心数和线程数
知道服务器CPU型号,那么我们如何在服务器里面查看服务器CPU核心数和线程数呢? 步骤: 先用鼠标右键点击屏幕最下方的任务栏空白处.会弹出一个菜单. 在菜单中用鼠标左键点选“启动任务管理器”. 点击任 ...
- linux Mint 安装网易云音乐
第一天从官网下来了最新版netease-cloud-music_1.1.0_amd64_ubuntu.deb安装,用的挺好的,第二天就打不开了郁闷,查了下很多人都遇到了这样的问题,需要root权限运行 ...
- 关于Unity3d的Quaternion.LookRotation的学习
首先,创建两个cube GameObject物件.Origin作为原点参考.Player是我们要实验的物件.如下图所示: 创建一个脚本Quat.cs,赋给Palyer cube.脚本如下: publi ...
- Andriod(3)——Understanding Android Resources
Now, we will follow that introduction with an in-depth look at Android SDK fundamentals and cover re ...
- 企业级Nginx基于虚拟主机别名的设置
生活中访问www.baidu.com和baidu.com是一个效果,同理也可以用rewrite 301跳转的思路(多发了一次请求过去)配置nginx.conf文件或者include里面的引用的文件,道 ...
- 使用PowerShell批量注册DLL到GAC
一段很小的代码,注册当前目录下所有的DLL到GAC,请先把gacutil.exe复制到同一个目录. $Path = Get-Location $Dir = Get-ChildItem "$P ...
- Chapter 1 Secondary Sorting:Introduction
开始学习<数据算法:Hadoop/Spark大数据处理技巧>第1-5章,假期有空就摘抄下来,毕竟不是纸质的可以写写画画,感觉这样效果好点,当然复杂的东西仍然跳过.写博客越发成了做笔记的感觉 ...
- jQueryeasyUI+Hibernate+struts2实现商城后台管理之添加操作时的unique验证
1. 在admin.js中添加扩展验证的操作checkName var checkUrl = "./hytc/AdminAction_check.action";
- 利用TLE数据确定卫星轨道(2)-SGP4模型实现
1.TLE轨道报: 接上一篇,TLE轨道报各项内容所代表的意义如下: 2.SGP4模型: TLE轨道报计算卫星轨道需要用到 NORAD 开 发 的 SGP4/SDP4 模 型 ,SGP4模型是由 Ke ...