应用摘要

Apache kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的

分布式发布订阅消息系统,是消息中间件的一种,用于构建实时数据管道和流应用程序,很火!

          Kafka官网:http://kafka.apache.org/

          学习推荐  :http://orchome.com/kafka/index

          官网下载  :http://kafka.apache.org/downloads

安装环境

Kafka集群环境搭建,需要准备好一个zookeeper环境(集群),zk集群部署:>> 点击这里 <<

说明:kafka名中的2.12是Scala语言版本,后面的0.11.0.2是kafka版本,端口默认为9092。


安装步骤
 
 1.下载kafka并解压
   [root@server- ~]# tar zxvf kafka_2.-0.11.0.2.tgz -C /opt/ 
  
   

 2. 编辑配置文件

  进入到config目录,编辑配置文件:server.properties

   [root@server- config]# vim server.properties

  

  

  

  

  其他配置可以保持默认,保持,退出;

  参数说明可以参考http://orchome.com/12 或者 http://blog.csdn.net/lizhitao/article/details/25667831

  同样的操作在server-2和server-3上修改一下broker.id和host.name,不再赘述。

 3. 启动Kafka

  切换到bin目录中,查看相关脚本:

  

  

   [root@server- bin]# ./kafka-server-start.sh -daemon ../config/server.properties     // -daemon:以后台方式启动

  查看9092端口状态,确保服务已经启动;

  同样的,启动server-2和server-3:

   [root@server- bin]# ./kafka-server-start.sh -daemon ../config/server.properties

   [root@server- bin]# ./kafka-server-start.sh -daemon ../config/server.properties

  至此,kafka安装启动完成。

  关闭命令: [root@server- bin]# ./kafka-server-stop.sh     //不带任何参数即可

 4. 检查测试

    在上一篇部署zookeeper集群的时候提到连接kafka使用的时候,里面除了zookeeper之外还有其他内容,来查看一下。

  登录zookeeper(切换到zk的bin目录下),先连接zk:

   [root@server- bin]# ./zkCli.sh -server 192.168.1.21:

 [zk: 192.168.1.21:(CONNECTED) ] ls /          

 cluster                    controller                 controller_epoch           brokers
 zookeeper admin isr_change_notification consumers
 latest_producer_id_block config
 [zk: 192.168.1.21:(CONNECTED) ] ls /brokers
 [ids, topics, seqid]
 [zk: 192.168.1.21:(CONNECTED) ] ls /brokers/ids
 [, , ]
 [zk: 192.168.1.21:(CONNECTED) ]

  说明:zookeeper集群建好之后,通过“ls /”出来的只有zookeeper,连接kafka使用后,/ 下面多了不少东西,其中通过查看/brokers/ids可以

     发现已经检查到了已经安装的三台kafka的broker.id[1,2,3]。

 

 具体Kafka常见操作见下一篇kafka命令行常见使用 

结束.

 
 
 
 
 
 
 
 
 
 

centos7下kafka集群安装部署的更多相关文章

  1. centos7下zookeeper集群安装部署

    应用场景:ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件. 它是一个为分布式应用提供一致性服务的软 ...

  2. Centos7.4 kafka集群安装与kafka-eagle1.3.9的安装

    Centos7.4 kafka集群安装与kafka-eagle1.3.9的安装 集群规划: hostname Zookeeper Kafka kafka-eagle kafka01 √ √ √ kaf ...

  3. kafka集群安装部署

    kafka集群安装 使用的版本 系统:centos6.5 centos6.7 jdk:1.7.0_79 zookeeper:3.4.9 kafka:2.10-0.10.1.0 一.环境准备[只列,不具 ...

  4. Kafka集群安装部署、Kafka生产者、Kafka消费者

    Storm上游数据源之Kakfa 目标: 理解Storm消费的数据来源.理解JMS规范.理解Kafka核心组件.掌握Kakfa生产者API.掌握Kafka消费者API.对流式计算的生态环境有深入的了解 ...

  5. Linux 下Redis集群安装部署及使用详解(在线和离线两种安装+相关错误解决方案)

    一.应用场景介绍 本文主要是介绍Redis集群在Linux环境下的安装讲解,其中主要包括在联网的Linux环境和脱机的Linux环境下是如何安装的.因为大多数时候,公司的生产环境是在内网环境下,无外网 ...

  6. Kafka 集群安装部署

    2.1 安装部署 2.1.1 集群规划 192.168.1.102 192.168.1.103 192.168.1.104 zookeeper zookeeper zookeeper kafka ka ...

  7. centos7:Kafka集群安装

    解压文件到安装目录 tar -zxvf kafka_2.10-0.10.2.1.tgz 1.进入目录 cd kafka_2.10-0.10.2.1 mkdir logs cd config cp se ...

  8. Elasticsearch学习总结 (Centos7下Elasticsearch集群部署记录)

    一.  ElasticSearch简单介绍 ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口.Elasticse ...

  9. 原创:centos7.1下 ZooKeeper 集群安装配置+Python实战范例

    centos7.1下 ZooKeeper 集群安装配置+Python实战范例 下载:http://apache.fayea.com/zookeeper/zookeeper-3.4.9/zookeepe ...

随机推荐

  1. VS如何在调试时进入到dll文件

    背景:    项目A:用C#写的一个类库文件 项目B:引用项目A的dll文件,完成编码,也是C#编写的. 需求:怎么能在调试的时候,调试断点能够从项目B中进入项目A中的代码. 解决办法就是: 假设,项 ...

  2. mysql sql执行计划

    查看Mysql执行计划 使用navicat查看mysql执行计划: 打开profile分析工具: 查看是否生效:show variable like ‘%profil%’; 查看进程:show pro ...

  3. linux关闭触摸板

    关闭触摸板 sudo modprobe -r psmouse 如果打开触摸板就是: sudo modprobe psmouse

  4. POJ_1185_炮兵阵地 dp+状态压缩

    题目:炮兵阵地 链接:http://poj.org/problem?id=1185 解题思路: 首先用 int 来表示每一行的情况,比如说第一行是k1,那么[ k1&(k1>>2) ...

  5. elasticsearch介绍,安装,安装错误解决及相应插件安装

    一.elasticsearch介绍 1.简介(使用的是nosql,更新比mongodb慢): ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎, ...

  6. python读文件指定行的数据

    import linecacheprint linecache.getline('url.txt',2) 读取url.txt文件的第2行内容

  7. linux audit审计(5)--audit规则配置

    audit可以配置规则,这个规则主要是给内核模块下发的,内核audit模块会按照这个规则获取审计信息,发送给auditd来记录日志. 规则类型可分为: 1.控制规则:控制audit系统的规则: 2.文 ...

  8. python学习笔记(7)--循环语句

    循环语句如下: for i in range(start, end): //注意 前闭后开 coding for i in range(m,n,k): coding for c in s: codin ...

  9. windows 10 & task view & shortcut

    windows 10 & task view & shortcut Win + Tab https://blogs.windows.com/windowsexperience/2014 ...

  10. Echarts使用Ajax异步获得数据的前端json格式转化问题

    利用Ajax获取后台传来的data,官网都有example 但如果后台传来的数据是String格式的,则应该在Ajax的done方法中第一句加上格式转换的语句 data = JSON.parse(da ...