1.安装kafka(单机版)

1.1上传 kafka_2.11-2.0.0.tgz 到 /root/Downloads

1.2解压 tar 包

tar -zxvf kafka_2.11-2.0.0.tgz

解压后:kafka_2.11-2.0.0

1.3删除 LICENSE、NOTICE 、site-docs

rm -rf LICENSE NOTICE site-docs

1.4

1.4.1启动kafka单机版的命令(在启动kafka之前先启动zookeeper)

kafka的libs文件夹中内置了zookeeper

1.4.2 在kafka的bin目录下启动
        ./zookeeper-server-start.sh ../config/zookeeper.properties

在启动该命令之后,可以在该虚拟机上查看进程

1.4.3接下来,在bin目录下启动kafka
       ./kafka-server-start.sh ../config/server.properties
       再次查看进程

1.5 开始使用kafka

1.5.1 topic是用来放消息的,也可以做消息分类

创建topic,在bin目录下
        ./kafka-topics.sh --create --zookeeper zhangqi:2181 --replication-factor 1 --partitions 1 --topic test

1.5.2 查看topic
        ./kafka-topics.sh --list --zookeeper zhangqi:2181

1.5.3 启动生产者
        ./kafka-console-producer.sh --broker-list zhangqi:9092 --topic test
        启动消费者
       ./kafka-console-consumer.sh --bootstrap-server zhangqi:9092 --topic test

生产者的作用:往topic里生产数据。生产者可以是java客户端、flume等

消费者的作用:消费topic里的数据。消费者可以是java客户端、spark streaming等

什么叫broker(代理)?安装了kafka服务的机器

1.5.4 消费者可以接收,生成者生成的数据

消费者可以接收,生成者生成的数据,如果不指定 --from-beginning  那么消费者消费的是最新的数据。指定了之后也可以消费以前的数据

1.5.5  消费者,可以消费之前产生的数据
        ./kafka-console-consumer.sh --bootstrap-server zhangqi:9092 --topic test --from-beginning

2.kafka集群部署

分别往192.168.115.11、192.168.115.12、192.168.115.13这三台虚拟机上安装kafka

2.1 将安装好的一台分别拷贝到其余2台

2.2 修改 /root/Downloads/kafka_2.11-2.0.0/config/server.properties文件里的broker.id

修改kafka运行日志存放的路径

配置连接zookeeper集群地址

2.3集群配置成功

kafka单机版的安装、集群部署 及使用的更多相关文章

  1. kafka学习总结之集群部署和zookeeper

    1.  集群部署 kafka集群的瓶颈主要在网络和磁盘上:kafka依赖于zookeeper,zookeeper集群的节点采用奇数个,3个节点允许一个节点失败,5个节点允许2个节点失败. 图 1 ka ...

  2. Kafka入门初探+伪集群部署

    Kafka是目前非常流行的消息队列中间件,常用于做普通的消息队列.网站的活性数据分析(PV.流量.点击量等).日志的搜集(对接大数据存储引擎做离线分析). 全部内容来自网络,可信度有待考证!如有问题, ...

  3. 02_Storm集群部署

    1. 部署前的硬件及软件检查 硬件要求 1)storm集群部署包括zookeeper部署,而zookeeper集群最小为3台机器2)storm的计算过程都在内存中完成,因此内存要尽量大3)storm少 ...

  4. Kafka集群部署

    一. 关于kafka Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据. 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键 ...

  5. 消息中间件kafka+zookeeper集群部署、测试与应用

    业务系统中,通常会遇到这些场景:A系统向B系统主动推送一个处理请求:A系统向B系统发送一个业务处理请求,因为某些原因(断电.宕机..),B业务系统挂机了,A系统发起的请求处理失败:前端应用并发量过大, ...

  6. Zookeeper+Kafka集群部署(转)

    Zookeeper+Kafka集群部署 主机规划: 10.200.3.85  Kafka+ZooKeeper 10.200.3.86  Kafka+ZooKeeper 10.200.3.87  Kaf ...

  7. Zookeeper+Kafka集群部署

    Zookeeper+Kafka集群部署 主机规划: 10.200.3.85  Kafka+ZooKeeper 10.200.3.86  Kafka+ZooKeeper 10.200.3.87  Kaf ...

  8. Kafka集群部署 (守护进程启动)

    1.Kafka集群部署 1.1集群部署的基本流程 下载安装包.解压安装包.修改配置文件.分发安装包.启动集群 1.2集群部署的基础环境准备 安装前的准备工作(zk集群已经部署完毕)  关闭防火墙 c ...

  9. 流量分析系统---kafka集群部署

    1.集群部署的基本流程 Storm上游数据源之Kakfa 下载安装包.解压安装包.修改配置文件.分发安装包.启动集群 2.基础环境准备 安装前的准备工作(zk集群已经部署完毕)  关闭防火墙 chk ...

随机推荐

  1. main()和代码块

    main方法 * main()方法的使用说明 * main方法是程序的主入口(一个主程序 先从main开始进行执行) * * * main方法也可以是一个普通的静态方法 代码块 代码块也是类的成员变量 ...

  2. 对业务类进行构造的工厂类BLLFactory

    using System; using System.Collections.Generic; using System.Text; using System.Collections; using W ...

  3. tdom中selectNodes的使用

    tdom中selectNodes的使用 */--> pre.src {background-color: #002b36; color: #839496;} pre.src {backgroun ...

  4. UVA 12821 Double Shortest Paths

    Double Shortest PathsAlice and Bob are walking in an ancient maze with a lot of caves and one-way pa ...

  5. im开发总结:netty的使用

    最近公司在做一个im群聊的开发,技术使用得非常多,各种代码封装得也是十分优美,使用到了netty,zookeeper,redis,线程池·,mongdb,lua,等系列的技术 netty是对nio的一 ...

  6. android 样式和主题

  7. jq 将translate的旋转角度转为数值

    // 将translate内的角度转为数值 function getmatrix(nowDeg){ var values = nowDeg.split('(')[1].split(')')[0].sp ...

  8. 配置基于python的VIM环境

    配置基于python的VIM环境 安装插件管理工具 为防止过多插件管理的麻烦,首先安装vim的插件管理工具Vundle.vundle本身的github软件已经有相关的中文文档,地址如下: vundle ...

  9. STL_Algorithm

    #include <algorithm> #include <cstdio> using namespace std; /*虽然最后一个排列没有下一个排列,用next_perm ...

  10. mac 命令行

    本文为使用到过的命令行,仅方便自己查阅 1.进入目录文件 cd name name为文件名 2.返回上一级目录 cd ../ 3.创建文件夹 mkdir name 4.删除文件夹(文件夹下不能包含文件 ...