kafka安装与使用
一、下载
下载地址: http://kafka.apache.org/downloads.html
kafka目录结构
目录
说明
bin 操作kafka的可执行脚本,还包含windows下脚本 config 配置文件所在目录 libs 依赖库目录 logs 日志数据目录,目录kafka把server端日志分为5种类型,
分为:server,request,state,log-cleaner,controller
二、安装及启动
1. 解压
> tar -xzf kafka_2.9.1-0.8.2.2.tgz
> cd kafkakafka_2.9.1-0.8.2.22. 配置kafka最为重要三个配置依次为:broker.id、log.dir、zookeeper.connect
kafka server端config/server.properties参数说明参照: kafka主要配置
根据属性说明完成配置:
broker.id = 1
port = 9092
host.name=h1(h1为本人配置的hostname)
log.dirs=/root/software/kafka/log
zookeeper.connect=h1:2181
配置zookeeper(假设您已经安装了zookeeper,如果没有安装,参照 zookeeper集群环境安装配置)
3.启动服务
在启动kafka时需要先启动zookeeper服务
kafka启动命令:
> bin/kafka-server-start.sh config/server.properties
通过jps命令可以查看zookeeper和kafka是否启动成功,如下图:
4.创建topic (此处创建是名称为‘my-topic’的topic,它只有一个分区,一个副本)
> bin/kafka-topics.sh --create --zookeeper h1:2181 --replication-factor 1 --partitions 1 --topic my-topic
5.查看topic列表
> bin/kafka-topics.sh --list --zookeeper h1:2181
6.发送消息
Kafka 使用一个简单的命令行producer,从文件中或者从标准输入中读取消息并发送到服务端。默认的每条命令将发送一条消息。
运行producer并在控制台中输一些消息,这些消息将被发送到服务端:> bin/kafka-console-producer.sh --broker-list
h1:9092 --topic my-topicthis is one message
this is another message
如图:
7.启动consumer
Kafka也有一个命令行consumer可以读取消息并输出到标准输出:
> bin/kafka-console-consumer.sh --zookeeper
h1:2181 --topic my-topic --from-beginningthis is one message
this is another message
如图:
三、搭建一个多个broker的集群
刚才只是启动了单个broker,现在启动有3个broker组成的集群,这些broker节点也都是在本机上的:
1. 首先为每个节点编写配置文件:> cp config/server.properties config/server1.properties
> cp config/server.properties config/server2.properties编辑新文件并设置如下配置config/server1.properties:
broker.id=1
port=9093
log.dirs=log.dirs=/root/software/kafka/log1
config/server2.properties:
broker.id=2
port=9094
log.dirs=/root/software/kafka/log2broker.id在集群中唯一的标注一个节点,因为在同一个机器上,所以必须制定不同的端口和日志文件,避免数据被覆盖。2. 之前我们已经启动zookeeper和一个节点,现在只需要启动这两个新节点> bin/kafka-server-start.sh config/server-1.properties &
> bin/kafka-server-start.sh config/server-2.properties &3. 创建一个拥有三个副本的topic: replicated-topic> bin/kafka-topics.sh --create --zookeeper h1:2181 --replication-factor 3 --partitions 1 --topic replicated-topic我们可以通过运行"describe topics"命令来查看每个节点信息> bin/kafka-topics.sh --describe --zookeeper h1:2181 --topic replicated-topicTopic:replicated-topic PartitionCount:1 ReplicationFactor:3 Configs:
Topic: replicated-topic Partition: 0 Leader: 0 Replicas: 0,1,2 Isr: 0,1,2下面解释一下这些输出。第一行是对所有分区的一个描述,然后每个分区都会对应一行,因为我们只有一个分区所以下面就只加了一行。
leader:负责处理消息的读和写,leader是从所有节点中随机选择的.
replicas:列出了所有的副本节点,不管节点是否在服务中.
isr:是正在服务中的节点.
在我们的例子中,节点0是作为leader运行。我们可以对比一下看一下之前创建的my-topic
4. 发送接收消息如上步骤6、7,不再重复写出
5. 现在测试一下多broker集群的容错能力,通过"describe topics"命令知道
replicated-topic的leader为broker0,现在我们kill掉它> ps -ef | grep server.properties
> kill –9 20549
另外一个节点被选做了leader,node 0不再出现在 in-sync
副本列表中:通过测试验证虽然最初负责续写消息的leader
down掉了,但之前的消息还是可以消费的:
kafka安装与使用的更多相关文章
- hadoop 之 kafka 安装与 flume -> kafka 整合
62-kafka 安装 : flume 整合 kafka 一.kafka 安装 1.下载 http://kafka.apache.org/downloads.html 2. 解压 tar -zxvf ...
- Kafka安装及部署
安装及部署 一.环境配置 操作系统:Cent OS 7 Kafka版本:0.9.0.0 Kafka官网下载:请点击 JDK版本:1.7.0_51 SSH Secure Shell版本:XShell 5 ...
- [Kafka] - Kafka 安装介绍
Kafka是由LinkedIn公司开发的,之后贡献给Apache基金会,成为Apache的一个顶级项目,开发语言为Scala.提供了各种不同语言的API,具体参考Kafka的cwiki页面: Kafk ...
- Kafka 安装配置 windows 下
Kafka 安装配置 windows 下 标签(空格分隔): Kafka Kafka 内核部分需要安装jdk, zookeeper. 安装JDK 安装JDK就不需要讲解了,安装完配置下JAVA_HOM ...
- kafka安装教程
今天需要在新机器上安装一个kafka集群,其实kafka我已经装了十个不止了,但是没有一个是为生产考虑的,因此比较汗颜,今天好好地把kafka的安装以及配置梳理一下: 1,kafka版本选取: 现在我 ...
- Kafka安装及开启SASL_PLAINTEXT认证(用户名和密码认证)
前些日子要封装一个kafka的客户端驱动,配置了下kafka环境,发现配置复杂度完爆rabbitmq很多倍啊,而且发布订阅模式使用起来也很麻烦,可能就胜在分布式了吧. kafka需要java环境,自行 ...
- Kafka安装与配置(windows)
作者:灬花儿灬 出处:http://www.cnblogs.com/flower1990/ 本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则 ...
- kafka安装步骤
kafka 安装内存会报不够 https://stackoverflow.com/questions/9350437/incompatible-initial-and-maximum-heap-siz ...
- kafka安装与简单使用
一.kafka安装 安装是非常简单的,现在推荐安装0.8的版本,这个版本是非常稳定的,而且公司里面也多用此版本. 简单的安装: 这个是我使用的版本,kafka_2.11-0.8.2.2.tgz 直接t ...
- kafka系列一、kafka安装及部署、集群搭建
一.环境准备 操作系统:Cent OS 7 Kafka版本:kafka_2.10 Kafka官网下载:请点击 JDK版本:1.8.0_171 zookeeper-3.4.10 二.kafka安装配置 ...
随机推荐
- web前端开发浏览器兼容性 - 持续更新
浏览器兼容性问题又被称为网页或网站兼容性问题:不同浏览器内核及所支持的html等网页语言标准不同,不同客户端环境(如分辨率不同)造成实际显示效果未能达到预期理想效果 首先我们来看一下目前市面上常见的一 ...
- 分享一下自己在用的CSS样式重置代码
通过借鉴网上大牛们的经验和自己在工作中碰到的一些问题,总结出了这些比较常用的CSS样式重置的代码: @charset "utf-8"; /* 防止用户自定义背景颜色对网页的影响,添 ...
- 巧用hidden传递参数
- Java-Android 之短信发送
file:///F:/workspace3/Android_ver2.5/src/cn/szy/com/MainActivity.java package cn.szy.com; import jav ...
- Oracle11g数据库导入到oracle10g的解决方法
我想有很多人在工作和学习中遇到这样的一个问题,Oracle数据库服务器版本和本机版本不一致问题,你的本机要是比服务器的版本要高的话还好,如果你本机是10g服务器是11g的话,从11g导出来的数据库是导 ...
- Html5 部分特性
HTML5 是 W3C 与 WHATWG 合作的结果. 编者注:W3C 指 World Wide Web Consortium,万维网联盟. 编者注:WHATWG 指 Web Hypertext Ap ...
- Dell服务器MegaCli命令只返回Exit Code: 0x00问题分析
今天同事给我说一台dell的服务器做了raid后,使用MegaCli看不到raid信息,上去看了一下确实不返回任何raid信息,但是确实机器上做了raid. 这就奇怪了,然后把MegaCli升级到最新 ...
- 完整的 dataType=text/plain jquery ajax 登录验证
Html: <!DOCTYPE html> <html> <head> <meta charset="utf-8" /> <m ...
- 【POJ3468】【zkw线段树】A Simple Problem with Integers
Description You have N integers, A1, A2, ... , AN. You need to deal with two kinds of operations. On ...
- iOS 获取项目名称及版本号
可用于版本让用户手动检测是否有版本更新可用. NSDictionary *infoDictionary = [[NSBundle mainBundle] infoDictionary]; CFSho ...