Kafka介绍
本文介绍LinkedIn开源的Kafka,久仰大名了,依照其官方文档做些翻译和二次创作。相应能够查看整份官方文档。
基本术语
topics,维护的消息源种类(更像是业务上的数据种类/分类)
producer,给kafka的某个topic公布消息的进程
consumer,订阅和处理topic的消息的进程
broker,组成kafka集群的server
Topic和日志
kafka为每一个topic维护了例如以下一份被分区了的log
每份log有序,不可变,不断被append。分区中的消息会被分配一个有序的id,称为offset。
kafka内保留的消息是有时间限制的,超出设定的时间段的话,消息就不保留了。kafka的性能与数据容量是成正比的。
offset能方便consumer来取数据,自由度比較大(或者说这样的缓存性质的消息队列,方便消费者读取一定窗体内的消息,也算一种回放功能吧)。
分区一方面是为了增大消息的容量(能够分布在多个分区上存,而不会限制在单台机器存储大小里),二方面能够类似看成一种并行度。
分布
partitition分布在不同机器上,且能够设置备份数以达到容错。
每份partition都有一个扮演leader角色的server和几个扮演follower角色的server。leader来负责对这份分区的读写请求。
follower被动复制leader动作。leader挂了的话会有follower自己主动成为新的leader。
各个server都会各自扮演某份分区的leader和其它几份分区的followe,如此的话整个集群上的机器相对负载比較好些。
生产者
生产者选择公布数据给topic,负责选择topic的哪个partition,把消息写进去。
选择方法和策略有多种。
消费者
传统的消息模型有两种模型,队列模型和公布-订阅模式。
1. 队列形式中,一群消费者可能从server那边读消息,而每条消息会流向他们中的一个。
2. 公布-订阅模式中,消息会广播到全部它的消费者们那。
Kafka是使用consumer group这个概念(以下把它翻译为"消费组"),把两者结合了。。
消费者给自己标志了一个消费组名,每条新公布到topic的消息会被传递给订阅它的消费组里的消费者实例,这些消费者实例能够是不同的进程,存在在不同的机器上。
假设全部的消费者在同一个消费组里,那么这相当于是一个队列模型的场景。
假设全部的消费者都属于不同的消费组,那么这相当于是一个公布-订阅模式的场景,全部消息会广播到全部消费者们。
下图展示的是两台server组成的Kafka集群,共4个分区,两个消费组,A、B消费组各有2个、4个消费者,他们相应订阅了不同的分区。
此外,Kafka比传统的消息系统具备更强的有序性保证。以下会展开说明。
传统的队列形式的消息系统,在server端是有序保存着消息的。但当有多个消费者来并发取queue里的消息的时候,因为每一个queue里的消息是异步输送给消费者,尽管输出是有序的(队列里排好队输出的),当消息到达消费者那头的时候,就不保证顺序了。假设单个消费者来取,能够保证有序,某些中庸的解决的方法还是会丧失一定并行度。
Kafka是怎么做到更好的并行且有序的呢?Kafkad的"分区"事实上是一种并行度的概念,即在topic内,kafka的消费者进程池能得到有序性保证和负载均衡。这是由于在topic内设置了多个分区,使得topic相应的消费组里的消费者们各自能够独享一个分区。如此的话,每一个消费者是其消费的分区的唯一reader,在单个reader下当然保证了有序这件事。并且多个分区也使得负载能够比較平衡。须要注意的是,消费者不能比分区数多。
保证
kafka能保证的几件事情,
1. 生产者向topic分区发来的消息能按序加入进来。即先送来的消息在log里面有更小的offset。
2. 消费者实例能在log里(第一张图里)看到有序的消息。
3. 一个拥有N个分区的topic,系统能容忍N-1台server失败,而不丢失写到了log里的消息数据。
很多其它设计上的内容不在这里阐述。
适合场景
消息队列
kafka作为消息队列,优势在更好的吞吐,内置分区,副本数,容错这几个特性,所以适合大规模消息处理应用。
MQ有非常多,就不详细比較了。
网页行为追踪
kafka原本的一个应用场景,就是跟踪用户浏览页面、搜索及其它行为,以公布-订阅的模式实时记录到相应的topic里。
那么这些结果被订阅者拿到后,就能够做进一步的实时处理,或实时监控,或放到hadoop/离线数据仓库里处理。
行为追踪常常会有非常大的吞吐量。
元信息监控
作为操作记录的监控模块来使用,即汇集记录一些操作信息,能够理解为运维性质的数据监控吧。
日志收集
日志收集方面,事实上开源产品有非常多,包含Scribe、Apache Flume。假设谈Kafka的优势的话,事实上还是离不开他的容错、高吞吐性能方面的设计层面的特点吧。详细就不分析了。
參考我之前写的分布式日志收集系统Apache Flume的设计介绍
流处理
这个场景可能比較多,也非常好理解。保存收集流数据,以提供之后对接的Storm或其它流式计算框架进行处理。
Commit Log
为分布式系统的一些commit log(操作日志)做容错意义的备份,我是这么理解的,类似于HDFSnamenode的log。对照BookKeeper,事实上就是做这件事的。BookKeeper在Hadoop HDFS Namenode HA方案里,用于记录namenode的操作日志(一时想不起叫什么log了,反正不记录namenode的image数据)。
參考我之前写的BookKeeper设计介绍及其在Hadoop2.0 Namenode HA方案中的使用分析
全文完 :)
Kafka介绍的更多相关文章
- Apache Kafka - 介绍
原文地址地址: http://blogxinxiucan.sh1.newtouch.com/2017/07/12/Apache-Kafka-介绍/ Apache Kafka教程 之 Apache Ka ...
- 1、Kafka介绍
1.Kafka介绍 1)在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算. 2)Kafka是一个分布式消息队列. 3)Kafka对消息保存时根据Topic进行归类, ...
- [转]kafka介绍
转自 https://www.cnblogs.com/hei12138/p/7805475.html kafka介绍 1.1. 主要功能 根据官网的介绍,ApacheKafka®是一个分布式流媒体平台 ...
- Kafka介绍及安装部署
本节内容: 消息中间件 消息中间件特点 消息中间件的传递模型 Kafka介绍 安装部署Kafka集群 安装Yahoo kafka manager kafka-manager添加kafka cluste ...
- kafka介绍与搭建(单机版)
一.kafka介绍 1.1 主要功能 根据官网的介绍,ApacheKafka®是一个分布式流媒体平台,它主要有3种功能: 1:It lets you publish and subscribe to ...
- kafka介绍及安装配置(windows)
Kafka介绍 Kafka是分布式的发布—订阅消息系统.它最初由LinkedIn(领英)公司发布,使用Scala和Java语言编写,与2010年12月份开源,成为Apache的顶级项目.Kafka是一 ...
- 一、kafka 介绍 && kafka-client
一.kafka 介绍 1.1.kafka 介绍 Kafka 是一个分布式消息引擎与流处理平台,经常用做企业的消息总线.实时数据管道,有的还把它当做存储系统来使用. 早期 Kafka 的定位是一个高吞吐 ...
- 3 kafka介绍
本博文的主要内容有 .kafka的官网介绍 http://kafka.apache.org/ 来,用官网上的教程,快速入门. http://kafka.apache.org/documentatio ...
- 漫游Kafka介绍章节简介
原文地址:http://blog.csdn.net/honglei915/article/details/37564521 介绍 Kafka是一个分布式的.可分区的.可复制的消息系统.它提供了普通消息 ...
随机推荐
- Android studio如何使用SVN进行版本控制?
通过这两天对Android Studio的研究,终于搞通了Android Studio的基本操作及与SVN的相关关联操作(这样才能在公司的开发工作中使用):Google年底将会停止ADT插件的更新和支 ...
- 使用libcurl POST数据和上传文件
为了具有通用性,将文件的内容读到了fc变量中,fclen是fc的长度.fc也可以是任何其它内容.curl 是 libcurl句柄.演示省略了很多显而易见的步骤. 1. 普通的post请求,这里用c ...
- HDU 2451 Simple Addition Expression
题目大意:有一个关于 简单加法表达式 的定义告诉你,就是 选一个数字i 如果 i+(i+1)+(i+2) 它的和,没有任何一位进位的话,那就是 一个i的简单加法表达式,求小于n的表达式数目. 题 ...
- Java自定义简单标签
Java自定义简单标签可以方便的在页面输出信息,并且对于权限的控制,和对于Jsp标签和servlet代码的分离有着很好的作用. 下面将以权限的控制为例自定义一个标签: 一.标签类型 <wxt: ...
- 数据库基础(子查询练习、链接查询(join on 、union)及其练习)
子查询练习一:查询销售部里的年龄大于35岁的人的所有信息 练习二:将haha表中部门的所有数字代码转换为bumen表中的字符串显示 练习三:将haha表中部门的所有数字代码转换为bumen表中的字符串 ...
- Raspberry 3安装docker
SD卡制作 准备一张4GB或者以上的micro sd卡,下载系统镜像,例如raspbian-jessie-lite.img,并使用刷机工具,如Pi filler将其写入sd卡,当然也可以使用命令行的d ...
- 2351: [BeiJing2011]Matrix( hash )
hash一下, 把原矩阵所有A*B的子矩阵的hash值存在set里面, 然后对于每个询问就求出hash值, 在set中查找. ------------------------------------- ...
- 在VS2010上使用C#调用非托管C++生成的DLL文件
背景 在项目过程中,有时候你需要调用非C#编写的DLL文件,尤其在使用一些第三方通讯组件的时候,通过C#来开发应用软件时,就需要利用DllImport特性进行方法调用.本篇文章将引导你快速理解这个调用 ...
- Android Studio does not point to a valid jvm
环境变量 JAVA_HOME的值,去掉后面的分号,一般情况下就可以启动
- ThinkPHP第九天(在Admin分组中配置__PUBLIC__,$POST异步传输,import使用方法,验证码点击刷新方法,Create方法作用)
1.项目分组之后,后台模板的公用文件一般放置在Tpl/Admin/Public中,这样子在替换模板路径时候如果还用__PUBLIC__时为了不与前台冲突,应该在Admin/config.php中配置一 ...