【Kafka】消息队列相关知识
概述
消息(Message) 是指在应用系统之间传递的数据。消息可以非常简单,比如只包含文本字符串,也可以更复杂,可能包含嵌入对象。
消息队列(Message Queue) 是一种应用间的通信方式,也可以说是消息队列形成的模型,先进先出。消息一经发送可以立即返回,有消息系统来确保信息的可靠专递,消息发布者只管把消息发布到MQ中而不管谁来取,消息使用者只管从MQ中取消息而不管谁发布的,发布者和使用者都不用知道对方的存在常用消息队列
RabbitMQ —— 2007年发布,是一个在AMQP(高级消息队列协议)基础上完成的,可复用的企业消息系统,是当前最主流的消息中间件之一
ActiveMQ —— 一个完全支持JMS1.1和J2EE 1.4规范的 JMS Provider实现,由Apache出品,速度很快,支持多种语言的客户端和协议,而且可以非常容易的嵌入到企业的应用环境中,并有许多高级功能
RocketMQ —— 出自 阿里公司的开源产品,用 Java 语言实现,在设计时参考了 Kafka,并做出了自己的一些改进,消息可靠性上比 Kafka 更好。RocketMQ在阿里集团被广泛应用在订单,交易,充值,流计算,消息推送,日志流式处理等
Kafka —— 一个分布式消息发布订阅系统。它最初由LinkedIn公司基于独特的设计实现为一个分布式的提交日志系统( a distributed commit log),之后成为Apache项目的一部分。Kafka系统快速、可扩展并且可持久化。它的分区特性,可复制和可容错都是其不错的特性。常用消息队列对比
应用场景
应用解耦 —— 多应用间通过消息队列对同一消息进行处理,避免调用接口失败导致整个过程失败;
异步处理 —— 多应用对消息队列中同一消息进行处理,应用间并发处理消息,相比串行处理,减少处理时间;
限流削峰 —— 广泛应用于秒杀或抢购活动中,避免流量过大导致应用系统挂掉的情况;
消息驱动的系统 —— 系统分为消息队列、消息生产者、消息消费者,生产者负责产生消息,消费者(可能有多个)负责对消息进行处理;
一、异步处理应用场景举例
eg. 某网站在用户写入注册信息后需要给用户填写的邮箱和手机号分别发送注册邮件和验证短信,发送验证短信后再返回给客户端处理方式一般有串行和并行两种
1.串行方式
2.并行方式
假设三个子系统处理时间均为50ms,在不考虑网络延迟的情况下,串行的总处理时间为150ms,并行的总处理时间为100ms
3.使用消息队列
写入消息队列后,总的响应时间依赖于写入消息队列的时间,因为写入消息队列的时间可以几乎忽略不计,这种情况下是最快的
二、应用解耦应用场景举例
eg. 用户使用QQ相册上传一张图片,人脸识别系统会对该图片进行操作,此时用户并没有立即知道结果的需求
1.一般做法如下
这么做的缺点有很多:
(1) 一旦人脸识别系统调取失败就会导致图片上传失败
(2) 需要等待人脸识别系统识别完成后返回给客户端,有较高的延迟
(3) 图片上传系统与人脸识别系统之间相互调用,需要做耦合
2.如果使用消息队列
客户端上传图片后,图片上传系统将图片信息按批次写入消息队列,之后直接返回给客户端上传成功,人脸识别系统再定时或者根据开发者要求在指定时间从消息队列中获取新增图片数据,对新增图片进行人脸识别处理,实现应用解耦
三、限流削峰应用场景举例
eg. 购物网站开展秒杀活动时,由于瞬时访问量过大,导致流量暴增,相关系统无法处理请求发生崩溃
如果使用消息队列
用户请求不再直接由业务处理系统处理,消息队列进行了一个缓冲,极大缓解了业务处理系统的压力。消息队列可以对队列长度进行限制,当后请求的用户超出队列长度时,代表商品已售完,这些请求会被直接抛弃,并返回给用户商品已售完或者活动已结束的信息。消息队列的两种模式
一、点对点模式
1.点对点模式包括三个角色:消息队列、发送者(生产者)、接受者(消费者)
2.特点:
(1) 每个消息只有一个接收者(Consumer),即一旦被消费,消息就不再存在消息队列中
(2) 发送者和接收者间没有依赖性,发送者发送消息之后,不管有没有接收者在运行,都不会影响到发送者下次发送消息
(3) 接收者在成功接收消息之后需要向队列应答成功,以便消息队列删除当前接收的消息
二、发布/订阅模式
1.发布/订阅模式包括三个角色:角色主题(Topic)、发布者(Publisher)、订阅者(Subscriber)
2.特点:
(1) 每个消息都可以有多个订阅者
(2) 发布者和订阅者之间有时间上的依赖性,针对某个主题的订阅者,它必须创建一个订阅者之后,才能消费发布者的消息
(3) 为了消费消息,订阅者需要提前订阅该角色主题,并保持在线运行
【Kafka】消息队列相关知识的更多相关文章
- kafka消息队列的简单理解
kafka在大数据.分布式架构中都很流行.kafka可以进行流式计算,也可以做为日志系统,还可以用于消息队列. 本篇主要是消息队列相关的知识. 零.kafka作为消息队列的优点: 分布式的系统 高吞吐 ...
- 初试kafka消息队列中间件一 (只适合初学者哈)
初试kafka消息队列中间件一 今天闲来有点无聊,然后就看了一下关于消息中间件的资料, 简单一点的理解哈,网上都说的太高大上档次了,字面意思都想半天: 也就是用作消息通知,比如你想告诉某某你喜欢他,或 ...
- 使用Cloudera Manager部署Kafka消息队列
使用Cloudera Manager部署Kafka消息队列 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.下载需要安装的Kafka版本 1>.查看Cloudera Dis ...
- .NET中 kafka消息队列、环境搭建与使用
前面几篇文章中讲了一些关于消息队列的知识,就每中消息队列中间件,我们并没有做详细的讲解,那么,今天我们就来详细的讲解一下消息队列之一kafka的一些基本的使用与操作. 一.kafka介绍 kafka: ...
- Kafka:docker安装Kafka消息队列
安装之前先看下图 Kafka基础架构及术语 Kafka基本组成 Kafka cluster: Kafka消息队列(存储消息的队列组件) Zookeeper: 注册中心(kafka集群依赖zookee ...
- Canal Server发送binlog消息到Kafka消息队列中
Canal Server发送binlog消息到Kafka消息队列中 一.背景 二.需要修改的地方 1.canal.properties 配置文件修改 1.修改canal.serverMode的值 2. ...
- Kafka基础教程(四):.net core集成使用Kafka消息队列
.net core使用Kafka可以像上一篇介绍的封装那样使用(Kafka基础教程(三):C#使用Kafka消息队列),但是我还是觉得再做一层封装比较好,同时还能使用它做一个日志收集的功能. 因为代码 ...
- 公司内部一次关于kafka消息队列消费积压故障复盘分享
背景现象 1.20晚上8点业务线开始切换LBS相关流量,在之后的1个小时时间内,积压量呈上升趋势,一路到达50W左右,第二天的图没贴出具体是50W数字,以下是第一天晚上的贴图部分. 现象一: 现象二: ...
- 初试kafka消息队列中间件二(采用java代码收发消息)
初试kafka消息队列中间件二(采用java代码收发消息) 上一篇 初试kafka消息队列中间件一 今天的案例主要是将采用命令行收发信息改成使用java代码实现,根据上一篇的接着写: 先启动Zooke ...
随机推荐
- Python 注释(Python Comments)用法详解
目录 1 Python 注释概述 2 Python 注释的作用 2.1 调试代码 2.2 提高程序的可读性 3 Python 单行注释 3.1 Python 单行注释概述 3.2 单行注释注释单行代码 ...
- C#_关键字:Lock的解释和使用
定义 lock关键字,互斥锁,通过锁住某一对象从而将语句块({})里面的代码设置为临界区. 线程在线性执行代码时若遇到互斥锁,必须先申请互斥锁的访问权,若访问成功,则继续线性访问互斥锁后的临界区代码块 ...
- Daily Scrum 1/11/2016
Zhaoyang & Minlong: Took and edited the video which introduced our APP. Yandong: Summarized bugs ...
- D - Fox And Two Dots DFS
Fox Ciel is playing a mobile puzzle game called "Two Dots". The basic levels are played on ...
- D - Romantic
The Sky is Sprite. The Birds is Fly in the Sky. The Wind is Wonderful. Blew Throw the Trees Trees ar ...
- LCA基础 附例题(落谷)
https://www.luogu.org/problemnew/solution/P3379 LCA叫做最短公共祖先,用来求距离树上两个节点最近的公共点: 常用倍增算法: #include<i ...
- OkHttp 优雅封装 HttpUtils 之 气海雪山初探
曾经在代码里放荡不羁,如今在博文中日夜兼行,只为今天与你分享成果.如果觉得本文有用,记得关注我,我将带给你更多. 介绍 HttpUtils 是近期开源的对 OkHttp 轻量封装的框架,它独创的异步预 ...
- SpringBoot集成MyBatis底层原理及简易实现
MyBatis是可以说是目前最主流的Spring持久层框架了,本文主要探讨SpringBoot集成MyBatis的底层原理.完整代码可移步Github. 如何使用MyBatis 一般情况下,我们在Sp ...
- 5. class--extends
ES5: function article(x,y){ this.x = x; this.y = y; } article.prototype.say = function() { return (t ...
- Java 解析 xml 常见的4中方式:DOM SAX JDOM DOM4J
Java 四种解析 XML 的特点 1.DOM 解析: 形成了树结构,有助于更好的理解.掌握,且代码容易编写. 解析过程中,树结构保存在内存中,方便修改. 2.SAX 解析: 采用事件驱动模式,对内存 ...