【Kafka】消息队列相关知识
概述
消息(Message) 是指在应用系统之间传递的数据。消息可以非常简单,比如只包含文本字符串,也可以更复杂,可能包含嵌入对象。
消息队列(Message Queue) 是一种应用间的通信方式,也可以说是消息队列形成的模型,先进先出。消息一经发送可以立即返回,有消息系统来确保信息的可靠专递,消息发布者只管把消息发布到MQ中而不管谁来取,消息使用者只管从MQ中取消息而不管谁发布的,发布者和使用者都不用知道对方的存在常用消息队列
RabbitMQ —— 2007年发布,是一个在AMQP(高级消息队列协议)基础上完成的,可复用的企业消息系统,是当前最主流的消息中间件之一
ActiveMQ —— 一个完全支持JMS1.1和J2EE 1.4规范的 JMS Provider实现,由Apache出品,速度很快,支持多种语言的客户端和协议,而且可以非常容易的嵌入到企业的应用环境中,并有许多高级功能
RocketMQ —— 出自 阿里公司的开源产品,用 Java 语言实现,在设计时参考了 Kafka,并做出了自己的一些改进,消息可靠性上比 Kafka 更好。RocketMQ在阿里集团被广泛应用在订单,交易,充值,流计算,消息推送,日志流式处理等
Kafka —— 一个分布式消息发布订阅系统。它最初由LinkedIn公司基于独特的设计实现为一个分布式的提交日志系统( a distributed commit log),之后成为Apache项目的一部分。Kafka系统快速、可扩展并且可持久化。它的分区特性,可复制和可容错都是其不错的特性。常用消息队列对比
应用场景
应用解耦 —— 多应用间通过消息队列对同一消息进行处理,避免调用接口失败导致整个过程失败;
异步处理 —— 多应用对消息队列中同一消息进行处理,应用间并发处理消息,相比串行处理,减少处理时间;
限流削峰 —— 广泛应用于秒杀或抢购活动中,避免流量过大导致应用系统挂掉的情况;
消息驱动的系统 —— 系统分为消息队列、消息生产者、消息消费者,生产者负责产生消息,消费者(可能有多个)负责对消息进行处理;
一、异步处理应用场景举例
eg. 某网站在用户写入注册信息后需要给用户填写的邮箱和手机号分别发送注册邮件和验证短信,发送验证短信后再返回给客户端处理方式一般有串行和并行两种
1.串行方式
2.并行方式
假设三个子系统处理时间均为50ms,在不考虑网络延迟的情况下,串行的总处理时间为150ms,并行的总处理时间为100ms
3.使用消息队列
写入消息队列后,总的响应时间依赖于写入消息队列的时间,因为写入消息队列的时间可以几乎忽略不计,这种情况下是最快的
二、应用解耦应用场景举例
eg. 用户使用QQ相册上传一张图片,人脸识别系统会对该图片进行操作,此时用户并没有立即知道结果的需求
1.一般做法如下
这么做的缺点有很多:
(1) 一旦人脸识别系统调取失败就会导致图片上传失败
(2) 需要等待人脸识别系统识别完成后返回给客户端,有较高的延迟
(3) 图片上传系统与人脸识别系统之间相互调用,需要做耦合
2.如果使用消息队列
客户端上传图片后,图片上传系统将图片信息按批次写入消息队列,之后直接返回给客户端上传成功,人脸识别系统再定时或者根据开发者要求在指定时间从消息队列中获取新增图片数据,对新增图片进行人脸识别处理,实现应用解耦
三、限流削峰应用场景举例
eg. 购物网站开展秒杀活动时,由于瞬时访问量过大,导致流量暴增,相关系统无法处理请求发生崩溃
如果使用消息队列
用户请求不再直接由业务处理系统处理,消息队列进行了一个缓冲,极大缓解了业务处理系统的压力。消息队列可以对队列长度进行限制,当后请求的用户超出队列长度时,代表商品已售完,这些请求会被直接抛弃,并返回给用户商品已售完或者活动已结束的信息。消息队列的两种模式
一、点对点模式
1.点对点模式包括三个角色:消息队列、发送者(生产者)、接受者(消费者)
2.特点:
(1) 每个消息只有一个接收者(Consumer),即一旦被消费,消息就不再存在消息队列中
(2) 发送者和接收者间没有依赖性,发送者发送消息之后,不管有没有接收者在运行,都不会影响到发送者下次发送消息
(3) 接收者在成功接收消息之后需要向队列应答成功,以便消息队列删除当前接收的消息
二、发布/订阅模式
1.发布/订阅模式包括三个角色:角色主题(Topic)、发布者(Publisher)、订阅者(Subscriber)
2.特点:
(1) 每个消息都可以有多个订阅者
(2) 发布者和订阅者之间有时间上的依赖性,针对某个主题的订阅者,它必须创建一个订阅者之后,才能消费发布者的消息
(3) 为了消费消息,订阅者需要提前订阅该角色主题,并保持在线运行
【Kafka】消息队列相关知识的更多相关文章
- kafka消息队列的简单理解
kafka在大数据.分布式架构中都很流行.kafka可以进行流式计算,也可以做为日志系统,还可以用于消息队列. 本篇主要是消息队列相关的知识. 零.kafka作为消息队列的优点: 分布式的系统 高吞吐 ...
- 初试kafka消息队列中间件一 (只适合初学者哈)
初试kafka消息队列中间件一 今天闲来有点无聊,然后就看了一下关于消息中间件的资料, 简单一点的理解哈,网上都说的太高大上档次了,字面意思都想半天: 也就是用作消息通知,比如你想告诉某某你喜欢他,或 ...
- 使用Cloudera Manager部署Kafka消息队列
使用Cloudera Manager部署Kafka消息队列 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.下载需要安装的Kafka版本 1>.查看Cloudera Dis ...
- .NET中 kafka消息队列、环境搭建与使用
前面几篇文章中讲了一些关于消息队列的知识,就每中消息队列中间件,我们并没有做详细的讲解,那么,今天我们就来详细的讲解一下消息队列之一kafka的一些基本的使用与操作. 一.kafka介绍 kafka: ...
- Kafka:docker安装Kafka消息队列
安装之前先看下图 Kafka基础架构及术语 Kafka基本组成 Kafka cluster: Kafka消息队列(存储消息的队列组件) Zookeeper: 注册中心(kafka集群依赖zookee ...
- Canal Server发送binlog消息到Kafka消息队列中
Canal Server发送binlog消息到Kafka消息队列中 一.背景 二.需要修改的地方 1.canal.properties 配置文件修改 1.修改canal.serverMode的值 2. ...
- Kafka基础教程(四):.net core集成使用Kafka消息队列
.net core使用Kafka可以像上一篇介绍的封装那样使用(Kafka基础教程(三):C#使用Kafka消息队列),但是我还是觉得再做一层封装比较好,同时还能使用它做一个日志收集的功能. 因为代码 ...
- 公司内部一次关于kafka消息队列消费积压故障复盘分享
背景现象 1.20晚上8点业务线开始切换LBS相关流量,在之后的1个小时时间内,积压量呈上升趋势,一路到达50W左右,第二天的图没贴出具体是50W数字,以下是第一天晚上的贴图部分. 现象一: 现象二: ...
- 初试kafka消息队列中间件二(采用java代码收发消息)
初试kafka消息队列中间件二(采用java代码收发消息) 上一篇 初试kafka消息队列中间件一 今天的案例主要是将采用命令行收发信息改成使用java代码实现,根据上一篇的接着写: 先启动Zooke ...
随机推荐
- Linux终端命令格式
01.终端命令格式 command [-options] [parameter] 说明: command:命令名,响应功能的英文单词或单词的缩写 [-options]:选项,可用来对命令进行控制,也可 ...
- substr和substring之间的区别
substr 和 substring都是JS 截取字符串函数,两者用法很相近,下面是两者的语法很示例: substr 方法 返回一个从指定位置开始的指定长度的子字符串.stringvar.substr ...
- python爬取《龙岭迷窟》的数据,看看质量剧情还原度到底怎么样
前言 文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者:简单 PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行 ...
- Celery实现周期任务
这个翻译之后居然叫芹菜~~最近Django框架需要涉及到执行周期任务~~上网搜了下其实还挺多的(django_crontab:这个学习周期短,但是发现不仅麻烦还不好用啊).(apscheduler,简 ...
- 阿里面试官让我实现一个线程安全并且可以设置过期时间的LRU缓存,我蒙了!
目录 1. LRU 缓存介绍 2. ConcurrentLinkedQueue简单介绍 3. ReadWriteLock简单介绍 4.ScheduledExecutorService 简单介绍 5. ...
- mac 使用记录
iterm 配合 lrzsz 实现 上传下载
- 关于ubuntu安装vmware报错问题解决
命令行中报错 首先报错内容为:(vmware-installer.py:3847): Gtk-WARNING **: 无法在模块路径中找到主题引擎:“murrine”, 以上的内容: sudo apt ...
- Python代码覆盖率分析工具Coverage
简介 在测试中,为了度量产品质量,代码覆盖率被作为一种测试结果的评判依据,在Python代码中用来分析代码覆盖率的工具当属Coverage.代码覆盖率是由特定的测试套件覆盖被测源代码的程度来度量,Co ...
- linux php 安装 openssl扩展
(1.生成 openssl.so 文件)#进入扩展目录cd /data/soft/php-5.5.38/ext/openssl#生成 configure 文件/usr/local/php/bin/ph ...
- KVM基本功能管理
一.KVM基础功能管理 1.查看命令帮助 virsh -h 2.查看 KVM 的配置文件存放目录(CENTOS7.0.xml是虚拟系统实例的配置文件) ls /etc/libvirt/qemu ...