GCP消息队列Pubsub详解,简单好用还不用自己运维
我最新最全的文章都在南瓜慢说 www.pkslow.com,欢迎大家来喝茶!
1 简介
GCP的Pubsub是一种异步消息传递服务,可将生产事件的服务与处理事件的服务隔离开。消息队列的作用就不多作介绍了,与Kafka、RabbitMQ等差不多。使用Pubsub一个重要原因是不用自己去管理整个中间件的运维,将专业的事交给专业的团队去做。这样,其实也是一种节约成本的方式。
GCP还提供了更低费用的Pubsub Lite,这里不多作介绍了。
2 概念
2.1 基本概念
一些重要的核心概念:
- 主题:生产者向其发送消息的资源;
- 订阅:单个特定主题的消息流资源,任何一个订阅都要从属于某个主题,对哪个主题感兴趣,就订阅哪个主题;
- 消息:传输的数据和特性;
- 发布者:也叫生产者,负责将消息发到主题;
- 订阅者:也叫消费者,负责将消息从订阅中读取。
他们的关系:发布者发消息到某个特定主题,而主题下有一个或多个订阅,订阅者从订阅读取消息。所以发布者和订阅者的关系有如下:
- 一对一;
- 一对多;
- 多对一;
- 多对多。
如下图所示:
2.2 消息传递过程
整个消息传递的流程大致如下:
(1)发布者向主题发送消息,消息包含要发送的数据和消息的特性;
(2)系统收到消息后,会存在GCP的系统中;
(3)系统将主题的消息转发到订阅中去;
(4)Pubsub将消息推送给订阅者,或者订阅者拉取消息;
(5)订阅者收到信息后,返回Ack确认信息;
(6)Pubsub移除已确认的消息。
2.3 集成其它组件
整个GCP的Stack可以相互集成,其它组件如Pubsub集成如下:
3 Pubsub快速入门
3.1 使用gcloud命令行
使用SDK命令行工具gcloud的入门操作如下:
# 创建主题
$ gcloud pubsub topics create pkslow-topic
# 创建订阅
$ gcloud pubsub subscriptions create pkslow-sub --topic=pkslow-topic
# 发布消息
$ gcloud pubsub topics publish pkslow-topic --message="www.pkslow.com"
# 接收消息
$ gcloud pubsub subscriptions pull pkslow-sub --auto-ack
3.2 使用客户端库
Pubsub支持的语言很丰富,包括Python、Java、C++、Go、Node.js、PHP等,一般项目都可以使用得上。之前的文章《整合Spring Cloud Stream Binder与GCP Pubsub进行消息发送与接收》讲解了Java的整合,这里先不再展开讲解。
4 消息排序
消息排序是一个很有用的特性,它能保证消息的顺序,即发布者发的是消息A-B-C-D,接收就应该是A-B-C-D,而不是A-B-D-C或其它。Pubsub的消息排序需要发布者和订阅者双方配合:
(1)发布者必须在发消息时指定排序键(Ordering Key),这个Key不是告诉Pubsub按什么排序,而是告诉Pubsub我哪些消息要排序。排序都是按时间的,Key的作用是同一个Key的所有消息都要排序。不同Key的消息,没有顺序关系,不需要排序。所以,要为需要按时间顺序的消息指定同一个Key。
(2)订阅需要打开排序特性,不然即使消息有Ordering Key,也不会排序。
排序特性是很有用的,但会带来性能的损伤。
遇到的一些难点:
(1)对于Java开发,Spring Cloud Stream还没有支持Pubsub排序功能,所以需要使用Google的SDK来开发,或者对Spring Cloud Stream进行改造。
(2)对于多消费者的情况,Pubsub会尽量把同一个Key的消息分发到一个消息者中以保证有序性。这样会造成在Auto Scale的情况下,有时难以让其它消费者捡起消息来消费,这个可以通过配置Outstanding的大小来控制。
5 其它
5.1 监控
GCP有成熟的监控套件Cloud Monitoring,我们直接用就可以了。可以查看发送了多少消息、多少消息待消费等。
5.2 消费者自动扩容
如果消费者的处理速度太慢,可以增加它的数量来解决问题。方案是根据Pubsub滞留的消息数来自动扩容。可以有两个方案,一个是利用Keda来做,另一个是利用Cloud Monitor来做。两者都是类似的,获取队列的大小,然后通过Kubernetes的HPA进行弹性伸缩。
Keda的相关文章可以看:《Kubernetes使用Keda进行弹性伸缩,更合理利用资源》
6 总结
Pubsub使用起来还是挺简单的,毕竟只用写生产者和消费者即可。但细节也很多,有空再慢慢道来吧。
欢迎关注微信公众号<南瓜慢说>,将持续为你更新...
多读书,多分享;多写作,多整理。
GCP消息队列Pubsub详解,简单好用还不用自己运维的更多相关文章
- 【FreeRTOS学习04】小白都能懂的 Queue Management 消息队列使用详解
消息队列作为任务间同步扮演着必不可少的角色: 相关文章 [FreeRTOS实战汇总]小白博主的RTOS学习实战快速进阶之路(持续更新) 文章目录 相关文章 1 前言 2 xQUEUE 3 相关概念 3 ...
- WCF中队列服务详解
WCF中队列服务详解 一.引言 在前面的WCF服务中,它都要求服务与客户端两端都必须启动并且运行,从而实现彼此间的交互.然而,还有相当多的情况希望一个面向服务的应用中拥有离线交互的能力.WCF通过服务 ...
- iOS的消息转发机制详解
iOS开发过程中,有一类的错误会经常遇到,就是找不到所调用的方法,当然这类问题比较好解决,给当前对象或其父类对象添加该方法即可,使得编译器在编译时能正确找到该方法:或者,还有另外的方法,由于Objec ...
- spring websocket 和socketjs实现单聊群聊,广播的消息推送详解
spring websocket 和socketjs实现单聊群聊,广播的消息推送详解 WebSocket简单介绍 随着互联网的发展,传统的HTTP协议已经很难满足Web应用日益复杂的需求了.近年来,随 ...
- ActiveMQ学习总结(5)——Java消息服务JMS详解
JMS: Java消息服务(Java Message Service) JMS是用于访问企业消息系统的开发商中立的API.企业消息系统可以协助应用软件通过网络进行消息交互. JMS的编程过程很简单,概 ...
- RabbitMQ消息队列(一): 简单队列
1. 示例选用python的pika模块进行测试,需要预先安装pika模块: https://pypi.python.org/pypi/pika/0.10.0#downloads 上述地址下载源码,加 ...
- 跟我一起学WCF(11)——WCF中队列服务详解
一.引言 在前面的WCF服务中,它都要求服务与客户端两端都必须启动并且运行,从而实现彼此间的交互.然而,还有相当多的情况希望一个面向服务的应用中拥有离线交互的能力.WCF通过服务队列的方法来支持客户端 ...
- Handler详解系列(四)——利用Handler在主线程与子线程之间互发消息,handler详解
MainActivity如下: package cc.c; import android.app.Activity; import android.os.Bundle; import android. ...
- .net微软消息队列(msmq)简单案例
1.首先我们需要安装消息队列服务,它是独立的消息记录的服务,并保存在硬盘文件中. 我们添加名为:DMImgUpload的私有消息队列. 2.定义消息队列的连接字符串建议采用IP: (1)FormatN ...
随机推荐
- [软件开发的目录规范、区分py文件的两种用途]
[软件开发的目录规范] 软件开发的目录规范 bin: 执行文件 conf: 存放配置文件相关代码 core: 存放源文件,业务逻辑相关代码 db: 存放数据库文件,主要用于与数据库交互 lib: 存放 ...
- 使用ldap客户端创建zimbra ldap用户的格式
cat << EOF | ldapadd -x -W -H ldap://:389 -D "uid=zimbra,cn=admins,cn=zimbra" dn: ui ...
- [bug] python3 pip 安装 MarkupSafe==1.0 失败:ImportError:cannot import name 'Feature' from 'setpools'
解决 先升级pip到最新版本 python -m pip install --upgrade pip 再升级setuptools pip install --upgrade pip setuptool ...
- [刷题] 455 Assign Cookies
要求 贪心算法的关键:判断问题是否可以用贪心算法解决 给小朋友们分饼干,每个小朋友"贪心指数"为g(i),饼干大小值s(i) g(i):小朋友需要的饼干大小的最小值 若s(j)&g ...
- 【山外笔记-工具框架】iperf3网络性能测试工具详解教程
[山外笔记-工具框架]iperf3网络性能测试工具详解教程 本文下载链接 [学习笔记]iperf3网络性能测试工具.pdf 网络性能评估主要是监测网络带宽的使用率,将网络带宽利用最大化是保证网络性 ...
- SecureCRT自动保存日志设置
SecureCRT自动保存日志设置原创杭州_燕十三 最后发布于2017-03-26 22:00:08 阅读数 24731 收藏展开 嵌入式开发经常由于无法debug而只能使用串口打印日志的方式调试代码 ...
- 二进制部署K8S-1基本概念
二进制部署K8S-1基本概念 感谢老男孩教育王导的公开视频,文档整理自https://www.yuque.com/duduniao/k8s. 1.实验环境 1.1 虚拟机 因为在后期运行容器需要有大量 ...
- Mysql_源码包安装详细过程
一.mysql安装 1.二进制安装 2.源码包安装 3.rpm包安装 1.源码包安装 1)上传或下载源码包 [root@db02 ~]# rz mysql-5.6.46.tar.gz 2)安装依赖 由 ...
- shell基础之pxe批量部署
通过安装及配置DHCP,tftp-server,xinetd,httpd,syslinux来实现批量安装Linux系统 #!/bin/bash #检查环境 se_state=`getenforce` ...
- 用华为MindSpore框架训练数据库类型的数据集
技术背景 在前面一篇博客我们讲到三种用python去读取一个文件的指定行的操作,最终给出的一个结论大概是,对于大型的数据而言,最快的找到指定行的方法是Linux系统自带的sed指令,那么是否只有这一种 ...