0x01 简介 Apache Pulsar是一个开源的分布式发布-订阅消息系统,与Kafka类似,但比后者更加强大.Pulsar最初由Yahoo开发并维护,目前已经成为Apache软件组织的一个孵化子项目,当前最新版本号为2.1.0-incubating.官网地址:http://pulsar.apache.org/. 0x02 Apache Pulsar单机版环境搭建 1.前提条件 Pulsar目前仅仅支持MacOS和Linux系统,不支持Windows系统.并且要求系统中安装了Java 8环境

Apache Pulsar What is Pulsar "Pulsar is a distributed pub-sub messaging platform with a very flexible messaging model and an intuitive client API." Pulsar是pub-sub模式的分布式消息平台,拥有灵活的消息模型和直观的客户端API. Pulsar由雅虎开发并开源的下一代消息系统,目前是Apache软件基金会的孵化器项目. 概念 Top

Apache Pulsar是一款由雅虎开发的类似于Kafka的企业级消息订阅系统,在2016将其开源,由Apach基金会孵化,现在已经成长为Apache基金会的顶级项目.Pulsar在雅虎内部已经运行了三年,服务于众多的应用,主要有雅虎邮箱.雅虎财务系统.雅虎运动.Flickr.Gemini广告平台以及雅虎分布式键值对存储系统Sherpa等. Pulsar相关概念. 为Pulsar提供数据的应用叫做生产者,而从Pulsar消费数据的应用被称为消费者,有时也称为订阅者.主题Topic是Pulsar

作者:个推平台研发工程师 祥子 一.业务背景在个推的推送场景中,消息队列在整个系统中占有非常重要的位置.当 APP 有推送需求的时候, 会向个推发送一条推送命令,接到推送需求后,我们会把APP要求推送消息的用户放入下发队列中,进行消息下发:当同时有多个APP进行消息下发时,难免会出现资源竞争的情况, 因此就产生了优先级队列的需求,在下发资源固定的情况下, 高优先级的用户需要有更多的下发资源.二.基于 Kafka 的优先级队列方案针对以上场景,个推基于 Kafka 设计了第一版的优先级队列方案.K

Pulsar快速上手 前言 如果你还不了解Pulsar消息系统,可以先看上一篇文章 企业级分布式消息系统-Pulsar入门基础 Pulsar客户端支持多个语言,包括Java,Go,Pytho和C++,本篇文章只讲述Java客户端. Pulsar Java客户端既可用于创建消息的producers.consumers和readers ,也可用于执行管理任务.Java 客户端的当前版本为 2.4.0. 1. 安装 最新版本的Pulsar Java 客户端库可通过 Maven中央仓库 使用. 要使用最

Pulsar简介 Apache Pulsar是一个企业级的分布式消息系统,最初由Yahoo开发并在2016年开源,目前正在Apache基金会下孵化.Plusar已经在Yahoo的生产环境使用了三年多,主要服务于Mail.Finance.Sports. Flickr. the Gemini Ads platform. Sherpa以及Yahoo的KV存储. Pulsar之所以能够称为下一代消息队列,主要是因为以下特性: 线性扩展.能够丝滑的扩容到成百上千个节点(Kafka扩容需要占用很多系统资源在

在 Apache Pulsar 2.6.0 版本发布后的 2 个月,2020 年 8 月 21 日,Apache Pulsar 2.6.1 版本正式发布! Apache Pulsar 2.6.1 修复了 2.6.0 版本中的诸多问题,改进了一些功能,新增了对 OAuth2 的支持,覆盖 Broker.Pulsar SQL.Pulsar Functions.Go Function.Java Client 和 C++ Client,进一步丰富了 Pulsar 作为云原生流数据平台的功能. 在 Pul

关于 Apache Pulsar Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息.存储.轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户.持久化存储.多机房跨区域数据复制,具有强一致性.高吞吐.低延时及高可扩展性等流数据存储特性. 导语 各位小伙伴们,Pulsar 社区周报来啦! 本周 Pulsar 社区周报,为大家呈现 Pulsar client.broker 等内容,帮助社区小伙伴们掌握 Pulsar 项目及社区每周进展

背景 在人工智能技术的支持下,BIGO 基于视频的产品和服务受到广泛欢迎,在 150 多个国家/地区拥有用户,其中包括 Bigo Live(直播)和 Likee(短视频).Bigo Live 在 150 多个国家/地区兴起,Likee 有 1 亿多用户,并在 Z 世代中很受欢迎. 随着业务的迅速增长,BIGO 消息队列平台承载的数据规模出现了成倍增长,下游的在线模型训练.在线推荐.实时数据分析.实时数仓等业务对消息的实时性和稳定性提出了更高的要求. BIGO 消息队列平台使用的是开源 Kafka

关于 Apache Pulsar Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息.存储.轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户.持久化存储.多机房跨区域数据复制,具有强一致性.高吞吐.低延时及高可扩展性等流数据存储特性. 导语 各位小伙伴们,Pulsar 社区周报来啦!每周 Pulsar 社区周报,为大家呈现 Pulsar 客户端.broker.安全.Pulsar IO.社区活动等内容,帮助社区小伙伴们掌握 Pul

在正式分享 2.6.1 版本更新细节之前,冉小龙首先为我们分享了两个相关 PIP 的内容. 一个是 PIP-47 中关于「基于时间来进行版本更新」的计划.该 PIP 提出后,从 2.5.0 版本到目前即将发布的 2.6.1 版本中,时间更短.发布频率更高成为最突出的特点.同时反馈周期快,基本是每三个月更新一个大版本.这样用户也可以大概了解版本的一个更新周期,增进了项目透明度. 另一个是 PIP-69 中计划在 Go Client 中集成 schema 相关的功能和特性,更多详情介绍可以参考下方:

关于 Apache Pulsar Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息.存储.轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户.持久化存储.多机房跨区域数据复制,具有强一致性.高吞吐以及低延时的高可扩展流数据存储特性. 本篇文章,我们将带着刚刚圆满结束的 Pulsar Summit 精华版内容,为大家分享 Apache Pulsar 的成长历史. 关于 Pulsar Summit 会议 本次 Pulsar Summ

腾讯 Angel PowerFL 联邦学习平台 联邦学习作为新一代人工智能基础技术,通过解决数据隐私与数据孤岛问题,重塑金融.医疗.城市安防等领域. 腾讯 Angel PowerFL 联邦学习平台构建在 Angel 机器学习平台上,利用 Angel-­PS 支持万亿级模型训练的能力,将很多在 Worker 上的计算提升到 PS(参数服务器) 端:Angel PowerFL 为联邦学习算法提供了计算.加密.存储.状态同步等基本操作接口,通过流程调度模块协调参与方任务执行状态,而通信模块完成了任务训

与 Kafka 相比,Pulsar 的架构使它在跨地域复制.扩展.多租户和队列等方面具有重要的优势.   1 月 27 日,DataStax 宣布收购Kesque(Pulsar 即服务),加入到了 Pulsar 社区,并开源了 Kesque 团队在Luna Streaming中构建的管理和监控工具.   多年来,DataStax 一直专注于消息传递.一个非常重要的原因是基于微服务的架构日益普及.简单来说,微服务架构使用消息总线来解耦服务之间的通信,并简化重放.错误处理和负载峰值.   有了 Ca

关于 Apache Pulsar Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息.存储.轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户.持久化存储.多机房跨区域数据复制,具有强一致性.高吞吐.低延时及高可扩展性等流数据存储特性. GitHub 地址:http://github.com/apache/pulsar/ 案例导读:本案例介绍了清华大学能源互联网创新研究院将 Apache Pulsar 落地能源互联网方向的实践.P

关于 Apache Pulsar Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息.存储.轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户.持久化存储.多机房跨区域数据复制,具有强一致性.高吞吐.低延时及高可扩展性等流数据存储特性. GitHub 地址:http://github.com/apache/pulsar/ 背景 Apache Pulsar 系列文章为读者们详细解释了 Pulsar 的消息保留和过期策略,本文是系列第

1. 动机 Lakehouse最早由Databricks公司提出,其可作为低成本.直接访问云存储并提供传统DBMS管系统性能和ACID事务.版本.审计.索引.缓存.查询优化的数据管理系统,Lakehouse结合数据湖和数据仓库的优点:包括数据湖的低成本存储和开放数据格式访问,数据仓库强大的管理和优化能力.Delta Lake,Apache Hudi和Apache Iceberg是三种构建Lakehouse的技术. 与此同时,Pulsar提供了一系列特性:包括分层存储.流式卸载.列式卸载等,让其成

导语 Apache Pulsar 是一个多租户.高性能的服务间消息传输解决方案,支持多租户.低延时.读写分离.跨地域复制.快速扩容.灵活容错等特性.腾讯云内部 Pulsar工作组对 Pulsar 做了深入调研以及大量的性能和稳定性方面优化,目前已经在腾讯内部业务TDBank落地上线.本文是Pulsar技术系列中的一篇,主要介绍Pulsar 的 Message Deduplication 特性,供大家参考,避免在使用过程中踩坑. Message Deduplication背景介绍 消息中间件产品设

Apache Pulsar Summit 是 Apache Pulsar 社区年度盛会,它将分布在世界各地的 Apache Pulsar 项目 Contributor.Commiter 和各企业 CTO/CIO.开发者.架构师.数据科学家,以及消息和流计算社区的精英召集在一起.于此盛会,大家分享实践经验.交流想法.探讨关于 Pulsar 项目和社区的知识,切磋互动.本次 Summit 咱们 Apache DolphinScheduler(Incubator) 也正式成为 Apache Pulsa

还在为如何部署Apache DolphinScheduler 发愁么?自上篇<美女 Committer 手把手教你使用海豚调度>的视频发布后,受到社区伙伴们的热烈欢迎.但个别小伙伴在部署这块还是遇到了一点儿小麻烦,本次特地再次邀请美女 Committer - 陈兴春为社区录制如何部署 DolphinScheduler 单机版本,之所以是单机版本,是因为想让大家能够尽快感受 DolphinScheduler 的能力,让小白也可以轻松部署 DS ,充分贯彻 DolphinScheduler 的 S