NSQ：分布式的实时消息平台

【NSQ：分布式的实时消息平台】的更多相关文章

NSQ：分布式的实时消息平台

NSQ是一个基于Go语言的分布式实时消息平台,它基于MIT开源协议发布,代码托管在GitHub,其当前最新版本是0.3.1版.NSQ可用于大规模系统中的实时消息服务,并且每天能够处理数亿级别的消息,其设计目标是为在分布式环境下运行的去中心化服务提供一个强大的基础架构.NSQ具有分布式.去中心化的拓扑结构,该结构具有无单点故障.故障容错.高可用性以及能够保证消息的可靠传递的特征.NSQ非常容易配置和部署,且具有最大的灵活性,支持众多消息协议.另外,官方还提供了拆箱即用Go和Python库.如果读者…

实时消息平台NSQ的特性

NSQ是GO语言开发的可用于大规模系统中的实时消息服务,但是和RabbitMQ等相比,它具有什么特色,什么场景下选择NSQ呢? NSQ的自身特色很明显,最主要的优势在如下三个方面: 1,性能.在多个著名网站生产环境中被采用,每天能够处理数亿级别的消息.参见官方提供的性能说明文档 2,易用性.非常易于部署(几乎没有依赖)和配置(所有参数都可以通过命令行进行配置). 3,可扩展性.具有分布式且无单点故障的拓扑结构,支持水平扩展,在无中断情况下能够无缝地添加集群节点.还具有强大的集群管理界面,参见ns…

NSQ:分布式消息队列学习记录

参考资料: NSQ:分布式的实时消息平台初识NSQ分布式实时消息架构深入NSQ之旅 nsq topic和channel的区别…

分布式发布订阅消息系统 Kafka 架构设计[转]

分布式发布订阅消息系统 Kafka 架构设计转自:http://www.oschina.net/translate/kafka-design 我们为什么要搭建该系统 Kafka是一个消息系统,原本开发自LinkedIn,用作LinkedIn的活动流(activity stream)和运营数据处理管道(pipeline)的基础.现在它已为多家不同类型的公司作为多种类型的数据管道(data pipeline)和消息系统使用. 活动流数据是所有站点在对其网站使用情况做报表时要用到的数据中最常规的部…

(二): 基于ZeroMQ的实时通讯平台

基于ZeroMQ的实时通讯平台上篇:C++分布式实时应用框架 (Cpp Distributed Real-time Application Framework)----(一):整体介绍通讯平台作为C++分布式实时应用框架(Cpp Distributed Real-time Application Framework)的最核心模块,承担了分布式实时框架的基础通讯功能.通讯平台框架具备了基于Reactor模式的网络通讯能力,并且依赖于ZeroMQ库,因此支持非持久化的message queue的…

携程实时计算平台架构与实践丨DataPipeline

文 | 潘国庆携程大数据平台实时计算平台负责人本文主要从携程大数据平台概况.架构设计及实现.在实现当中踩坑及填坑的过程.实时计算领域详细的应用场景,以及未来规划五个方面阐述携程实时计算平台架构与实践,希望对需要构建实时数据平台的公司和同学有所借鉴. 一.携程大数据平台之总体架构携程大数据平台结构分为三层: 应用层:开发平台Zeus(分为调度系统.Datax数据传输系统.主数据系统.数据质量系统).查询平台(ArtNova报表系统.Adhoc查询).机器学习(基于tensorflow.spa…

TOP100summit：【分享实录】Twitter 新一代实时计算平台Heron

本篇文章内容来自2016年TOP100summit Twitter technical lead for Heron Maosong Fu 的案例分享. 编辑:Cynthia Maosong Fu:Technical Lead for Heron at Twitter 导读:人们需要处理的数据规模和对结果的响应速度需求增长得越来越快,但摩尔定律逐渐失效,系统设计者再也无法简单地通过硬件升级来获得巨大的性能提升.这时,我们希望可以把过去的单机任务分割给许多计算机进行并行处理.我们需要分布式系统,从…