RocketMQ学习 -> NameServer路由中心

RocketMQ项目代码核心目录说明 broker:broker启动进程 client:消息客户端,包含消息生产者,消息消费者相关类 common:公共包 dev:开发者信息(非源代码) distribution:部署实例文件夹(非源代码,仅一些配置文件) example:RocketMQ示例代码 filter:消息过滤相关基础类 filtersrv:消息过滤服务实现相关类(filter启动进程) logappender:日志实现相关类 namesrv:NameServer实现相关类(NameS…

RocketMQ 源码分析之路由中心(NameServer)

你可能没有看过 RocketMQ 的架构图,没关系,一起来学习一下,RocketMQ 架构图如下: 在 RocketMQ 中,有四个角色: Producer:消息的生产者,每个 MQ 中间件都有. Consumer:消息的消费者,每个 MQ 中间件都有. NameServer:RocketMQ 的路由中心,跟 ZooKeeper 差不多. Broker:消息服务器,RocketMQ 的消息全部存储在这里. Producer 发送消息之前,先从 NameServer 中获取到 Broker 服务器…

rocketmq学习(一) rocketmq介绍与安装

1.消息队列介绍消息队列本质上来说是一个符合先进先出原则的单向队列:一方发送消息并存入消息队列尾部(生产者投递消息),一方从消息队列的头部取出消息(消费者消费消息).但对于一个成熟可靠的消息队列来说,所需要解决的主要问题还包括:高效可靠的消息投递.存储:能承受高并发的流量冲击,可通过集群部署来解决单点故障等等. 由于消息队列具备了以上特点,因此在如今的微服务架构中能够作为一种中间件,提供许多重要的功能以解决微服务架构中的诸多痛点: 1.应用解耦微服务架构中,存在着众多子系统,共同完成对外部用…

RocketMQ学习笔记（16）----RocketMQ搭建双主双从（异步复制）集群

1. 修改RocketMQ默认启动端口由于只有两台机器,部署双主双从需要四个节点,所以只能修改rocketmq的默认启动端口,从官网下载rocketmq的source文件,解压后使用idea打开,全局搜索9876,将所有使用9876端口的地方改为9877. 在终端打开,使用:mvn -Prelease-all -DskipTests clean install命令打包,打包完成后在项目的distribution\target将会有如下两个包: 分别是linux和win下运行的包. 将后缀为.t…

RocketMQ学习笔记（4）----RocketMQ搭建双Master集群

前面已经学习了RockeMQ的四种集群方式,接下来就来搭建一个双Master(2m)的集群环境. 1. 双Master服务器环境序号 ip 用户名密码角色模式 (1) 47.105.145.123 root nameServer1,brokerServer1 Master1 (2) 47.105.149.61 root nameServer2,brokerServer2 Master2 2. 修改hosts环境两台机器同时修改:vim /etc/hosts 重启网卡:servi…

修改RocketMQ的NameServer端口

---问题--- 有同事提出各个问题:如何修改RocketMQ的NameServer端口号?(默认:9876) ---结论--- 调查并验证之后,结论及过程如下: 验证版本:rocketmq-all-4.2.0 NameServer启动的时候会根据[业务参数]及[网络参数]来指定NameServer的启动选项: NameServerStartUp源码(NameServer启动) https://github.com/apache/rocketmq/blob/master/namesrv/src/…

RocketMQ学习笔记（15）----RocketMQ的消息模式

在前面学习ActiveMQ时,看到ActiveMQ可以是队列消息模式,也可以是订阅发布模式. 同样,在RocketMQ中,也存在两种消息模式,即是集群消费模式和广播消费模式. 1. 集群消费模式跟AciiveMQ一样,当存在多个消费者时,消息通过一定负载均衡策略,将消息分发到多个consumer中. 如图: 在RockeMQ中,通过ConsumeGroup的机制,实现了天然的消息负载均衡!通俗点来说,RocketMQ中的消息通过ConsumeGroup实现了将消息分发到C1/C2/C3/……的…

RocketMQ学习笔记（13）----RocketMQ的Consumer消息重试

1. 概念 Producer端重试: 生产者端的消息失败,也就是Producer往MQ上发消息没有发送成功,比如网络抖动导致生产者发送消息到MQ失败. 这种消息失败重试我们可以手动设置发送失败重试的次数. Consumer端重试: Consumer消费消息失败后,要提供一种重试机制,令消息再消费一次,Consumer消费消息失败通常可以认为有以下几种情况 1. 由于消息本身的原因,例如反序列化失败,消息数据本身无法处理(例如话费充值,当前消息的手机被注销,无法充值)等.这种错误通常需要跳过这条消…

RocketMQ学习笔记（14）----RocketMQ的去重策略

1. Exactly Only Once (1). 发送消息阶段,不允许发送重复的消息 (2). 消费消息阶段,不允许消费重复的消息. 只有以上两个条件都满足情况下,才能认为消息是“Exactly Only Once”,而要实现以上两点,在分布式系统环境下,不可避免要产生巨大的开销.所以RocketMQ 为了追求高性能,并不保证此特性,要求在业务上进行去重,也就是说消费消息要做到幂等性.RocketMQ 虽然不能严格保证不重复,但是正常情况下很少会出现重复发送.消费情况,只有网络异常,Con…

Django学习之路由分发和反向解析

原 Django学习之路由分发和反向解析 2018年07月12日 14:04:55 huangql517 阅读数 519 1>路由分发我们之前学习的路由配置都是在项目的全局控制文件(项目名称目录下的urls.py), 这个一个文件当中配置映射关系,当一个项目的url越来越多时,比如项目当中一般都分一级菜单,二级菜单等等这些主页面url和众多不同分类下的子页面url全都挤在一个文件下,就会造成后期维护的困难, 所以,引入路由分发来解决这个问题, 其思想就是,一些公共的主页面/整个网站的一级菜单…

RocketMQ之NameServer学习笔记

org.apache.rocketmq.namesrv.NamesrvController NameserController,NameServer的核心控制类. 1.1 NamesrvConfig NamesrvConfig,主要指定nameserver的相关配置目录属性 1)kvConfigPath(kvConfig.json) 2)mqhome/namesrv/namesrv.properties 3)orderMessageEnable,是否开启顺序消息功能,默认为false 1.2 S…

RocketMQ学习笔记（7）----RocketMQ的整体架构

1. RocketMQ主要的9个模块,如图: 2. 模块介绍 1. rocketmq-common:通用的常量枚举,基类方法或者数据结构,按描述的目标来分包,通俗易懂.报名有admin,consumer,filter,hook,message等. 2. rocketmq-remoting:用Netty写的客户端和服务端,fastjson做的序列化,自定义二进制协议 3. rocketmq-sevutil: 只用一个ServerUtil类,类注解是,只提供Server程序依赖,目的是为了拆解客户端…

RocketMQ学习记录

RocketMQ是一款分布式.队列模型的消息中间件,具有以下特点: 1.能够保证严格的消息顺序 2.提供丰富的消息拉取模式 3.高效的订阅者水平扩展能力 4.实时的消息订阅机制 5.亿级消息堆积能力 RocketMQ网络部署 1.NameServer是一个几乎无状态的节点,可集群部署,一般用zookeeper实现,用于管理分布式Topic信息 NameServer维护信息示例:rocketMQ/brokers/myserverrocketMQ/topics/epftopic4wolfrocket…

rocketmq ----> 学习笔记

官网:http://rocketmq.apache.org 1.环境搭建准备: rocketmq-all-4.3.0-bin-release.zip 必须配置:JAVA_HOME=/home/rui/jdk1.8.0_172 1 unzip rocketmq-all-4.3.0-bin-release.zip -d /home/rui/ 2 3 cd /home/rui/ 4 5 mv rocketmq-all-4.3.0-bin-release/ rocketmq-4.3.0 6 7 vim…

rocketmq 学习记录-2

产品选型我们在进行中间件选型时,一般都是通过下面几点来进行产品选型的: 1.性能 2.功能支持程度 3.开发语言(团队中是否有成员熟悉此中间件的开发语言,市场上此种语言的开发人员是否好招) 4.有多少公司已经在生产环境上实际使用过,使用的效果如何 5.社区的支持力度如何 6.中间件的学习程度是否简单.文档是否详尽 7.稳定性 8.集群功能是否完备 ... 如果从以上8点来选型一个消息队列,作为一名熟悉java的程序员,当遇到重新选择消息队列的场景时,我会毫不犹豫的选型rocketmq,rock…

vue学习之六路由系统

一.vueRouter实现原理 VueRouter的实现原理是根据监控锚点值的改变,从而不断修改组件内容来实现的,我们来试试不使用VueRouter,自己实现路由控制,如下代码: <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> </head> <body>…

RocketMQ中NameServer的启动

在RocketMQ中,使用NamesrvStartup作为启动类主函数作为其启动的入口: public static void main(String[] args) { main0(args); } main0方法: public static NamesrvController main0(String[] args) { try { NamesrvController controller = createNamesrvController(args); start(controller…

rocketmq学习(二) rocketmq集群部署与图形化控制台安装

1.rocketmq图形化控制台安装虽然rocketmq为用户提供了使用命令行管理主题.消费组以及broker配置的功能,但对于不够熟练的非运维人员来说,命令行的管理界面还是较难使用的.为此,我们可以使用图形化的管理界面来简化管理操作. rocketmq官方推荐的图形化控制台目前还处在不成熟的孵化阶段.仓库地址为(https://github.com/apache/rocketmq-externals),其中包含了rocketmq相关拓展的.属于孵化期的各种项目.下载源码之后,找到rocket…

Angular6 学习笔记——路由详解

angular6.x系列的学习笔记记录,仍在不断完善中,学习地址: https://www.angular.cn/guide/template-syntax http://www.ngfans.net/topic/12/post/2 系列目录 (1)组件详解之模板语法 (2)组件详解之组件通讯 (3)内容投影, ViewChild和ContentChild (4)指令 (5)路由路由存在的意义一般而言,浏览器具有下列导航模式: 在地址栏输入 URL,浏览器就会导航到相应的页面. 在页面中点击…

nameServer路由发现

RocketMQ路由发现是非实时的,当Topic路由出现变化时,NameServer不主动推动给客户端,而是客户端定时拉取主题最新的路由总结: topic路由的是brokername…

NameServer路由删除

NameServer会每隔10s扫描brokerLiveTable状态表,如果BrokerLive的lastUpdateTimestamp的时间戳距当前时间超过120s,则认为Broker失效,移除改Broker,关闭与Broker连接,并同时更新topicQueueTable,brokerAddrTable,brokerLiveTable,filterServerTable. RocketMQ 有两个触发点来出发路由删除: 1.定时扫描 2.Broker在正常被关闭的情况下,会执行unregi…

【rocketmq学习笔记】rocketmq入门学习

基本介绍 rocketmq是阿里巴巴团队使用java语言开发的一款基于发布订阅模型的分布式消息队列中间件,是一款低延迟,高可用,拥有海量消息堆积能力和灵活拓展性的消息队列. 特点可以实现集群无单点故障问题,节点高可用,水平可扩展: 支持消息存储,写入低延迟,支持实时消息查询: 支持上万个消息队列,性能高; 提供消息失败重试机制,可靠性高: 开源社区活跃性高,经受过阿里双十一考验,具备较高成熟度. 基本组件下图是rocketmq的物理部署架构: 从上图可以知道,rocketmq由四大核心模块组…

【RocketMQ】NameServer的启动

NameServer是一个注册中心,Broker在启动时向所有的NameServer注册,生产者Producer和消费者Consumer可以从NameServer中获取所有注册的Broker列表,并从中选取Broker进行消息的发送和消费. NameServer的启动类是NamesrvStartup,主要做了两件事情: 调用createNamesrvController方法创建NamesrvController,NamesrvController是NameServer的核心调用start方法,…

ASP.NET MVC学习之路由篇（3）

根据路由输出链接既然是网站开发自然少不了链接,我们已经学会了强大的路由,但是还缺少一步就是能够将这些路由的路径输出到页面,下面我们就开始学习如何输出路由路径. 首先我们的路由注册部分如下所示: 1 namespace MvcStudy 2 { 3 public class RouteConfig 4 { 5 public static void RegisterRoutes(RouteCollection routes) 6 { 7 routes.Add(new Route("MyTest&q…

ASP.NET MVC学习之路由篇（2）

7.解决与物理路径的冲突当发送一个请求至ASP.NET MVC时,其实会检查网站中存不存在这个请求的物理路径文件,如果存在的话,就会直接将这个物理文件返回.但是有时候我们需要它执行控制器的某个方法,而不是直接将这个物理文件返回.那么我们就需要这节知识.下面我们先在网站根目录中新建一个 Test.html ,在其中随便写上一些内容,然后访问.再在RouteConfig.cs中写入如下代码: 1 public class RouteConfig 2 { 3 public static void R…

ASP.NET MVC学习之路由篇（1）

1.基本路由 RouteConfig.cs: 1 public class RouteConfig 2 { 3 public static void RegisterRoutes(RouteCollection routes) 4 { 5 routes.MapRoute( 6 name: "Default", 7 url: "{controller}/{action}" 8 ); 9 } 10 } 然后运行网站,输入http://localhost:xxxx/Hom…

跟我学习dubbo-ZooKeeper注册中心安装(2)

注册中心可选方案:zookeeper.Redis 1.建议使用dubbo-2.3.3以上版本的使用zookeeper注册中心客户端 2.Zookeeper是Apache Hadoop的子项目,强度相对较好,建议生产环境使用该注册中心. 3.Dubbo未对Zookeeper服务器端做任何侵入修改,只需安装原生的Zookeeper服务器即可, 所有注册中心逻辑适配都在调用Zookeeper客户端时完成. 安装 Dubbo 注册中心(Zookeeper-3.4.6) 1. 修改操作系统的/etc/h…

ASP.NET MVC学习之路由篇

约束路由上面我们有一个{id}用来捕获参数的,但是你也发现了它可以捕捉任何字符串等等,但是我们有时需要限制它,比如让它只能输入数字,那么我们就可以使用正则表达式去约束它. 如下修改RouteConfig.cs: 1 public class RouteConfig 2 { 3 public static void RegisterRoutes(RouteCollection routes) 4 { 5 routes.MapRoute( 6 name: "Default", 7 url…

spring cloud学习(六) 配置中心-自动更新

上一篇学习了spring cloud config的基本使用,但发现有个问题,就是每次更改配置后,都需要重启服务才能更新配置,这样肯定是不行的.在上网查资料了解后,spring cloud支持通过AMQP来实现配置的实时更新. 一.安装rabbitmq 1.1 如果要使用spring cloud的amqp,需要安装rabbitmq.我们可以通过官网 https://www.rabbitmq.com/download.html 下载.我用的是mac,下载解压后,执行$RABBITMQ_HOME/s…

RocketMQ学习笔记（一）eclipse版的quickstart

学而时习之,不亦说乎! 自己搭建个学习用的RocketMQ总是很麻烦,需要虚拟机环境,网络,需要安装rocketmq,启动.时间久了再去看,又不知道这个虚拟机是干嘛的了. 直接在eclipse中启动,简单省事,用的时候启动,用完关掉就行了. 先看下图,给还没开始的你一点信心. RocketMQ 官网:http://rocketmq.apache.org/ 源码:https://github.com/apache/rocketmq github:https://github.com/apache/…

【RocketMQ学习 -> NameServer路由中心】的更多相关文章