【NameServer简述】

  对于一个消息队列集群来说,系统由很多机器组成,每个机器的角色、IP地址都不相同,而且这些信息是变动的(如在某些情况下,会有新的Producer或Consumer加入)。

  NameServer的存在主要是为了解决这类问题,由NameServer维护这些配置信息、状态信息,其他角色都通过NameServer来协同执行。

【NameServer的功能】

  NameServer是整个消息队列中的状态服务器,集群的各个组件通过它来了解全局的信息。各个角色的机器要定时向NameServer上报自己的状态,如果超时未上报,NameServer会认为某个机器出故障不可用了,其他的组件会把这个机器从可用列表中删除。

  NameServer可以部署多个,相互之间独立,其他角色同时向多个NameServer上报状态信息,从而达到热备份的目的。NameServer本身是无状态的,也就是说NameServer中的Broker、Topic等信息都不会持久化,都是由各个角色定时上报并存储到内存中的(NameServer支持参数的持久化,一般用不到)。

【集群状态的存储结构】

在RouterInfoManager中,有5个变量,集群的状态就保存在这5个变量中。

    /**
* 存储所有Topic的属性信息
*/
private final HashMap<String/* topic */, List<QueueData>> topicQueueTable;
/**
* 存储BrokerName对应的属性信息
*/
private final HashMap<String/* brokerName */, BrokerData> brokerAddrTable;
/**
* 存储集群的信息
*/
private final HashMap<String/* clusterName */, Set<String/* brokerName */>> clusterAddrTable;
/**
* 存储Broker机器的实时状态
*/
private final HashMap<String/* brokerAddr */, BrokerLiveInfo> brokerLiveTable;
/**
* 存储过滤服务器信息
*/
private final HashMap<String/* brokerAddr */, List<String>/* Filter Server */> filterServerTable;

[ 1.topicQueueTable ] 

HashMap<String, List<QueueData>> topicQueueTable;

key:Topic的名称。

value:List<QueueData>,是个QueueData的队列,长度等于这个Topic数据存储的MasterBroker的个数。

QueueData存储着Broker的名称,读写Queue的数量、同步标识等。

[ 2.brokerAddrTable ]

HashMap<String, BrokerData> brokerAddrTable;

key:BrokerName

value:BrokerData

以BrokerName为索引,相同名称的Broker可能存在多台机器,一个Master和多个Slave。

这个存储着一个BrokerName对应的属性信息,包括所属的Cluster名称、一个Master Broker和多个Slave Broker对应的地址信息。

[ 3.clusterAddrTable ] 

final HashMap<String, Set<String>> clusterAddrTable;

key:cluster的名称

value:Broker Name组成的集合。

即一个cluster名称对应的一个BrokerName的集合。

[ 4.brokerLiveTable ]

HashMap<String, BrokerLiveInfo> brokerLiveTable;

key:Broker的地址,BrokerAddr。

value:BrokerLiveInfo

brokerLiveTable的结构的key是BrokerAddr,对应着一台机器。

BrokerAddrTable中的Key是BrokerName,多个机器的BrokerName可以相同。

brokerLiveTable中的BrokerLiverInfo中保存的是这台Broker机器的实时状态。

如上次更新状态的时间戳,NameServer会定时检查这个时间戳,超时没有更新就认为这个Broker无效了,将从Broker列表中去除。

[ 5.filterServerTable ]

HashMap<String, List<String>> filterServerTable;

key:BrokerAddr

value:FilterServer的地址列表。

Filter Server是过滤服务器,是RocketMQ的一种服务端过滤方式。

一个Broker可以有一个或多个FilterServer。

【 为什么不用Zookeeper 】

  Zookeeper为分布式应用程序提供协调服务,Zookeeper的功能很强大,包括自动Master选举,RocketMQ的设计决定了它不需要进行Master选举,用不到这些复杂的功能,只需要一个轻量级的元数据服务器就足够了。

  中间件对稳定性要求很高,RocketMQ的NameServer只有很少的代码,容易维护,所以不需要再依赖另一个中间件,从而减少整体维护成本。

RocketMQ读书笔记4——NameServer(MQ的协调者)的更多相关文章

  1. RocketMQ读书笔记3——消费者

    [不同类型的消费者] DefaultMQPushConsumer 由系统控制读取操作,收到消息后自动调用传入的处理方法来处理. DefaultMQPullConsumer 读取操作中的大部分功能由使用 ...

  2. RocketMQ读书笔记2——生产者

    [生产者的不同写入策略] 生产者向消息队列里写入数据,不同的业务需要生产者采用不同的写入策略: 同步发送.异步发送.延迟发送.发送事务消息等. [DefaultMQProduce示例] public ...

  3. RocketMQ读书笔记1——简述

    [消息队列的功能介绍] 分布式消息队列可以提供应用解耦.流量削峰.消息分发.保证最终一致性.方便动态扩容等功能. [MQ使用场景1——应用解耦] 复杂的系统如电商系统,会存在多个子系统,如订单系统.库 ...

  4. RocketMQ读书笔记6——可靠性优先的使用场景

    [顺序消息] 顺序消费是指消息的产生顺序和消费顺序相同. 比如订单的生成.付款.发货,这三个消息必须按顺序处理才可以. [顺序消息的分类] 全局顺序消息和部分顺序消息. 上面订单的例子,其实是部分顺序 ...

  5. Kafka技术内幕 读书笔记之(五) 协调者——消费组状态机

    协调者保存的消费组元数据中记录了消费组的状态机 , 消费组状态机的转换主要发生在“加入组请求”和“同步组请求”的处理过程中 .协调者处理“离开消费组请求”“迁移消费组请求”“心跳请求” “提交偏移量请 ...

  6. Kafka技术内幕 读书笔记之(五) 协调者——延迟的加入组操作

      协调者处理不同消费者的“加入组请求”,由于不能立即返回“加入组响应”给每个消费者,它会创建一个“延迟操作”,表示协调者会延迟发送“加入组响应”给消费者 . 但协调者不会为每个消费者的 “加入组请求 ...

  7. Kafka技术内幕 读书笔记之(五) 协调者——协调者处理请求

    消费者客户端使用“消费者的协调者对象”( ConsumerCoordinator )来代表所有和服务端协调者节点有关的请求处理,比如心跳请求.获取和提交分区的偏移量(自动提交任务).发送“加入组请求” ...

  8. Kafka技术内幕 读书笔记之(五) 协调者——消费者加入消费组

    消费者客户端轮询的3个步骤:发送拉取请求,客户端轮询,获取拉取结果 . 消费者在发送拉取请求之前,必须首先满足下面的两个条件.- 确保消费者已经连接协调者, 即找到服务端中管理这个消费者的协调者节点 ...

  9. RocketMQ读书笔记7——吞吐量优先的场景

    [Broker端进行消息过滤] 在Broker端进行消息过滤,可以减少无效消息发送到Consumer,少占用网络宽带从而提高吞吐量. [过滤方式1——通过Tag过滤] [ 关于Tag和Key ] 对一 ...

随机推荐

  1. Numpy中扁平化函数ravel()和flatten()的区别

    在Numpy中经常使用到的操作由扁平化操作,Numpy提供了两个函数进行此操作,他们的功能相同,但在内存上有很大的不同. 先来看这两个函数的使用: from numpy import * a = ar ...

  2. 自动更新R软件

    利用R语言命令自动更新R语言软件的版本. install.packages("installr") library(installr) updateR()

  3. python中掉过又爬出来的那些坑

    一.中文是不是“字母”? 当然,看到标题你肯定想这答案是显而易见的,但是.but.问题就在这里,我也是这么想的!!!然后就被python打脸了 看下面的例子: s = '你说我是字母吗' print( ...

  4. Java_方法的调用②及案例

    语法格式: 方法名称([参数列表]); //注意:只能调用本类的方法 案例: class Method01{ public static void print(){ for(int i = 1; i ...

  5. springboot 上传图片与回显

    在网上找了很多例子,不能完全契合自己的需求,自行整理了下.需求是这样的:项目小,所以不需要单独的图片服务器,图片保存在服务器中任意的地方,并且可以通过访问服务器来获取图片.话不多说上代码: 1.依赖 ...

  6. Oracle给Select结果集加锁,Skip Locked(跳过加锁行获得可以加锁的结果集)

    1.通过select for update或select for update wait或select for update nowait给数据集加锁 具体实现参考select for update和 ...

  7. ios UITableView 搜索

    自己实现 UITableView 搜索,相对于使用 UISearchDisplayController 来说自己写稍微麻烦了那么一点点,但是更加灵活.主要就是用一个字段区分出当前是搜索还是非搜索,然后 ...

  8. Git学习系列之 Git 、CVS、SVN的比较

    Git .CVS.SVN比较 项目源代码的版本管理工具中,比较常用的主要有:CVS.SVN.Git 和 Mercurial  (其中,关于SVN,请参见我的博客:SVN学习系列) 目前Google C ...

  9. 虚拟机下linux 的root密码忘记怎么修改(转)

    1.开机时任意按一个方向键,进入界面,选择linux系统,按e键进入 2.然后用上下键选择kerner(内核)那一行,按e键进入编辑界面,编辑界面最后一行显示如下:(grub edit> ker ...

  10. Django 入门项目案例开发(中)

    关注微信公众号:FocusBI 查看更多文章:加QQ群:808774277 获取学习资料和一起探讨问题. 昨天已经描述了如何搭建Django的开发环境,今天描述业务流程,具体我们要实现一个什么样的业务 ...