RabbitMQ上手记录–part 6-Shovel

上一part《RabbitMQ上手记录–part 5-节点集群高可用(多服务器)》讲到了通过多个服务器来搭建RabbitMQ的节点集群，示例当中提到的服务器都是在同一个局域网中的（实际上是一个机器上的多个不同虚拟机而已），这种使用方式适用于在同一个数据中心的情况。互联网里常常提到异地多活、多数据中心来实现更高级别的高可用。我的理解是当数据或者访问量超过当个数据中心规模时，通过更多的数据中心来提供更多的访问量支持，同时当某地数据中心出问题时，也不会让数据因为都放在同一个数据中心而导致整个系统宕机。

RabbitMQ通过Shovel插件实现节点集群跨多数据中心的需求。下面来简单了解一下Shovel的一些基本概念。

Shovel基本概念

Shovel是RabbitMQ的一个插件，这个插件的功能就是将源节点的消息发布到目标节点，这个过程中Shovel就是一个客户端，它负责连接源节点，读取某个队列的消息，然后将消息写入到目标节点的exchange中。根据这么一个概念，其实也可以自己开发一个简单的程序，负责从一个节点读取数据然后发送到目标节点。

使用Shovel的好处

1.Shovel能在不同数据中心之间传递消息，源节点和目标节点可以使用不同的用户和vhosts，不同的RabbitMQ版本，并且不需要使用相同的cookie token（在上一part实现多服务器节点集群是，我们特意将每个主机的cookie token都设置成一样）

2.客户端的连接允许连接断开的同时不丢失消息

3.支持多个版本的AMQP协议

具体工作方式

Shovel插件通过定义一个或多个shovel来实现消息的传递。

shovel实现了以下功能

1.连接源节点和目标节点

2.读取（或者说是consume）队列里的消息

3.发布消息到目标节点（通过将消息发布到目标节点的exchange，并通过routing_key的方式发布）

（Shovel的工作过程简要描述）

使用Shovel

梳理完理论之后，接下来将使用两个不同地域云主机来实践一下（有点小成本，需要自行租用云主机）。

1.准备云主机

1.需要有两台云主机，我这里两个云主机分别来自vulrtr和阿里云（来源不重要，只要是云主机并且分布在不同的地区），练习用最低配的就够了。

云主机信息

名称	角色	主机提供方	操作系统	IP	端口	备注
主机1	来源节点	vultr	ubuntu1604	45.32.250.47
主机2	目标节点	aliyun	ubuntu1604	47.106.179.208		阿里云需要在安全策略组中单独开放5672端口

然后在各个主机安装好RabbitMQ，并且确认5672端口号可被外部访问到。

注意这里我们并没有同步两个机器的cookie token，是为了证明在使用shovel时不需要依赖于cookie token。

2.安装Shovel

Shovel是RabbitMQ的一个插件，在已经安装好RabbitMQ的基础上，把相关的插件启用即可。

我们只需要在主机1，也就是来源节点启用shovel插件即可。

执行如下命令启用Shovel插件

rabbitmq-plugins enable rabbitmq_shovel

看到如下输出即表明启用成功

The following plugins have been enabled:
   amqp_client
   rabbitmq_shovel

Applying plugin configuration to rabbit@vultr... started 2 plugins.

3.配置和运行Shovel

shovel分成两种

静态shovel：在配置文件中定了源节点和目标节点信息，修改配置后需要重启

动态shovel：通过运行时参数指定，可在运行时创建或删除

这里我使用静态shovel，在配置里定义shovel配置。

首先要找到RabbitMQ使用的配置，默认情况下是没有创建的，我们可以通过启动日志查看目前是否有指定的配置文件。

通常log文件在/var/log/rabbitmq下的rabbit@{hostname}.log文件中，打开文件发现

config file(s) : /etc/rabbitmq/rabbitmq.config (not found)

说明配置文件没有创建。

重新创建一个rabbitmq.config文件太麻烦了，我们从基于官方提供的example配置文件来修改会简单一些。

打开目录/usr/share/doc/rabbitmq-server/

cd /usr/share/doc/rabbitmq-server/

然后找到rabbitmq.config.example.gz，解压后复制到/etc/rabbitmq目录下

gzip -dk rabbitmq.config.example.gz

mv rabbitmq.config.example /etc/rabbitmq/rabbitmq.config

这时候的rabbitmq.config文件里所有配置都是注释的，这里我们现在只关注shovel部分的配置。

a.准备配置信息

在主机1和主机2上分别创建一个RabbitMQ用户，用户名是shovel_user，密码是123456，并设置授权

sudo rabbitmqctl add_user shovel_user 123456

sudo rabbitmqctl set_user_tags shovel_user administrator

sudo rabbitmqctl set_permissions -p / shovel_user ".*" ".*" ".*"

b.配置shovel

在主机1上打开rabbitmq.config文件，修改shovel部分的配置为如下内容

{rabbitmq_shovel,
   [{shovels,
     [%% A named shovel worker.
      {my_test_shovel,
       [

%  List the source broker(s) from which to consume.
     
        {sources,
         [%% URI(s) and pre-declarations for all source broker(s).
         {brokers, ["amqp://shovel_user:123456@45.32.250.47:5672"]},
          {declarations, [
              {'exchange.declare',
                 [ {exchange, <<"shovel_exchange">>},
                 {type, <<"direct">>},
                 durable
                 ]},
             {'queue.declare',
                 [{queue,    <<"shovel_outcome_queue">>},durable]},
             {'queue.bind',
                 [ {exchange, <<"shovel_exchange">>},
                 {queue,    <<"shovel_outcome_queue">>},
                 {routing_key, <<"shovel_key">>}
                 ]}
          ]}
         ]},

%  List the destination broker(s) to publish to.
        {destinations,
         [%% A singular version of the 'brokers' element.
         {broker, "amqp://shovel_user:123456@47.106.179.208:5672"},
          {declarations, [{'exchange.declare',
                             [ {exchange, <<"shovel_exchange">>},
                             {type, <<"direct">>},
                             durable
                             ]},
                         {'queue.declare',
                             [{queue,    <<"shovel_income_queue">>},durable]},
                         {'queue.bind',
                             [ {exchange, <<"shovel_exchange">>},
                             {queue,    <<"shovel_income_queue">>},
                             {routing_key, <<"shovel_key">>}
                             ]}]}
         ]},

%  Name of the queue to shovel messages from.
     
      {queue, <<"shovel_outcome_queue">>},

%  Optional prefetch count.
     
      {prefetch_count, 10},

%  when to acknowledge messages:
     %  - no_ack: never (auto)
     %  - on_publish: after each message is republished
     %  - on_confirm: when the destination broker confirms receipt
     
      {ack_mode, no_ack},

%  Overwrite fields of the outbound basic.publish.
     
      {publish_fields, [{exchange,    <<"shovel_exchange">>},
                        {routing_key, <<"shovel_key">>}]},

%  Static list of basic.properties to set on re-publication.
     
      {publish_properties, [{delivery_mode, 2}]},

%  The number of seconds to wait before attempting to
     %  reconnect in the event of a connection failure.
     
      {reconnect_delay, 2.5}

]} %% End of my_first_shovel
     ]}
    %% Rather than specifying some values per-shovel, you can specify
    %% them for all shovels here.
    %%
    %% {defaults, [{prefetch_count,     0},
    %%             {ack_mode,           on_confirm},
    %%             {publish_fields,     []},
    %%             {publish_properties, [{delivery_mode, 2}]},
    %%             {reconnect_delay,    2.5}]}
   ]}

RabbitMQ的官网的shovel配置示例不可用，这里使用配置的是RabbitMQ在github提供的配置示例基础上修改的（https://github.com/rabbitmq/rabbitmq-server/blob/master/docs/rabbitmq.config.example），然后结合官网文档的说明自己摸索配置出来。

配置说明

简单介绍一下上述配置中的关键部分

shovels之后接着可定义多个shovel，这里只定义了一个shovel，名称是my_test_shovel。

sources:定义了消息的来源

brokers

需要给出来源服务的地址，通常格式为amqp://用户名:密码@主机名(IP):端口号/vhost名称。

之前定义的shovel_user这时候就可以用上了，配置中我们使用的是默认的vhost，所以没有设置vhost名称

amqp://shovel_user:123456@45.32.250.47:5672

declarations:

declarations里面的内容就是执行一些amqp的命令，这些命令跟使用API调用的过程类似，

比如声明队列，Exchange和绑定信息等。

destinations:定义了消息的去向，里面的内容跟sources类似，实际上就是定义接收的exchange和队列

queue：这里单独配置了一个queue，是表示从哪个队列读取消息，这里跟sources里声明的队列一致。

其他一些可选的配置就不详细介绍了，具体可以查看官网文档http://www.rabbitmq.com/configure.html。

我们这里的配置表示从主机1的shovel_outcome_queue队列获取消息，然后转发到主机2的shovel_income_queue队列，两边使用的exchange名称都是shovel_exchange，并且routing_key的值都是shovel_key。

完整的配置请参考

https://github.com/shenba2014/RabbitMQ/blob/master/shovel/rabbitmq.config。

c.验证配置

配置完成之后，重启主机1的RabbitMQ服务

service rabbitmq-server restart

然后在主机1查看shovel的状态

rabbitmqctl eval 'rabbit_shovel_status:status().'
可以看到类似如下输出信息,看到running字样表明shovel服务已正常运行

[{my_test_shovel,static,
                  {running,[{src_uri,<<"amqp://45.32.250.47:5672">>},
                            {dest_uri,<<"amqp://47.106.179.208:5672">>}]},
                  {{2018,5,13},{12,4,48}}}]

输出信息中列出了源节点和目标节点信息，最后一行是时间戳。

4.使用Shovel

接下来我们使用代码来测试Shovel是否可用，我们的代码跟连接普通的RabbitMQ服务类似，只是具体连接的服务器地址不同。

测试的代码包含consumer和producer两部分，consumer将连接主机2，producer将连接到主机1。

分别运行consumer和producer的代码，producer在运行之后会发送消息到队列shovel_outcome_queue，然后consumer会接收到消息。

具体consumer和producer的代码不贴出来，完整代码请参考

https://github.com/shenba2014/RabbitMQ/tree/master/shovel

我们来直接看看运行代码的效果

运行消费者的代码，参数依次是：主机IP，端口，RabbitMQ用户名和密码，这里的我们连接的是主机2（目标节点）。

运行

python shovel_consumer.py 47.106.179.208 5672 shovel_user 123456

输出

Ready for orders!

然后新开一个控制台运行生产者的代码，参数一样，但是生产者连接的是主机1（源节点）。

运行

python shovel_producer.py 45.32.250.47 5672 shovel_user 123456

输出

Sent order message.

然后在消费者的那个控制台应该会看到类似如下输出

Received order 92 for test type.

数字是随机生成的，所以最终会结果可能不同。

好了，到目前为止，整个演练就完成了，前面的准备工作较多，测试的代码很简单，主要是演示shovel的跨数据中心的消息传递功能。

结合实际的IP地址，exchange和queue，最后用一个图来说明使用shovel的消息流向。