OpenStack RPC框架解析

1  消息队列Rabbitmq介绍

Rabbitmq的整体架构图

（1）Rabbitmq Server：中间那部分就是Rabbitmq Server，也叫broken server，主要是负责消息的传递，保证client A、B发送的消息Cleint 1、2、3能够正确的接收到。

（2）Client A、B：在消息队列里我们称之为生产者-Producer，发送消息的客户端。

（3）Client 1、2、3：在消息队列里我们称之为消费者-Consume，接收消息的客户端。

（4）Exchange：我们可以称之为消息队列的路由，根据发送的消息的routing key来转发到对应的队列上。有四种类型的Exchange，对应四种不同的转发策略：

direct Exchange：完全匹配，比如routing key是abc，就对应binding key为abc对应的queue。

topic Exchange：正则匹配，比如routing key是ab*，可以用来匹配binding key为abc或abd等的queue。

fanout Exchange：广播策略，忽略掉routing key，转发给所有绑定在这个Exchange的queue。

headers Exchange：不依赖于routing key，会根据发送的消息的内容的headers属性来进行匹配。

（5）Queue：队列，消息存放的地方。

（6）Connection （连接）和 Channel （通道）：生产者和消费者需要和 RabbitMQ 建立 TCP 连接。一些应用需要多个connection，为了节省TCP 连接，可以使用 Channel，它可以被认为是一种轻型的共享 TCP 连接的连接。连接需要用户认证，并且支持 TLS (SSL)。连接需要显式关闭。

（7）vhost：虚拟主机，一个broker里可以开设多个vhost，用作不同用户的权限分离

（8）Message（消息）：在通道上传输的二进制对象，结构为Headers（头）、Properties （属性）和 Data （数据）。

以下是消息的几个重要属性：

routing key：Exchange根据该key来转发消息到对应的队列中

delivery_mode：消息模式，有持久模式和非持久模式，持久模式则是将消息保存到磁盘中，非持久模式则是消息保存在内存中

reply_to：RPC调用时处理结果返回需传送到的队列名，称为回调队列

correlation_id：RPC调用返回时需要用到的参数，一个请求id

content_type：这个编码类型是给生产者和消费者使用的，rabbitmq只是按原样传输的

对应到OpenStack的平台则是：

Client端的生产者可以是nova-api，nova-conductor等，以虚拟机开机为例，则nova-api是生产者，nova-api收到一个http请求，产生一个开机消息，exchange是’nova’，发送的队列名compute.hostname，routing key为队列名，然后发送到Rabbitmq Server上去，消息队列服务保存到对应的队列上，然后将消息派发给消费者。因为消费者跟rabbitmq服务是建立了一条channel连接的，所以派发消息就相当于是通过这条channel传送数据。

消费者则对应是nova-compute，nova-compute接收到消息后进行解析，然后调用对应的函数进行处理，然后将处理结果返回。

2  Rabbitmq集群模式

Rabbitmq集群工作原理图：

Rabbitmq是用Erlang语言写的，该语言天生有分布式特性，本身支持原生的HA模式。

普通的消息队列集群会始终同步四种类型的内部元数据：

（1）队列元数据：队列名称和它的属性

（2）交换器元数据：交换器名称、类型和属性

（3）绑定（binding）元数据：一张简单的表格展示如何将消息路由到对应的队列

（4）Vhost元数据：为vhost内的队列、交换器和绑定提供命名空间和安全属性

但普通模式并没有对消息队列的消息进行同步，需要设置成镜像模式，才会对消息进行同步。

2.1  同步原理

通过镜像模式，Rabbitmq会将镜像队列放置于多个消息队列服务节点上，消息的生产和消费都会在节点间进行同步，镜像队列包含一个master和多个slave，当master退出时，时间最长的则升为master。

每个消息队列进程会创建一个gm（guaranteed multicast）进程，镜像队列中的所有gm进程会组成一个gm进程组用于广播和接收消息。Gm组将集群中的节点组成一个环，主节点收到或处理完一个消息都会发起消息同步，消息沿着环形链走，当主节点接收到自己发的消息后则表示消息已经同步到所有的节点。

消息的发布和消费都是通过 master 队列完成，master 队列对消息进行处理同时将消息的处理动作通过 gm 广播给所有 slave 队列。

2.2  消息走向路径

以开机一个虚拟机为例，环境状况：244的nova-api对245上的虚拟机进行关机操作，245的compute.hostname的主队列在242上

nova-api会将消息发到给主队列242上的消息队列服务器保存，242进行gm广播，242通过channel将消息传送到245上，245接收到消息进行处理

2.3  消息确认机制

程序中是在拿到消息后和开始处理前期间进行了message.acknowledge()的调用，调用后即是告诉消息队列服务，该消息已经被处理完了，可以进行删除了。

从实践来看确实是acknowledge调用了后才删除的，但程序是实际调用后才开始执行消息处理函数，期间如果有异常报错没有处理成功则也不会重新处理了。

Openstack平台没有对no_ack进行设置，查看kombu的代码默认no_ack是false的，也就是需要进行确认才会删除消息。

也可以发送nack的方式表示消息处理有问题，这时如果队列的requeue设置为true，则会重新进入队列交由其它消费者进行处理，默认是为false。

dead lettering机制：当调用了reject或nack且requeue是false时或者消息过期时，该机制会将失败的消息放入到dead-lettered队列中。

3  OpenStack RPC框架

3.1  接收消息（以nova-compute服务为例）

云平台消息队列RPC处理框架图：

1.这里以nova-compute服务启动为例进行讲解，nova-compute服务启动，会通过配置文件解析获取一个Transport类对象，Transport对象里引用了RabbitDriver类对象

（1）Transport类作用：通过配置文件获取对应的_driver，使用_driver来发送消息

（2）RabbitDriver类作用：用于发送消息和创建监听类

2.nova-compute通过调用get_server函数获取RPCServer类对象，类对象聚合了Transport类对象和RPCDispatcher类对象

（1）RPCServer类作用：初始化rpc监听服务，创建队列

（2）RPCDispatcher类作用：收到消息后进行解析找到相对应的函数进行调用

3.调用RPCServer类对象的start方法，里面调用 _create_listener方法创建监听者AMQPListener类对象，用于作为绑定为消费者的回调对象，该类对象引用了一个Connection类对象conn。使用conn定义队列，最后返回一个PollStyleListenerAdapter类对象

（1）AMQPListener类作用：作为消费者绑定的回调对象，同时poll方法用于获取消息

（2）PollStyleListenerAdapter类作用：创建线程不断获取消息

（3）Connection类作用：获取了kombu的connection对象，用于进行消费者、队列定义和重连接等逻辑相关操作，使用Consumer类来管理消费者

（4）Consumer类作用：一个Consumer类对象代表一个消费者，里面保存了消费者信息和定义消费者的方法

（5）AMQPIncomingMessage类作用：消息进行解析后初始化为该类对象，代表一个消息的结构，里面有reply方法用于返回消息处理结果给发布消息者

4.PollStyleListenerAdapter类调用start方法开启一个线程while循环专门调用AMQPListener类对象的poll方法进行消息获取

5.poll函数会读取incomings队列里有没有消息，如果有则表示拿到一个未处理消息发给Dispatcher类去处理这个消息，如果该队列空了，则调用drain_events方法去获取各channel上传过来的消息并将它们存到inconings队列中。

6.drain_events方法机理：从strace工具看到该nova-compute服务有大量的epoll_wait方法调用，可知采用了事件触发的方式。

3.2  发送消息

由于是发送消息，所以只要看右边的RPCClient端那部分就可以了：

1.跟接收消息一样，会根据target生成一个Transport类对象，该对象根据配置文件会获取一个driver对象，我们的是RabbitDriver对象，继承于AMQPDriverBase类；

2.获取一个_CallContext类对象，引用了Transport类对象

（1）_CallContext类作用：用来发送消息，对消息进行序列化并调用Transport类对象的driver来进行消息发送

3.获取Connection类对象进行消息发送

4.Connection类中通过kombu中的Producer类的发送方法进行消息发出

3.3  重连机制

每个消费者都是建立在一个channel上的，channel是建立在Tcp连接上的，如果连接的rabbitmq服务节点关闭了，则连接会断开，因此需要重新在其它未关闭节点上建立连接，重新建立channel和消费者。

重连机制的代码存在于impl_driver.py中的Connection类的consume函数中

这里有两个地方是可以检测到连接断开了，需要重连的，一个是在读取socket时发现，一个是在心跳检测机制里发现。

读socket时抛异常触发的重连：

1. 由上面分析我们知道程序会不断调用Connection的consume函数进行获取消息，该函数会调用到kombu的Connection类的autoretry函数，同时传入了_consume函数作为参数

2. autoretry又调用到ensure函数，该函数主要作用是调用传进来的_consume函数，如果有异常抛出，则进入异常重连处理，调用on_error函数，再调用ensure_connection函数确保重新建立好一条新的连接，然后在连接上建立新的channel，最后将channel进行更新。

心跳检测机制触发的重连：

1. 在服务启动后就有一个专门的线程定时发包检测连接是否正常，超时60秒则触发异常

2. 触发异常后调用ensure_connection函数将当前channel置为None，从而触发重建channel

消费者的重新建立：

1.在_consume函数中每次都会去判断self._new_tags集合是不是不为空，如果不为空则会重新建立这些tag的消费者，执行建立函数后就会把它remove掉，关键代码逻辑：

2.而_new_tags的获取则是根据异常抛出，检测异常类型来重新赋予之前消费者的tags，以此重新建立消费者，关键代码逻辑：

4  代码流程解析

4.1  nova-compute启动流程

Openstack的服务启动都是先从cmd目录下的main函数开始执行的，比如nova-compute服务的启动则是nova/cmd/compute.py文件中的main函数开始执行：

File:nova/cmd/compute.py

def main():
    # 调用nova/service.py文件的Service类的create类方法实例化一个service类
    server = service.Service.create(binary='nova-compute',
                                    topic=CONF.compute_topic)
    service.serve(server)
service.wait()

得到server后调用server函数进行服务运行：

File:nova/service.py

def serve(server, workers=None):
    global _launcher
    if _launcher:
        raise RuntimeError(_('serve() can only be called once'))

    # 这里的service是指oslo_service包导入的service了
    # 调用到oslo_service/service.py的launch方法
    _launcher = service.launch(CONF, server, workers=workers)

launch函数调用oslo_service包的service.py的launch方法初始化一个ServiceLauncher实例，并调用launch_service函数：

File:oslo_service/service.py

def launch(conf, service, workers=1, restart_method='reload'):

    if workers is not None and workers <= 0:
        raise ValueError(_("Number of workers should be positive!"))

    # 默认传入的是None
    if workers is None or workers == 1:
        # 这里是初始化一个继承了Launcher类的ServiceLauncher类实例
        launcher = ServiceLauncher(conf, restart_method=restart_method)
    else:
        launcher = ProcessLauncher(conf, restart_method=restart_method)
    # 调用Launcher类里的launch_service方法，launch_service方法运行给定的service
    launcher.launch_service(service, workers=workers)

    return launcher

Launch_service函数调用了父类的实现：

File:oslo_service/service.py  Launch:launch_service

def launch_service(self, service, workers=1):
    if workers is not None and workers != 1:
        raise ValueError(_("Launcher asked to start multiple workers"))
    _check_service_base(service)
    service.backdoor_port = self.backdoor_port
    # 调用Services类的add方法来运行给定service
    # 其实最后也就是开辟了个绿色线程池和获取一个绿色线程运行service的start方法
    self.services.add(service)

我们可以直接看service的start方法：

File:nova/service.py  Service:start

def start(self):
    ......

    # 初始化oslo_messaging/target.py的Target类
    target = messaging.Target(topic=self.topic, server=self.host)

    endpoints = [
        self.manager,
        baserpc.BaseRPCAPI(self.manager.service_name,
                self.backdoor_port)
    ]
    endpoints.extend(self.manager.additional_endpoints)

    # 获取nova/objects/base.py中的NovaObjectSerializer类实例
    # 用来序列化nova服务中的对象
    serializer = objects_base.NovaObjectSerializer()

    # 获取一个oslo_messaging/rpc/RPCServer类实例
    self.rpcserver = rpc.get_server(target, endpoints, serializer)
    # 调用到oslo_messaging/server.py的MessageHandlingServer类的start方法
    self.rpcserver.start()

    ......

看下get_server实现：

File:nova/rpc.py

def get_server(target, endpoints, serializer=None):

    # TRANSPORT一个transport类对象，里面包含发消息的driver实现对象，如果是rabbit则对应到实现rabbit的driver类
    # 获取TRANSPORT对象：<class 'oslo_messaging.transport.Transport'>
    # 更重要的是transport对象里的driver对象：   oslo_messaging._drivers.impl_rabbit.RabbitDriver
    assert TRANSPORT is not None

    if profiler:
        serializer = ProfilerRequestContextSerializer(serializer)
    else:
        serializer = RequestContextSerializer(serializer)

    # get_rpc_server在oslo_messaging/rpc/server.py文件中
    # 获取一个RPCServer实例
    return messaging.get_rpc_server(TRANSPORT,
                                    target,
                                    endpoints,
                                    executor='eventlet',
                                    serializer=serializer)

查看get_rpc_server实现：

File:oslo_messaging/rpc/server.py

def get_rpc_server(transport, target, endpoints,
                   executor='blocking', serializer=None, access_policy=None):
    # 获取一个消息调度员，它能识别收到的消息的结构
    # 用于接收到消息后进行消息分发处理 A message dispatcher which understands RPC messages
    # oslo_messaging/rpc/dispatcher.py类的RPCDispatcher类
    # 解析消息然后调用相对应的方法进行处理
    dispatcher = rpc_dispatcher.RPCDispatcher(endpoints, serializer,
                                              access_policy)
    # 该类有个关键函数_process_incoming是在接收到消息时进行回调的
    return RPCServer(transport, target, dispatcher, executor)

获取到RPCServer实例后，调用start方法，因为RPCServer继承于MessageHandlingServer但没有实现，所以是调用父类的start方法：

File:oslo_messaging/server.py  MessageHandlingServer:start

def start(self, override_pool_size=None):
    ......

    try:
        # 这里程序调用到的是oslo_messaging/rpc/server.py的RPCServer类的_create_listener方法
        self.listener = self._create_listener()
    except driver_base.TransportDriverError as ex:
        raise ServerListenError(self.target, ex)
    ......

    self.listener.start(self._on_incoming)

File:oslo_messaging/rpc/server.py  RPCServer:_create_listener

def _create_listener(self):
    # oslo_messaging/transport/Transport类_listen方法
    return self.transport._listen(self._target, 1, None)

File:oslo_messaging/transport.py  Transport:_listen

def _listen(self, target, batch_size, batch_timeout):
    if not (target.topic and target.server):
        raise exceptions.InvalidTarget('A server\'s target must have '
                                       'topic and server names specified',
                                       target)
    # 这个_driver对应的是oslo_messaging._drivers.impl_rabbit.RabbitDriver
    return self._driver.listen(target, batch_size,
                               batch_timeout)

File:oslo_messaging/_drivers/amqpdriver.py  AMQPDriverBase:listen

def listen(self, target, batch_size, batch_timeout):
    # 这里是从连接池里获取一个连接对象
    # conn是oslo_messaging/_drivers/impl_rabbit.py的类Connection实例
    conn = self._get_connection(rpc_common.PURPOSE_LISTEN)

    # 这个listen很关键，它被绑定为消费者的回调对象，也就是收到消息时是调用该对象，该对象实现了__call__方法
    # 所以可直接调用
    listener = AMQPListener(self, conn)

    conn.declare_topic_consumer(exchange_name=self._get_exchange(target),
                                topic=target.topic,
                                callback=listener)
    conn.declare_topic_consumer(exchange_name=self._get_exchange(target),
                                topic='%s.%s' % (target.topic,
                                                 target.server),
                                callback=listener)
    conn.declare_fanout_consumer(target.topic, listener)

    # 返回一个实现poll模式监听消息到来的类
    return base.PollStyleListenerAdapter(listener, batch_size,
                                         batch_timeout)

创建好监听类后，调用start方法：

File:oslo_messaging/_drivers/base.py  PollStyleListenerAdapter:start

def start(self, on_incoming_callback):
    super(PollStyleListenerAdapter, self).start(on_incoming_callback)
    self._started = True
    # _listen_thread在__init__方法中定义了，如下行所示
    # self._listen_thread = threading.Thread(target=self._runner)
    # 所以是开启一个线程运行_runner函数
    self._listen_thread.start()

再来看下_runner函数：

File:oslo_messaging/_drivers/base.py  PollStyleListenerAdapter:_runner

def _runner(self):
    while self._started:
        # 这里poll调用oslo_messaging/_drivers/amqpdriver.py的AMQPListener类poll函数
        incoming = self._poll_style_listener.poll(
            batch_size=self.batch_size, batch_timeout=self.batch_timeout)

        # 读到有消息，调用回调函数进行处理
        if incoming:
            # 该on_incoming_callback是oslo_messaging/server.py中self.listener.start(self._on_incoming)中传进来的
            # 是该文件中MessageHandlingServer类的_on_incoming函数
            # _on_incoming函数又调用到了RPCServer中的_process_incoming函数
            self.on_incoming_callback(incoming)

这里先来看下poll函数实现：

File:oslo_messaging/_drivers/amqpdriver.py  AMQPListener:poll

def poll(self, timeout=None):
    stopwatch = timeutils.StopWatch(duration=timeout).start()

    while not self._shutdown.is_set():
        self._message_operations_handler.process()

        if self.incoming:
            # 从incoming列表中获取第一个消息返回
            return self.incoming.pop(0)

        left = stopwatch.leftover(return_none=True)
        if left is None:
            left = self._current_timeout
        if left <= 0:
            return None

        try:
            # 获取所有队列的消息
            # oslo_messaging/dr_drivers/impl_rabbit.py的Connection类的consume函数
            # 将获取到的消息经过解析存到incoming列表中
            self.conn.consume(timeout=min(self._current_timeout, left))
        except rpc_common.Timeout:
            self._current_timeout = max(self._current_timeout * 2,
                                        ACK_REQUEUE_EVERY_SECONDS_MAX)
        else:
            self._current_timeout = ACK_REQUEUE_EVERY_SECONDS_MIN

    # NOTE(sileht): listener is stopped, just processes remaining messages
    # and operations
    self._message_operations_handler.process()
    if self.incoming:
        return self.incoming.pop(0)

    self._shutoff.set()

这里关键函数是调用consume进行消息获取，调用到了Connection类的consume函数，以下是该函数的关键语句：

# 调用kombu/connection.py的Connection类的drain_events方法，等待来自服务器的单个事件，所以这是事件触发型的

# 其中里面的supports_librabbitmq()=False(因为环境支持’eventlet’，所以未采用’default’，所以返回False

# 最后是调用到kombu/transport/pyamqp.py的drain_events方法

# 再调用到amqp包的Connection类的drain_events(amqp/connection.py)

File:oslo_messaging/_drivers/impl_rabbit.py  Connection:consume

self.connection.drain_events(timeout=poll_timeout)

amqp包的drain_events实现

File:amqp/connection.py  Connection: drain_events

def drain_events(self, timeout=None):
    """Wait for an event on a channel."""
    # 等待事件通知
    chanmap = self.channels
    chanid, method_sig, args, content = self._wait_multiple(
        chanmap, None, timeout=timeout,
    )

    channel = chanmap[chanid]

    if (content and
            channel.auto_decode and
            hasattr(content, 'content_encoding')):
        try:
            content.body = content.body.decode(content.content_encoding)
        except Exception:
            pass

    amqp_method = (self._method_override.get(method_sig) or
                   channel._METHOD_MAP.get(method_sig, None))

    if amqp_method is None:
        raise AMQPNotImplementedError(
            'Unknown AMQP method {0!r}'.format(method_sig))

    if content is None:
        return amqp_method(channel, args)
    else:
        return amqp_method(channel, args, content)

到amqp包我们就不深究下去了

4.1  收到消息时行为

接着看下有消息到来时执行的回调函数，从前面我们可知在创建消费者时我们绑定了个listen对象作为callback，如下：

File:oslo_messaging/_drivers/amqpdriver.py  AMQPDriverBase:listen

listener = AMQPListener(self, conn)
conn.declare_topic_consumer(exchange_name=self._get_exchange(target),
                            topic=target.topic,
                            callback=listener)

所以当收到消息时会调用AMQPListener类的__call__函数：

def __call__(self, message):
    # 收到消息后解析消息结构体并构建成AMQPIncomingMessage结构
    # type(message)对应类：<class 'oslo_messaging._drivers.impl_rabbit.RabbitMessage'>
    ctxt = rpc_amqp.unpack_context(message)
    unique_id = self.msg_id_cache.check_duplicate_message(message)
    if ctxt.msg_id:
        LOG.debug("received message msg_id: %(msg_id)s reply to "
                  "%(queue)s", {'queue': ctxt.reply_q,
                                'msg_id': ctxt.msg_id})
    else:
        LOG.debug("received message with unique_id: %s", unique_id)

    self.incoming.append(AMQPIncomingMessage(
        self,
        ctxt.to_dict(),
        message,
        unique_id,
        ctxt.msg_id,
        ctxt.reply_q,
        self._obsolete_reply_queues,
        self._message_operations_handler))

可以看到收到message后，解析message并构建为AMQPIncomingMessage实例append到incoming队列中。

消息到队列中之后，当我们取到一个消息后做的事情，也就是回到_runner函数中的逻辑：

File:oslo_messaging/_drivers/base.py  PollStyleListenerAdapter:_runner

def _runner(self):
    while self._started:
        # 这里poll调用oslo_messaging/_drivers/amqpdriver.py的AMQPListener类poll函数
        incoming = self._poll_style_listener.poll(
            batch_size=self.batch_size, batch_timeout=self.batch_timeout)

        # 读到有消息，调用回调函数进行处理
        if incoming:
            # 该on_incoming_callback是oslo_messaging/server.py中self.listener.start(self._on_incoming)中传进来的
            # 是该文件中MessageHandlingServer类的_on_incoming函数
            # _on_incoming函数又调用到了RPCServer中的_process_incoming函数
            self.on_incoming_callback(incoming)

可知是调用了_process_incoming函数来处理消息：

# 这里poll调用oslo_messaging/_drivers/amqpdriver.py的AMQPListener类poll函数

# 处理消息

File:oslo_messaging/rpc/server.py  RPCServer:__process_incoming

def _process_incoming(self, incoming):
    message = incoming[0]
    try:
        # 这里进行了消息确认发送
        # 会调用到kombu/message.py的Message类的ack函数
        # 表示该消息已经进行消费了，队列中可以删除该消息了
        message.acknowledge()
    except Exception:
        LOG.exception(_LE("Can not acknowledge message. Skip processing"))
        return

    failure = None
    try:
        # 调用oslo_messaging/rpc/dispatcher.py的RPCDispatcher类来处理消息
        # 该类的职责是找到消息对应的方法并执行
        res = self.dispatcher.dispatch(message)
    except rpc_dispatcher.ExpectedException as e:
        failure = e.exc_info
        LOG.debug(u'Expected exception during message handling (%s)', e)
    except Exception:
        # current sys.exc_info() content can be overridden
        # by another exception raised by a log handler during
        # LOG.exception(). So keep a copy and delete it later.
        failure = sys.exc_info()
        LOG.exception(_LE('Exception during message handling'))

    try:
        # 将执行结果返回
        if failure is None:
            message.reply(res)
        else:
            message.reply(failure=failure)
    except Exception:
        LOG.exception(_LE("Can not send reply for message"))
    finally:
            # NOTE(dhellmann): Remove circular object reference
            # between the current stack frame and the traceback in
            # exc_info.
            del failure

核心函数是dispatch函数：

File:oslo_messaging/rpc/dispatcher.py  RPCDispatcherr:dispatch

def dispatch(self, incoming):
    """Dispatch an RPC message to the appropriate endpoint method.

    :param incoming: incoming message
    :type incoming: IncomingMessage
    :raises: NoSuchMethod, UnsupportedVersion
    """
    message = incoming.message
    ctxt = incoming.ctxt

    method = message.get('method')
    args = message.get('args', {})
    namespace = message.get('namespace')
    version = message.get('version', '1.0')

    found_compatible = False
    # endpoints值是两个类
    # [<nova.compute.manager.ComputeManager object at 0x7f6eef157dd0>, <nova.baserpc.BaseRPCAPI object at 0x7f6ee4724c90>]
    # 从类中查找出方法进行调用
    for endpoint in self.endpoints:
        target = getattr(endpoint, 'target', None)
        if not target:
            target = self._default_target

        if not (self._is_namespace(target, namespace) and
                self._is_compatible(target, version)):
            continue

        if hasattr(endpoint, method):
            if self.access_policy.is_allowed(endpoint, method):
                return self._do_dispatch(endpoint, method, ctxt, args)

        found_compatible = True

    if found_compatible:
        raise NoSuchMethod(method)
    else:
        raise UnsupportedVersion(version, method=method)

File:oslo_messaging/rpc/dispatcher.py  RPCDispatcherr:dispatch

def _do_dispatch(self, endpoint, method, ctxt, args):
    ctxt = self.serializer.deserialize_context(ctxt)
    new_args = dict()
    for argname, arg in args.items():
        new_args[argname] = self.serializer.deserialize_entity(ctxt, arg)
    func = getattr(endpoint, method)
    # 调用方法
    result = func(ctxt, **new_args)
    return self.serializer.serialize_entity(ctxt, result)

4.3  发送消息流程

这里看一个发送开机指令到宿主机执行的流程。

首先由novaclient发送http请求到nova-api服务，对应调用到_start_server函数：

File:nova/api/openstack/compute/server.py  ServersController:_start_server

def _start_server(self, req, id, body):
    .....
    try:
        # nova/compute/api.py
        self.compute_api.start(context, instance)
    except (exception.InstanceNotReady, exception.InstanceIsLocked) as e:
        .....

查看start方法实现：

File:nova/compute/api.py  API:start

def start(self, context, instance):
    .....
    instance.task_state = task_states.POWERING_ON
    instance.save(expected_task_state=[None])
    self._record_action_start(context, instance, instance_actions.START)
    self.compute_rpcapi.start_instance(context, instance)
    .....

可以看到是先将task_state状态改为了POWERING_ON后再发送消息，查看start_instance方法的实现：

File:nova/compute/rpcapi.py  ComputeAPI:start_instance

def start_instance(self, ctxt, instance):
    version = '4.0'
    # self.router.by_instance(ctxt, instance)获取oslo_messaging/rpc/client.py的RPCClient类实例
    # prepare方法是用于设置一些属性并生成一个oslo_messaging/rpc/client.py的_CallContext类实例
    cctxt = self.router.by_instance(ctxt, instance).prepare(
            server=_compute_host(None, instance), version=version)
    # 该call方法是调用到oslo_messaging/rpc/client.py的_BaseCallContext(_CallContext的父类)类的call方法
    return cctxt.call(ctxt, 'start_instance', instance=instance)

查看call方法实现：

File:oslo_messaging/rpc/client.py  _BaseCallContext:call

def call(self, ctxt, method, **kwargs):
    """Invoke a method and wait for a reply. See RPCClient.call()."""
    if self.target.fanout:
        raise exceptions.InvalidTarget('A call cannot be used with fanout',
                                       self.target)

    # 生成一个msg
    msg = self._make_message(ctxt, method, kwargs)
    # 序列化ctxt
    msg_ctxt = self.serializer.serialize_context(ctxt)

    timeout = self.timeout
    if self.timeout is None:
        timeout = self.conf.rpc_response_timeout

    self._check_version_cap(msg.get('version'))

    try:
        # 调用transport中的_send方法
        # _send方法中又是使用_driver对象调用send方法
        # _driver对象是oslo_messaging._drivers.impl_rabbit.RabbitDriver
        # 所以是调用RabbitDriver类里的send方法，实际是调用它父类AMQPDriverBase的send方法
        result = self.transport._send(self.target, msg_ctxt, msg,
                                      wait_for_reply=True, timeout=timeout,
                                      retry=self.retry)
    except driver_base.TransportDriverError as ex:
        raise ClientSendError(self.target, ex)

    return self.serializer.deserialize_entity(ctxt, result)

查看send方法实现：

File:oslo_messaging/_drivers/amqpdriver.py  AMQPDriverBase:_send

def _send(self, target, ctxt, message,
          wait_for_reply=None, timeout=None,
          envelope=True, notify=False, retry=None):

    msg = message

    if wait_for_reply:
        msg_id = uuid.uuid4().hex
        msg.update({'_msg_id': msg_id})
        # _get_reply_q方法获取一个ReplyWaiter对象，开始poll模式等待获取返回消息
        # 同时使用waiters(ReplyWaiter实例对象)管理返回的消息
        msg.update({'_reply_q': self._get_reply_q()})

    # 获取一个唯一uuid添加到msg字典中
    rpc_amqp._add_unique_id(msg)
    unique_id = msg[rpc_amqp.UNIQUE_ID]

    # 把ctxt字典值也更新到msg中
    rpc_amqp.pack_context(msg, ctxt)

    if envelope:
        msg = rpc_common.serialize_msg(msg)

    if wait_for_reply:
        # 把该消息加到waiters里去监控管理
        self._waiter.listen(msg_id)
        log_msg = "CALL msg_id: %s " % msg_id
    else:
        log_msg = "CAST unique_id: %s " % unique_id

    try:
        # 根据target保存的发送模式发送消息
        with self._get_connection(rpc_common.PURPOSE_SEND) as conn:
            if notify:
                exchange = self._get_exchange(target)
                log_msg += "NOTIFY exchange '%(exchange)s'" \
                           " topic '%(topic)s'" % {
                               'exchange': exchange,
                               'topic': target.topic}
                LOG.debug(log_msg)
                conn.notify_send(exchange, target.topic, msg, retry=retry)
            elif target.fanout:
                log_msg += "FANOUT topic '%(topic)s'" % {
                    'topic': target.topic}
                LOG.debug(log_msg)
                conn.fanout_send(target.topic, msg, retry=retry)
            else:
                topic = target.topic
                exchange = self._get_exchange(target)
                if target.server:
                    topic = '%s.%s' % (target.topic, target.server)
                log_msg += "exchange '%(exchange)s'" \
                           " topic '%(topic)s'" % {
                               'exchange': exchange,
                               'topic': topic}
                LOG.debug(log_msg)
                # 发送topic模式的队列
                # 调用oslo_messaging/_drivers/impl_rabbit.py中Connection类实例的topic_send方法
                conn.topic_send(exchange_name=exchange, topic=topic,
                                msg=msg, timeout=timeout, retry=retry)

        if wait_for_reply:
            # 等待返回或消息超时返回
            # 轮询方式检测消息有没有被返回并放到对应的字典中
            result = self._waiter.wait(msg_id, timeout)
            if isinstance(result, Exception):
                raise result
            return result
    finally:
        if wait_for_reply:
            self._waiter.unlisten(msg_id) 

当消息返回或消息超时时就返回结果给call调用，这个请求就完成了

4.4  重连机制

当比如当前连接着的rabbitmq服务断开了时，则连接会断开，则需要重新建立连接，建立新的channel，然后重新建立消费者。

这个逻辑在Connection的consume函数中，是由监听类的poll函数进行不断调用的，我们看下该函数实现：

File:oslo_messaging/_drivers/impl_rabbit.py  Connection:consume

def consume(self, timeout=None):
    """Consume from all queues/consumers."""

    timer = rpc_common.DecayingTimer(duration=timeout)
    timer.start()

    def _raise_timeout(exc):
        LOG.debug('Timed out waiting for RPC response: %s', exc)
        raise rpc_common.Timeout()

    def _recoverable_error_callback(exc):
        # 判断异常类型是不是非Timeout类型，因为Timeout类型是由drain_events函数获取
        # 消息等待超时导致的，属于正常的异常，除了这种异常，其它异常则都会被视作需要重建消费者
        if not isinstance(exc, rpc_common.Timeout):
            self._new_tags = set(self._consumers.values())
        timer.check_return(_raise_timeout, exc)

    def _error_callback(exc):
        # 将异常交给_recoverable_error_callback函数进行处理
        _recoverable_error_callback(exc)
        LOG.error(_LE('Failed to consume message from queue: %s'),
                  exc)

    def _consume():
        # NOTE(sileht): in case the acknowledgment or requeue of a
        # message fail, the kombu transport can be disconnected
        # In this case, we must redeclare our consumers, so raise
        # a recoverable error to trigger the reconnection code.
        # 这里是判断了连接是否还正常，如果不正常，我们需要重新获取连接并且重新定义consumer
        if not self.connection.connected:
            # 这里抛错以进入重连机制
            raise self.connection.recoverable_connection_errors[0]

        while self._new_tags:
            for consumer, tag in self._consumers.items():
                if tag in self._new_tags:
                    # 如果是新标签则消费者也需建立
                    # 在重建channel时这里就是重建消费者了
                    # 这里consumer是该文件的Consumer类实例，该consume函数会调用到kombu中的consume函数定义消费者
                    consumer.consume(self, tag=tag)
                    self._new_tags.remove(tag)

        poll_timeout = (self._poll_timeout if timeout is None
                        else min(timeout, self._poll_timeout))
        while True:
            if self._consume_loop_stopped:
                return

            if self._heartbeat_supported_and_enabled():
                # 心跳检查，如果连不通则抛错
                # 抛错则会在kombu中进行重连机制
                self._heartbeat_check()

            try:
                # 调用kombu/connection.py的Connection类的drain_events方法，等待来自服务器的单个事件，所以这是事件触发型的
                # 其中里面的supports_librabbitmq()=False(因为环境支持’eventlet’，所以未采用’default’，所以返回False
                # 最后是调用到kombu/transport/pyamqp.py的drain_events方法
                # 再调用到amqp包的Connection类的drain_events(amqp/connection.py)
                self.connection.drain_events(timeout=poll_timeout)
                return
            except socket.timeout as exc:
                # 超时会进入这个逻辑，check_return会raise一个Exception，从而导致ensure中抛异常被捕获调用了error_callback函数
                # error_callback函数又调用了recoverable_error_callback函数
                # 从而导致日志中经常可以看到_recoverable_error_callback
                poll_timeout = timer.check_return(
                    _raise_timeout, exc, maximum=self._poll_timeout)

    with self._connection_lock:
        self.ensure(_consume,
                    recoverable_error_callback=_recoverable_error_callback,
                    error_callback=_error_callback)

这里很多内嵌函数都会通过传参的方式传入到其它方法中处理，然后由其它方法在检测到异常时执行。我们可以看到最终是执行了ensure函数，我们看下ensure函数的实现：

File:oslo_messaging/_drivers/impl_rabbit.py  Connection:ensure

def ensure(self, method, retry=None,
           recoverable_error_callback=None, error_callback=None,
           timeout_is_error=True):
    .....

    # 在kombu中如果进入了异常重连处理机制会回调该函数
    def on_error(exc, interval):
        LOG.debug("[%s] Received recoverable error from kombu:"
                  % self.connection_id,
                  exc_info=True)

        # 执行_recoverable_error_callback函数处理异常
        recoverable_error_callback and recoverable_error_callback(exc)

        interval = (self.kombu_reconnect_delay + interval
                    if self.kombu_reconnect_delay > 0
                    else interval)

        info = {'err_str': exc, 'sleep_time': interval}
        info.update(self._get_connection_info())

        if 'Socket closed' in six.text_type(exc):
            LOG.error(_LE('[%(connection_id)s] AMQP server'
                          ' %(hostname)s:%(port)s closed'
                          ' the connection. Check login credentials:'
                          ' %(err_str)s'), info)
        else:
            LOG.error(_LE('[%(connection_id)s] AMQP server on '
                          '%(hostname)s:%(port)s is unreachable: '
                          '%(err_str)s. Trying again in '
                          '%(sleep_time)d seconds. Client port: '
                          '%(client_port)s'), info)

    ......

    # 当在kombu中执行autoretry时抛出异常了并在异常处理时重新连接了其它节点
    # 则会回调该函数
    def on_reconnection(new_channel):
        # 更新channel
        self._set_current_channel(new_channel)
        self.set_transport_socket_timeout()

    def execute_method(channel):
        # 更新channel
        self._set_current_channel(channel)
        # 这个method指的就是_consume函数
        # 注意我这里指的是consume调入的时候该method就是_consume函数
        # 因为该ensure函数是很多函数都会调用的，每个函数都会传入它的method函数进行回调
        # 我这里是为了方便理解就这样指明了,文中还有很多地方也是如此指明，就不一一解释了
        method()

    # NOTE(sileht): Some dummy driver like the in-memory one doesn't
    # have notion of recoverable connection, so we must raise the original
    # exception like kombu does in this case.
    has_modern_errors = hasattr(
        self.connection.transport, 'recoverable_connection_errors',
    )
    if has_modern_errors:
        recoverable_errors = (
            self.connection.recoverable_channel_errors +
            self.connection.recoverable_connection_errors)
    else:
        recoverable_errors = ()

    try:
        autoretry_method = self.connection.autoretry(
            execute_method, channel=self.channel,
            max_retries=retry,
            errback=on_error,
            interval_start=self.interval_start or 1,
            interval_step=self.interval_stepping,
            interval_max=self.interval_max,
            on_revive=on_reconnection)
        ret, channel = autoretry_method()
        self._set_current_channel(channel)
        return ret
    except recoverable_errors as exc:
        LOG.debug("Received recoverable error from kombu:",
                  exc_info=True)
        # 在kombu重建立连接失败时会跑入该逻辑，调用error_callback
        # 如果是consume函数调入该函数的话，则该函数是_error_callback函数
        error_callback and error_callback(exc)
        self._set_current_channel(None)
        # NOTE(sileht): number of retry exceeded and the connection
        # is still broken
        info = {'err_str': exc, 'retry': retry}
        info.update(self.connection.info())
        msg = _('Unable to connect to AMQP server on '
                '%(hostname)s:%(port)s after %(retry)s '
                'tries: %(err_str)s') % info
        LOG.error(msg)
        raise exceptions.MessageDeliveryFailure(msg)
    except rpc_amqp.AMQPDestinationNotFound:
        # NOTE(sileht): we must reraise this without
        # trigger error_callback
        raise
    except Exception as exc:
        error_callback and error_callback(exc)
        Raise

这个函数也是如此，定义了很多内嵌函数，然后作为参数传递到kombu中的autoretry函数中进行处理，方便有异常时就行异常处理且回调相对应的函数。查看autoretry函数实现：

File:kombu/connection.py  Connection:autoretry

def autoretry(self, fun, channel=None, **ensure_options):
    channels = [channel]
    create_channel = self.channel

    class Revival(object):
        __name__ = getattr(fun, '__name__', None)
        __module__ = getattr(fun, '__module__', None)
        __doc__ = getattr(fun, '__doc__', None)

        def revive(self, channel):
            channels[0] = channel

        def __call__(self, *args, **kwargs):
            if channels[0] is None:
                self.revive(create_channel())
            # 执行oslo_messaging中impl_rabbit的ensure中的execute_method函数
            # execute_method最终又是回调到_consume函数
            return fun(*args, channel=channels[0], **kwargs), channels[0]

    revive = Revival()
    # 返回了一个_ensure闭包函数
    # 但oslo_messaging的ensure函数中的下一行便是执行该闭包函数
    return self.ensure(revive, revive, **ensure_options)

这里最后又调用了ensure函数，该ensure函数是关键，它里面进行了连接重连机制。查看ensure实现：

File:kombu/connection.py  Connection:ensure

def ensure(self, obj, fun, errback=None, max_retries=None,
           interval_start=1, interval_step=1, interval_max=1,
           on_revive=None):

    def _ensured(*args, **kwargs):
        got_connection = 0
        conn_errors = self.recoverable_connection_errors
        chan_errors = self.recoverable_channel_errors
        has_modern_errors = hasattr(
            self.transport, 'recoverable_connection_errors',
        )
        for retries in count(0):  # for infinity
            try:
                # 调用了Revival类的__call__函数
                # 在进行的一系列调用中如果有异常抛出则进入下面的重连机制
                return fun(*args, **kwargs)
            except conn_errors as exc:
                if got_connection and not has_modern_errors:
                    raise
                if max_retries is not None and retries > max_retries:
                    raise
                self._debug('ensure connection error: %r', exc, exc_info=1)
                self._connection = None
                self._do_close_self()
                errback and errback(exc, 0)
                remaining_retries = None
                if max_retries is not None:
                    remaining_retries = max(max_retries - retries, 1)
                # 尝试重新建立连接，确保有连接建立成功
                self.ensure_connection(errback,
                                       remaining_retries,
                                       interval_start,
                                       interval_step,
                                       interval_max)
                # 在连接上获取新的channel
                new_channel = self.channel()
                self.revive(new_channel)
                obj.revive(new_channel)
                if on_revive:
                    # 调用oslo_messaging中的on_reconnection函数
                    # 将获得的新channel赋给Connection类的channel
                    on_revive(new_channel)
                got_connection += 1
            except chan_errors as exc:
                if max_retries is not None and retries > max_retries:
                    raise
                self._debug('ensure channel error: %r', exc, exc_info=1)
                errback and errback(exc, 0)
    _ensured.__name__ = "%s(ensured)" % fun.__name__
    _ensured.__doc__ = fun.__doc__
    _ensured.__module__ = fun.__module__
    return _ensured        

可以看到如果是触发了异常则进入下面的异常处理，进行重连和回调函数调用等操作，所以如果进行了重连，就会触发到oslo_messaging那边定义的很多内嵌函数来协助处理重连逻辑。