第六篇:远程过程调用(RPC)
Remote procedure call (RPC)
在第二篇教程中,我们学习了如何使用工作队列在多个工作人员之间分配耗时的任务,但是如果我们需要在远程计算机上运行某个功能并等待结果呢?那么,这是一个不同的故事。这种模式通常称为远程过程调用或RPC。
在本教程中,我们将使用RabbitMQ构建一个RPC系统:一个客户端和一个可扩展的RPC服务器。由于我们没有任何值得分发的耗时任务,我们将创建一个返回斐波那契数字的虚拟RPC服务。
客户端接口
为了说明如何使用RPC服务,我们将创建一个简单的客户端类。它将公开一个名为call的方法 ,它发送一个RPC请求并阻塞,直到收到应答:
FibonacciRpcClient fibonacciRpc = new FibonacciRpcClient();
String result = fibonacciRpc.call("4");
System.out.println( "fib(4) is " + result);
有关RPC的说明
虽然RPC是计算中很常见的模式,但它经常受到批评。当程序员不知道函数调用是本地的还是慢速的RPC时会出现这些问题。像这样的混乱导致不可预测的系统,并增加了调试的不必要的复杂性,而不是简化软件,滥用RPC会导致不可维护的意大利面式代码。
铭记这一点,请考虑以下建议:
- 确保显而易见哪个函数调用是本地的,哪个是远程的。
- 文件记录您的系统,使组件之间的依赖关系清晰。
- 处理错误情况。当RPC服务器长时间关闭时,客户端应该如何反应?
有疑问时避免使用RPC。如果可以的话,你应该使用异步管道 - 而不是类似于RPC的阻塞,结果被异步推送到下一个计算阶段。
回调队列
一般来说,通过RabbitMQ来实现RPC是很容易的。客户端发送请求消息,服务器回复响应消息。为了收到响应消息,我们需要在请求中发送一个“callback”队列地址。我们可以使用默认队列(在Java客户端中是独占的)。让我们试试看:
callbackQueueName = channel.queueDeclare().getQueue(); BasicProperties props = new BasicProperties
.Builder()
.replyTo(callbackQueueName)
.build(); channel.basicPublish("", "rpc_queue", props, message.getBytes()); // ... then code to read a response message from the callback_queue ...
消息属性
AMQP 0-9-1协议预先定义了消息的14个属性。大多数属性很少被使用,除了以下几点:
- deliveryMode: 将消息标记为持久性(值为2)或瞬态(任何其他值)。您可能还记得第二个教程中的这个属性。
- contentType: 用于描述编码的mime类型。例如,对于经常使用的JSON编码,将此属性设置为: application/json
- replyTo: 通常用于命名回调队列。
- correlationId: 有助于将RPC响应与请求关联起来
依赖的类
import com.rabbitmq.client.AMQP.BasicProperties;
关联的ID ( Correlation Id )
在上面介绍的方法中,我们建议为每个RPC请求创建一个回调队列。但是这是非常低效的,幸运的是有一个更好的方法 - 为每个客户端创建一个回调队列。
这引发了一个新问题,该队列中收到回复后,不清楚回复属于哪个请求。这时就是使用correlationId属性的时候。我们为每个请求设置一个唯一的correlationId值。稍后,当我们在回调队列中收到消息时,我们将查看此属性,并基于此属性,我们将能够将响应与请求进行匹配。如果我们看到未知的correlationId值,我们可以放心地丢弃该消息 - 它不属于我们的请求。
您可能会问,为什么我们应该忽略回调队列中的未知消息,而不是因为错误参数的失败消息?这是由于服务器端可能出现竞争状况。虽然不太可能,但在发送给我们答案之后,但在发送请求的确认消息之前,RPC服务器可能会死亡。如果发生这种情况,重新启动的RPC服务器将再次处理该请求。这就是为什么在客户端,我们必须优雅地处理重复的响应,理想情况下RPC应该是幂等的。
整合
我们的RPC会像这样工作:
- 当客户端启动时,它创建一个匿名独占callback队列。
- 对于RPC请求,客户端会发送一条消息,其中包含两个属性: replyTo,它被设置为回调队列和correlationId,它被设置为每个请求的唯一值。
- 该请求被发送到rpc_queue队列。
- RPC worker(又名:服务器)正在等待该队列上的请求。当出现请求时,它执行该作业,并使用replyTo字段中的队列将结果发送回客户端。
- 客户端在回调队列中等待数据。当出现消息时,它会检查correlationId属性。如果它匹配来自请求的值,则返回对应用程序的响应。
RPCClient.java
package com.rabbitmq.tutorials.rpc; import com.rabbitmq.client.ConnectionFactory;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.DefaultConsumer;
import com.rabbitmq.client.AMQP;
import com.rabbitmq.client.Envelope; import java.io.IOException;
import java.util.UUID;
import java.util.concurrent.ArrayBlockingQueue;
import java.util.concurrent.BlockingQueue;
import java.util.concurrent.TimeoutException; public class RPCClient { private Connection connection;
private Channel channel;
private String requestQueueName = "rpc_queue";
private String replyQueueName; public RPCClient() throws IOException, TimeoutException {
ConnectionFactory factory = new ConnectionFactory();
factory.setHost("192.168.0.103"); connection = factory.newConnection();
channel = connection.createChannel(); //为回复声明独占的“callback”队列。
replyQueueName = channel.queueDeclare().getQueue();
} //会生成实际的RPC请求
public String call(String message) throws IOException, InterruptedException {
final String corrId = UUID.randomUUID().toString(); AMQP.BasicProperties props = new AMQP.BasicProperties
.Builder()
.correlationId(corrId)
.replyTo(replyQueueName)
.build(); //发布具有两个属性的请求消息: replyTo和correlationId
channel.basicPublish("", requestQueueName, props, message.getBytes("UTF-8")); //由于消费者交付处理是在另一个线程中执行,因此我们需要在响应到达之前暂停主线程。BlockingQueue是可能的解决方案之一。这里我们创建的 容量设置为1的ArrayBlockingQueue,
// 因为我们只需要等待一个响应。
final BlockingQueue<String> response = new ArrayBlockingQueue<String>(1); //订阅'callback'队列,以便我们可以接收RPC响应
channel.basicConsume(replyQueueName, true, new DefaultConsumer(channel) {
@Override
//该handleDelivery方法是做一个很简单的工作,对每一位消费响应消息它会检查的correlationID 是我们要找的人。如果是这样,它将响应BlockingQueue
public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
if (properties.getCorrelationId().equals(corrId)) {
response.offer(new String(body, "UTF-8"));
}
}
});
//从response中获取响应
return response.take();
} public void close() throws IOException {
connection.close();
} public static void main(String[] argv) {
RPCClient fibonacciRpc = null;
String response = null;
try {
fibonacciRpc = new RPCClient(); System.out.println(" [x] Requesting fib(30)");
response = fibonacciRpc.call("30");
System.out.println(" [.] Got '" + response + "'");
}
catch (IOException | TimeoutException | InterruptedException e) {
e.printStackTrace();
}
finally {
if (fibonacciRpc!= null) {
try {
fibonacciRpc.close();
}
catch (IOException _ignore) {}
}
}
}
}
RPCServer.java
package com.rabbitmq.tutorials.rpc; import com.rabbitmq.client.ConnectionFactory;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Consumer;
import com.rabbitmq.client.DefaultConsumer;
import com.rabbitmq.client.AMQP;
import com.rabbitmq.client.Envelope; import java.io.IOException;
import java.util.concurrent.TimeoutException; public class RPCServer { private static final String RPC_QUEUE_NAME = "rpc_queue"; /**
* 斐波那契函数
* @param n
* @return
*/
private static int fib(int n) {
if (n ==0) return 0;
if (n == 1) return 1;
return fib(n-1) + fib(n-2);
} public static void main(String[] argv) {
ConnectionFactory factory = new ConnectionFactory();
factory.setHost("192.168.0.103"); Connection connection = null;
try {
connection = factory.newConnection();
final Channel channel = connection.createChannel(); channel.queueDeclare(RPC_QUEUE_NAME, false, false, false, null); channel.basicQos(1); System.out.println(" [x] Awaiting RPC requests"); Consumer consumer = new DefaultConsumer(channel) {
@Override
public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
AMQP.BasicProperties replyProps = new AMQP.BasicProperties
.Builder()
.correlationId(properties.getCorrelationId())
.build(); String response = ""; try {
String message = new String(body,"UTF-8");
int n = Integer.parseInt(message); System.out.println(" [.] fib(" + message + ")");
response += fib(n);
}
catch (RuntimeException e){
System.out.println(" [.] " + e.toString());
}
finally {
channel.basicPublish( "", properties.getReplyTo(), replyProps, response.getBytes("UTF-8"));
channel.basicAck(envelope.getDeliveryTag(), false);
// RabbitMq consumer worker thread notifies the RPC server owner thread
synchronized(this) {
this.notify();
}
}
}
}; channel.basicConsume(RPC_QUEUE_NAME, false, consumer);
// 循环等待并准备消费RPC client发送的消息.
while (true) {
synchronized(consumer) {
try {
consumer.wait();//暂停主线程
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}
} catch (IOException | TimeoutException e) {
e.printStackTrace();
}
finally {
if (connection != null)
try {
connection.close();
} catch (IOException _ignore) {}
}
}
}
执行步骤:
- 启动RPCServer.java
- 启动RPCClient.java实例3次
全6篇完整项目地址:https://github.com/liwenzlw/rabbitmq-tutorials
第六篇:远程过程调用(RPC)的更多相关文章
- 跟我学SpringCloud | 第十六篇:微服务利剑之APM平台(二)Pinpoint
目录 SpringCloud系列教程 | 第十六篇:微服务利剑之APM平台(二)Pinpoint 1. Pinpoint概述 2. Pinpoint主要特性 3. Pinpoint优势 4. Pinp ...
- RabbitMQ学习总结 第六篇:Topic类型的exchange
目录 RabbitMQ学习总结 第一篇:理论篇 RabbitMQ学习总结 第二篇:快速入门HelloWorld RabbitMQ学习总结 第三篇:工作队列Work Queue RabbitMQ学习总结 ...
- spring cloud系列教程第六篇-Eureka集群版
spring cloud系列教程第六篇-Eureka集群版 本文主要内容: 本文来源:本文由凯哥Java(kaigejava)发布在博客园博客的.转载请注明 1:Eureka执行步骤理解 2:集群原理 ...
- 传入的表格格式数据流(TDS)远程过程调用(RPC)协议流不正确。此 RPC 请求中提供了过多的参数。最多应为 2100
出现这个问题的背景是,判断一批激活码在系统中是否已经存在,很傻的一个作法是,把这一批激活码,以in(in (‘ddd‘,‘aaa‘))的形式来处理,导致问题的出现. 后来,查找资料,http://bb ...
- 解剖SQLSERVER 第十六篇 OrcaMDF RawDatabase --MDF文件的瑞士军刀(译)
解剖SQLSERVER 第十六篇 OrcaMDF RawDatabase --MDF文件的瑞士军刀(译) http://improve.dk/orcamdf-rawdatabase-a-swiss-a ...
- 解剖SQLSERVER 第六篇 对OrcaMDF的系统测试里避免regressions(译)
解剖SQLSERVER 第六篇 对OrcaMDF的系统测试里避免regressions (译) http://improve.dk/avoiding-regressions-in-orcamdf-b ...
- Python之路【第十六篇】:Django【基础篇】
Python之路[第十六篇]:Django[基础篇] Python的WEB框架有Django.Tornado.Flask 等多种,Django相较与其他WEB框架其优势为:大而全,框架本身集成了O ...
- 第六篇 :微信公众平台开发实战Java版之如何自定义微信公众号菜单
我们来了解一下 自定义菜单创建接口: http请求方式:POST(请使用https协议) https://api.weixin.qq.com/cgi-bin/menu/create?access_to ...
- 第六篇 Replication:合并复制-发布
本篇文章是SQL Server Replication系列的第六篇,详细内容请参考原文. 合并复制,类似于事务复制,包括一个发布服务器,一个分发服务器和一个或多个订阅服务器.每一个发布服务器上可以定义 ...
- 第六篇 Integration Services:初级工作流管理
本篇文章是Integration Services系列的第六篇,详细内容请参考原文. 简介在前几篇文章中,我们关注使用增量加载方式加载数据.在本篇文章,我们将关注使用优先约束管理SSIS控制流中的工作 ...
随机推荐
- uva 116 Unidirectional TSP(动态规划,多段图上的最短路)
这道题目并不是很难理解,题目大意就是求从第一列到最后一列的一个字典序最小的最短路,要求不仅输出最短路长度,还要输出字典序最小的路径. 这道题可以利用动态规划求解.状态定义为: cost[i][j] = ...
- C#的internal访问修饰符
文章:C# 访问修饰符internal的访问范围误区释疑 internal访问修饰符限定的类,只能在本程序集中访问.
- hash function比较
http://blog.csdn.net/kingstar158/article/details/8028635 由于工作需要,针对千万级别的数据,使用stl::map着实存在着效率问题,最后使用bo ...
- IE图片下载
之前要用到图面下载功能,玩上找了好多,方法基本都是直接window.open(src),这样是直接在新打开的窗口中打开图片,并不是下载.考虑到IE的兼容性问题太难找了,好不容易找到一个能用的,所以保存 ...
- Spring和SpringMVC配置中父子WebApplicationContext的关系
一.前言 有这么一个故事:一辆装满石头的板车,一根绳子系着,起初绳子没有拉直,拉绳的人以为很轻,等真的绷直了才发现自己的力气根本不够~人往往喜欢得过且过,但是有些东西真的是绕不过的,所以现在必须努力的 ...
- Intellij IDEA 系统路径配置
在使用IDEA启动Tomcat的时候,会读取系统路径,默认路径可能不是我们想要的,可以修改 C:\MyPrograms\IntelliJ IDEA 14.0.1\bin\idea.properties ...
- P1118 [USACO06FEB]数字三角形`Backward Digit Su`…
题目描述 FJ and his cows enjoy playing a mental game. They write down the numbers from 11 to N(1 \le N \ ...
- JAVA 异常处理的认知学习过程
没有异常处理 学生时代,我编写的java代码中,很少会有try catch.最主要的原因如下: 应用的规模很小 没有不确定因素 代码可控性高 如果规模小,往往就没有复杂的逻辑链路,整个软件的分层也很浅 ...
- Git 删除服务器的远程分支
git push origin :分支名 可能会出现,在A机子操作,刷新下成功删除,但在B机子上还显示,再用下命令提示不存在该分支,只要再推送一个任意分支即可正常显示
- 【题解】SDOI2011消耗战
虚树模板题~洛谷P2495 第一次写虚树,感觉好厉害呀~首先,这道题目的树形dp是非常显然的,要控制一个点&其子树所有点,要么在子树内部割边,要么直接切点该点与父亲的连边.所以dp[u]表示控 ...