一、RPC简介

RPC,全称Remote Procedure Call, 即远程过程调用,它是一个计算机通信协议。它允许像本地服务一样调用远程服务。它可以有不同的实现方式。如RMI(远程方法调用)、Hessian,Http invoker等。另外,RPC是与语言无关的。

RPC示意图:

如上图所示,假设Computer1在调用sayHi() 方法,对于Computer1而言,调用sayHi()方法就像调用本地方法一样。调用->返回。但从后续调用可以看出Computer1调用的是Computer2中的sayHi() 方法,RPC屏蔽了底层实现的细节,让调用者无需关注网络通信,数据传输等细节。

二、RPC框架的实现

上面介绍了RPC的核心原理: RPC能够让本地应用简单、高效地调用服务器总的过程(服务)。它主要应用在分布式系统。如Hadoop中的IPC组件。但怎样实现一个RPC框架呢?

1、通信模型

假设通信的A机器和B机器,A和B之间有通信模型,在Java中一般基于BIO和NIO

2、过程(服务)定位: 使用给定的通信方式,与确定IP与端口及方法名称确定具体的过程或方法。

3、远程代理对象: 本地调用的方法(服务)其实是远程方法的本地代理,因此可能需要一个远程代理对象。对Java而言,远程代理对象可以使用Java的动态对象实现,封装了调用远程方法调用。

4、序列化: 将对象名称,方法名称,参数等对象信息进行网络传输需要转换成二进制传输,这里可能需要不同的序列化技术方案。如: protobuf,Arvo等。

三、Java实现RPC框架

1、实现技术方案

下面使用比较原始的方案实现RPC框架,采用Socket通信,动态代理与反射,Java原生序列化。

2、RPC框架架构

RPC架构分为三部分

1) 服务提供者,运行在服务端,提供服务接口定义与服务实现类。

2)服务中心,运行在服务端,负责将本地服务发布到远程服务; 管理远程服务,提供给服务消费者使用。

3) 服务消费者,运行在客户端,通过远程代理对象调用远程服务。

3、具体实现

工程结构

1) 创建服务提供者

服务提供接口

  1. public interface IHelloService {
  2.  
  3. String sayHi(String name);
  4.  
  5. }

  

服务提供接口实现

  1. public class HelloServiceImpl implements IHelloService{
  2.  
  3. @Override
  4. public String sayHi(String name) {
  5. return "Hi, " + name;
  6. }
  7.  
  8. }

  

2)服务中心

服务中心接口

  1. public interface IServer {
  2.  
  3. public void stop();
  4.  
  5. public void start() throws IOException;
  6.  
  7. public void register(Class serviceInterface, Class impl);
  8.  
  9. public boolean isRunning();
  10.  
  11. public int getPort();
  12. }

  

服务中心接口实现

  1. public class ServiceCenter implements IServer {
  2.  
  3. private static int availableProcessors = Runtime.getRuntime().availableProcessors();
  4.  
  5. private static ExecutorService executor = Executors.newFixedThreadPool(availableProcessors);
  6.  
  7. private static final HashMap<String, Class> serviceRegister = new HashMap<>();
  8.  
  9. static {
  10. CommonUtil.print("availableProcessors:" + availableProcessors);
  11. }
  12.  
  13. private static boolean isRunning = false;
  14.  
  15. private static int port;
  16.  
  17. public ServiceCenter(int p){
  18. port = p;
  19. }
  20.  
  21. @Override
  22. public void stop() {
  23. isRunning = false;
  24. executor.shutdown();;
  25. }
  26.  
  27. @Override
  28. public void start() throws IOException {
  29. ServerSocket server = new ServerSocket();
  30. server.bind(new InetSocketAddress(port));
  31. CommonUtil.print("start server, port:" + port);
  32. try{
  33. while (true){
  34. // 1.监听客户端的TCP连接,接到TCP连接后将其封装成task,由线程池执行
  35. Socket client = server.accept();
  36. CommonUtil.print("accept socket client");
  37. executor.execute(new ServiceTask(client));
  38. }
  39. }finally {
  40. server.close();
  41. }
  42. }
  43.  
  44. @Override
  45. public void register(Class serviceInterface, Class impl) {
  46. serviceRegister.put(serviceInterface.getName(), impl);
  47. }
  48.  
  49. @Override
  50. public boolean isRunning() {
  51. return isRunning;
  52. }
  53.  
  54. @Override
  55. public int getPort() {
  56. return port;
  57. }
  58.  
  59. private static class ServiceTask implements Runnable{
  60.  
  61. Socket client = null;
  62.  
  63. public ServiceTask(Socket socket){
  64. this.client = socket;
  65. }
  66.  
  67. @Override
  68. public void run() {
  69.  
  70. ObjectInputStream input = null;
  71. ObjectOutputStream output = null;
  72. try {
  73. // 2.将客户端发送的码流反序列化成对象,反射调用服务实现者,获取执行结果
  74. input = new ObjectInputStream(client.getInputStream());
  75.  
  76. String serviceName = input.readUTF();
  77. String methodName = input.readUTF();
  78.  
  79. CommonUtil.print("serviceName:" + serviceName + "methodName:" + methodName);
  80. Class<?>[] parameterTypes = (Class<?>[]) input.readObject();
  81. Object[] arguments = (Object[]) input.readObject();
  82. Class serviceClass = serviceRegister.get(serviceName);
  83. if (serviceClass == null) {
  84. throw new ClassNotFoundException(serviceName + " not found");
  85. }
  86. Method method = serviceClass.getMethod(methodName, parameterTypes);
  87. Object result = method.invoke(serviceClass.newInstance(), arguments);
  88.  
  89. // 3.将执行结果反序列化,通过socket发送给客户端
  90. output = new ObjectOutputStream(client.getOutputStream());
  91. output.writeObject(result);
  92. } catch (Exception e) {
  93. e.printStackTrace();
  94. } finally {
  95. if (output != null) {
  96. try {
  97. output.close();
  98. } catch (IOException e) {
  99. e.printStackTrace();
  100. }
  101. }
  102. if (input != null) {
  103. try {
  104. input.close();
  105. } catch (IOException e) {
  106. e.printStackTrace();
  107. }
  108. }
  109. if (client != null) {
  110. try {
  111. client.close();
  112. } catch (IOException e) {
  113. e.printStackTrace();
  114. }
  115. }
  116. }
  117.  
  118. }
  119. }
  120. }

  

3) 消费者

消费者获取远程方法

  1. public class RPCClient<T> {
  2.  
  3. public static <T> T getRemoteProxyObj(final Class<?> serviceInterface, final InetSocketAddress addr){
  4. //1\将本地的接口调用转换成JDK的动态代理,在动态代理中实现接口的远程调用
  5.  
  6. return (T) Proxy.newProxyInstance(serviceInterface.getClassLoader(), new Class<?>[]{serviceInterface}, new InvocationHandler() {
  7. @Override
  8. public Object invoke(Object proxy, Method method, Object[] args) throws Throwable {
  9. Socket socket = null;
  10. ObjectOutputStream output = null;
  11. ObjectInputStream input = null;
  12.  
  13. try{
  14. //2、创建socket客户端,根据指定地址连接远程服务提供者
  15. socket = new Socket();
  16. socket.connect(addr);
  17.  
  18. //3.将远程服务调用所需要的类接口,方法名、参数列表等编码后发送给服务提供者
  19. output = new ObjectOutputStream(socket.getOutputStream());
  20. CommonUtil.print("serviceInterface.getName:" + serviceInterface.getName() + " method.getName():" + method.getName());
  21. output.writeUTF(serviceInterface.getName());
  22. output.writeUTF(method.getName());
  23. output.writeObject(method.getParameterTypes());
  24. output.writeObject(args);
  25.  
  26. //4、同步阻塞等待服务器返回应答,获取应答后返回
  27. input = new ObjectInputStream(socket.getInputStream());
  28. return input.readObject();
  29. }finally {
  30. if (socket != null) socket.close();
  31. if (output != null) output.close();
  32. if (input != null) input.close();
  33. }
  34. }
  35. });
  36. }
  37.  
  38. }

  

4)测试

服务提供者先进行注册

  1. public class ServiceRegister {
  2. public static void main(String[] args) {
  3. new Thread(new Runnable() {
  4. @Override
  5. public void run() {
  6. try {
  7. CommonUtil.print("服务注册");
  8. IServer serviceServer = new ServiceCenter(8088);
  9. serviceServer.register(IHelloService.class, HelloServiceImpl.class);
  10. serviceServer.start();
  11. } catch (IOException e) {
  12. e.printStackTrace();
  13. }
  14. ;
  15. }
  16. }).start();
  17. }
  18. }

  

消费者进行调用

  1. public class ServiceConsumer {
  2.  
  3. public static void main(String[] args) {
  4. InetSocketAddress inetSocketAddress = new InetSocketAddress("localhost",8088);
  5. IHelloService service = RPCClient.getRemoteProxyObj(IHelloService.class, inetSocketAddress);
  6. CommonUtil.print(service.sayHi("Nick"));
  7. }
  8.  
  9. }

  

5)输出结果

四、总结
RPC本质为消息处理模型,RPC屏蔽了底层不同主机间的通信细节,让进程调用远程的服务就像是本地的服务一样。

五、可以改进的地方
这里实现的简单RPC框架是使用Java语言开发,与Java语言高度耦合,并且通信方式采用的Socket是基于BIO实现的,IO效率不高,还有Java原生的序列化机制占内存太多,运行效率也不高。可以考虑从下面几种方法改进。

可以采用基于JSON数据传输的RPC框架;
可以使用NIO或直接使用Netty替代BIO实现;
使用开源的序列化机制,如Hadoop Avro与Google protobuf等;
服务注册可以使用Zookeeper进行管理,能够让应用更加稳定。

来自: Java实现简单的RPC框架

六、流行的RPC框架

1、dubbo/dubbox

dubbo架构模型

2、Monta(新浪微博开源)

3、Thrift(夸语言的RPC框架,无服务治理)

4、Grpc (google的Grpc)

各种框架的对比

Java实现简单RPC框架(转)的更多相关文章

  1. RPC笔记之初探RPC:DIY简单RPC框架

    一.什么是RPC RPC(Remote Procedure Call)即远程过程调用,简单的说就是在A机器上去调用B机器上的某个方法,在分布式系统中极其常用. rpc原理其实很简单,比较容易理解,在r ...

  2. 从零开始实现简单 RPC 框架 5:网络通信之序列化

    我们在接下来会开始讲网络通信相关的内容了.既然是网络通信,那必然会涉及到序列化的相关技术. 下面是 ccx-rpc 序列化器的接口定义. /** * 序列化器 */ public interface ...

  3. 从零开始实现简单 RPC 框架 6:网络通信之 Netty

    网络通信的开发,就涉及到一些开发框架:Java NIO.Netty.Mina 等等. 理论上来说,类似于序列化器,可以为其定义一套统一的接口,让不同类型的框架实现,事实上,Dubbo 就是这么干的. ...

  4. 从零开始实现简单 RPC 框架 7:网络通信之自定义协议(粘包拆包、编解码)

    当 RPC 框架使用 Netty 通信时,实际上是将数据转化成 ByteBuf 的方式进行传输. 那如何转化呢?可不可以把 请求参数 或者 响应结果 直接无脑序列化成 byte 数组发出去? 答:直接 ...

  5. 简单RPC框架-基于Consul的服务注册与发现

    *:first-child { margin-top: 0 !important; } body>*:last-child { margin-bottom: 0 !important; } /* ...

  6. 一个简单RPC框架是怎样炼成的(V)——引入传输层

    开局篇我们说了,RPC框架的四个核心内容 RPC数据的传输. RPC消息 协议 RPC服务注冊 RPC消息处理    接下来处理传输数据.实际应用场景一般都是基于socket.socket代码比較多, ...

  7. 一个简单RPC框架是怎样炼成的(II)——制定RPC消息

    开局篇我们说了,RPC框架的四个核心内容 RPC数据的传输. RPC消息 协议 RPC服务注冊 RPC消息处理 以下,我们先看一个普通的过程调用 class Client(object): def _ ...

  8. 从零开始实现简单 RPC 框架 2:扩展利器 SPI

    RPC 框架有很多可扩展的地方,如:序列化类型.压缩类型.负载均衡类型.注册中心类型等等. 假设框架提供的注册中心只有zookeeper,但是使用者想用Eureka,修改框架以支持使用者的需求显然不是 ...

  9. 一个简单RPC框架是怎样炼成的(VI)——引入服务注冊机制

    开局篇我们说了.RPC框架的四个核心内容 RPC数据的传输. RPC消息 协议 RPC服务注冊 RPC消息处理 接下来处理RPC服务的注冊机制.所谓注冊机制,就是Server须要声明支持哪些rpc方法 ...

随机推荐

  1. 钉钉、阿里云和PaaS平台的整合开发

    钉钉在企业移动办公领域有着很高的占有率,但是可能大家都会觉得,他在企业定制化,数据分析等领域有着很大的短板. 而我们的kintone作为PaaS平台,可以补足这个短板.很多开发者想知道如何利用钉钉还有 ...

  2. Java中处理接口返回base64编码的图片数据

    在做接口测试的时候,某些接口返回的content是一大段加密文字.这种情况下,有可能是返回的图片加密数据,需要将这些数据转换成图片进行保存查看. 例如: 这里,可以看到Content对应的键值开头有“ ...

  3. 李航-统计学习方法-笔记-3:KNN

    KNN算法 基本模型:给定一个训练数据集,对新的输入实例,在训练数据集中找到与该实例最邻近的k个实例.这k个实例的多数属于某个类,就把输入实例分为这个类. KNN没有显式的学习过程. KNN使用的模型 ...

  4. python使用二分法实现在一个有序列表中查找指定的元素

    二分法是一种快速查找的方法,时间复杂度低,逻辑简单易懂,总的来说就是不断的除以2除以2... 例如需要查找有序list里面的某个关键字key的位置,那么首先确认list的中位数mid,下面分为三种情况 ...

  5. [转]Serverless实践

    转载的,原文: https://www.cnblogs.com/middleware/p/9470533.html ------------------------------------------ ...

  6. Redis中如何保证数据库和缓存双写时的数据的一致性?

    简单的场景: 直接使用 1. 使用Cache Aside pattern 读取的时候,先读取缓存中是否有数据,缓存中没有数据,再去数据库中进行查询,查询出来以后,然后再存入到缓存中 更新的时候,先删除 ...

  7. 样条插值法(Java)--在本地执行

    该程序主要实现样条插值的目的,为本地执行java文件 该程序包含:样条插值法.读取文件,写入文件,字符型转double型方法等: 适合初学Java的人学习: 首次使用eclipse打jar包,中间很曲 ...

  8. 十三.Java使用Protobuf3

    为什么使用Protobuf? 本教程翻译自谷歌开发者官网,原文地址:https://developers.google.com/protocol-buffers/docs/javatutorial.开 ...

  9. 3种方法实现CSS隐藏滚动条并可以滚动内容

    隐藏滚动条的同时还需要支持滚动,我们经常在前端开发中遇到这种情况,最容易想到的是加一个iscroll插件,但其 实现在CSS也可以实现这个功能,我已经在很多地方使用了,下面一起看看这三种方法. 方法1 ...

  10. 使用session存储数据

    @WebServlet("/reply") public class ReplyServlet extends HttpServlet { @Override protected ...