Java程序员的现代RPC指南


1.前言

1.1 RPC框架简介

最早接触RPC还是初学Java时,直接用Socket API传东西好麻烦。于是发现了JDK直接支持的RMI,然后就用得不亦乐乎,各种大作业里凡是涉及到分布式通信的都用RMI,真是方便。后来用上了Spring,发现Spring提供了好多Exporter,可以无侵入地将一个POJO暴露为RPC服务。

接触了这么多RPC框架后,发现当时公司内部自己实现了一套支持压缩、加密等附加功能的RPC基础框架,于是就读了一下源码,发现原来自己实现个简单的RPC挺简单啊,选好序列化框架后用反射为服务接口生成存根就行了。核心技术就是:序列化和动态反射

前一阵子又接触到了多语言支持的RPC框架。其实传统的方式也是能支持多种编程语言的,只要序列化框架为多种语言都提供了版本支持,那么序列化后使用相同的网络协议传输就能实现跨语言的RPC了,这也是最轻量级的自制RPC了,灵活但是手动工作量比较大。再就是重量级的SOAP WebService或简单方便的REST,后者一般采用JSON格式携带数据,最典型的场景就是前后台的服务调用,从JS到Java的RPC。

本文要重点介绍的则是另外一套RPC框架。相比一般的RPC框架来说,它能够支持多种语言间的RPC;相比WebService,它却没有SOAP那么重量级,又比轻量级的REST高效。对于组件之间需要频繁通信、又对性能要求较高的分布式系统来说,它是不错的解决方案。

1.2 Protobuf vs. Thrift

Protobuf全名为Protocol Buffer,是Google推出的支持多语言的RPC基础设施。通过自定义语言无关的IDL文件和Protoc代码生成器达到跨语言RPC通信的目的。但也正因为跨语言,与我们仅限于Java的那些RPC框架相比稍显复杂一些。之前研究Protobuf序列化性能时,也正因这一点而采用了Java简化版Protostuff,详情请见《序列化战争:主流序列化框架Benchmark》

Thrift是Facebook推出的RPC框架,与PB相比提供了内建的RPC支持,而PB开源版里并没有RPC功能(也是后面实践时才发现的)。Thrift的RPC提供了多种网络模式和序列化的选项,可以根据不同场景来灵活搭配使用。

关于Protobuf、Thrift以及本文未涉及的Avro,在《大数据日知录》里有具体的比较,感兴趣的可以参考一下。

1.3 核心技术

前面说了传统RPC框架的核心技术,“现代”RPC为了支持多语言所以稍显复杂一点儿。核心技术主要有:IDL、代码生成器、序列化、RPC

  • 在IDL文件中通过不与具体编程语言相关的语法定义通信类
  • 利用代码生成器生成出Java语言对应的代码
  • 引入框架的运行时Jar包,获得序列化、RPC等能力

所以前两者决定了框架对不同编程语言的支持能力,而后两者决定了运行时的调用性能。


2.Maven集成

不管使用哪种框架,既然涉及到了代码生成,那就要想法与项目构建的过程结合到一起。这里以Java项目最常用的Maven为例,看一下如何将代码生成器与Maven相结合,并且有哪些注意事项。

2.1 Compile阶段

按照我们的设想,代码生成过程应该在编译阶段,这样生成的代码就能跟已有代码一起被编译、打包、发布,两者没有什么差别。一旦修改了IDL,直接编译就能看到最新生成的代码了,这就是我们想要的效果。

2.2 Ant集成插件

因为有些框架并不提供专门的插件,所以与Maven最简单通用的集成方法就是采用maven-antrun-plugin插件。此插件可以执行任意命令,标准写法如下:

    <build>
<plugins>
<plugin>
<artifactId>maven-antrun-plugin</artifactId>
<executions>
<execution>
<id>generate-sources</id>
<phase>generate-sources</phase>
<configuration>
<tasks>
<exec executable="xxx.exe">
<arg value="arg1 arg2 ..."/>
</exec>
</tasks>
<sourceRoot>target/generated-sources</sourceRoot>
</configuration>
<goals>
<goal>run</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24

3.Protobuf实战

3.1 编写IDL

语法非常简单,其中java_generic_services选项决定是否生成Service类,默认不生成,据说是不建议使用。

package com.test;

option java_generic_services = true;

message Request
{
required int32 type = 1;
} message Response
{
required int32 cpu = 1;
required int32 memorySize = 2;
} service AgentService
{
rpc detectHardware(Request) returns (Response);
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19

3.2 Protoc编译

Windows版预编译好的protoc.exe支持C++,Java,Python三种最常用的语言,如果你只使用这几种语言的话那就很简单了。之所以把Protobuf相关文件都放到src/protobuf而非src/main/resources下是因为:src/main/resources里东西默认会被包含到最终的jar里。如果我们不想把protoc.exe和一堆.proto文件打到jar包里发布的话,要么加一个Maven的拷贝filter,或者像本文的方法将Protobuf相关文件都放到src/protobuf下。

    <build>
<plugins>
<plugin>
<artifactId>maven-antrun-plugin</artifactId>
<executions>
<execution>
<id>generate-sources</id>
<phase>generate-sources</phase>
<configuration>
<tasks>
<exec executable="src/protobuf/protoc.exe" failonerror="true">
<arg value="--java_out=src/main/java"/>
<arg value="src/protobuf/idl/*.proto"/>
</exec>
</tasks>
<sourceRoot>target/generated-sources</sourceRoot>
</configuration>
<goals>
<goal>run</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25

3.3 使用源码

以下是利用Protobuf生成的代码进行序列化和反序列化的示例。由于缺少RPC功能,所以也只能测试一下序列化功能了。

public class PbRpcTest {

    public static void main(String[] args) throws InvalidProtocolBufferException {
// Build request
Agent.Request.Builder reqBuilder = Agent.Request.newBuilder();
reqBuilder.setType(1);
Agent.Request req = reqBuilder.build();
System.out.println(req); // Parse from bytes
byte[] bytes = req.toByteArray();
Agent.Request req2 = Agent.Request.parseFrom(bytes);
System.out.println(req2.getType());
}
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15

4.Thrift

4.1 编译IDL

与Protobuf的IDL相似,Thrift的IDL也很简单。

namespace java com.test

service AgentService {
string detectHardware()
}
  • 1
  • 2
  • 3
  • 4
  • 5

4.2 Java

Thrift支持多种网络和序列化模式,这里采取最简单的同步阻塞和二进制序列化的方式。

public class RpcClientTest {

    public static void main(String[] args) throws TException {
TSocket transport = new TSocket("127.0.0.1", 8090);
TProtocol protocol = new TBinaryProtocol(transport);
AgentService.Client client = new AgentService.Client(protocol);
transport.open(); System.out.println(client.detectHardware());
}
} public class RpcServerTest { public static void main(String[] args) throws TTransportException {
AgentService.Processor<AgentService.Iface> processor = new AgentService.Processor<AgentService.Iface>(
new AgentServiceImpl()
); TServerSocket transport = new TServerSocket(8090);
TServer.Args tArgs = new TServer.Args(transport);
tArgs.processor(processor);
tArgs.protocolFactory(new TBinaryProtocol.Factory()); TServer server = new TSimpleServer(tArgs);
server.serve();
}
} public class AgentServiceImpl implements AgentService.Iface { @Override
public String detectHardware() throws TException {
return "hello";
}
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36

4.3 Python

Python要想运行时支持Thrift,也需要安装相应的插件。我是在Windows下的Cygwin中完成安装的,然后在cmd中执行却报错还是没找到thrift模块,结果发现是cmd和Cygwin默认执行的Python版本不一样。汗,之前可能2和3都装了忘记了,生成的代码用Python 3运行的话会有问题:

$ tar -xzvf thrift-0.9.3.tar.gz
$ cd thrift-0.9.3/
$ python setup.py install
  • 1
  • 2
  • 3

注意一定要指定IP地址,否则Java客户端调用Python服务端时会报”Connection refused”错误,详见Stackoverflow上的问题解答

import sys, glob
sys.path.append('gen-py')
#sys.path.insert(0, glob.glob('../../lib/py/build/lib*')[0]) from agent import AgentService
from agent.ttypes import * from thrift import Thrift
from thrift.transport import TSocket
from thrift.transport import TTransport
from thrift.protocol import TBinaryProtocol
from thrift.server import TServer class AgentServiceHandler:
def __init__(self):
print('init') def detectHardware(self):
print('detect!')
return 'hello~~~' handler = AgentServiceHandler()
processor = AgentService.Processor(handler)
transport = TSocket.TServerSocket(host="127.0.0.1", port=8090)
tfactory = TTransport.TBufferedTransportFactory()
pfactory = TBinaryProtocol.TBinaryProtocolFactory() server = TServer.TSimpleServer(processor, transport, tfactory, pfactory)
print('Starting the server...')
server.serve()
print('done.')
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31

这就是目录结构,现在就可以启动服务端,客户端仍然用之前的Java客户端,调用成功!

$ tree py-demo/ -I "*.pyc"
py-demo/
|-- agent.thrift
|-- gen-py
| |-- __init__.py
| `-- agent
| |-- __init__.py
| |-- __pycache__
| |-- AgentService.py
| |-- AgentService-remote
| |-- constants.py
| `-- ttypes.py
|-- server.py
`-- thrift-0.9.3.exe $ python server.py
init
Starting the server...
detect!
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19

4.总结

与直接使用Java其他RPC框架相比的确麻烦了一些,例如Spring中就自带了一些Exporter可以无侵入的实现RPC服务。但熟悉了Protobuf和Thrift以后发现实际上还是挺方便的,而且Windows版预编译好的Protoc支持C++,Java,Python三种最常用的语言,Thrift则支持几乎主流的各种语言,足够我们使用了。

参考资料:

  1. Protobuf语言指南
  2. Thrift入门及Java实例演示

http://blog.csdn.net/dc_726/article/details/50184695

Java程序员的现代RPC指南(Windows版预编译好的Protoc支持C++,Java,Python三种最常用的语言,Thrift则支持几乎主流的各种语言)的更多相关文章

  1. Java程序员的现代RPC指南

    Java程序员的现代RPC指南 1.前言 1.1 RPC框架简介 最早接触RPC还是初学Java时,直接用Socket API传东西好麻烦.于是发现了JDK直接支持的RMI,然后就用得不亦乐乎,各种大 ...

  2. Java程序员从笨鸟到菜鸟之(五十二)细谈Hibernate(三)Hibernate常用API详解及源码分析--csdn 曹胜欢

    新接触一个框架的目的就是想利用这个框架来为我们做一些工作,或者是让他来简化我们的工作,利用这个框架无非就是要利用这个框架所给我们提供的API去操作我们的数据,所以利用一个框架的好坏很大一部分取决于你对 ...

  3. 《JAVA 程序员面试宝典(第四版)》读书笔记之前言

    工作五年了一直在小的软件公司混,总感觉自己的专业知识没有太大的提升.当然了中间也换了一两家公司,面试的公司就很多家,总感觉正规的软件公司(无论大小)对于基础知识的考核都非常重视,而不管你说你之前服务过 ...

  4. Java程序员的Golang入门指南(下)

    Java程序员的Golang入门指南(下) 4.高级特性 上面介绍的只是Golang的基本语法和特性,尽管像控制语句的条件不用圆括号.函数多返回值.switch-case默认break.函数闭包.集合 ...

  5. Java程序员的Golang入门指南(上)

    Java程序员的Golang入门指南 1.序言 Golang作为一门出身名门望族的编程语言新星,像豆瓣的Redis平台Codis.类Evernote的云笔记leanote等. 1.1 为什么要学习 如 ...

  6. 一名资深架构师规划Java程序员五年职业生涯指南

    每个程序员.或者说每个工作者都应该有自己的职业规划,如果你不是富二代,不是官二代,也没有职业规划,希望你可以思考一下自己的将来.今天我给大家分享的是一篇来自阿里大牛对五年工作经验程序员的职业建议,希望 ...

  7. C语言的预编译,程序员必须懂的知识!【预编译指令】【预编译过程】

    由“源代码”到“可执行文件”的过程包括四个步骤:预编译.编译.汇编.链接.所以,首先就应该清楚的首要问题就是:预编译只是对程序的文本起作用,换句话说就是,预编译阶段仅仅对源代码的单词进行变换,而不是对 ...

  8. 程序员定制的中州韵(rime)windows版(小狼毫)微软双拼输入法

    小狼毫所有的配置都是在用户文件夹下完成的 用户文件夹在win7的开始菜单的小狼毫文件夹中可以找到 所有设置希望生效须用小狼毫开始菜单中的重新部署来更新配置 -> weasel.custom.ya ...

  9. 如何能快速的成为一个年薪20万的Java程序员,你都需要具备哪些技术?史上最全的java学习路线!

    看好了,绝对不是单纯的初级视频,一个朋友在某机构学习,把每天老师讲课的视频代码和笔记全部整理出来了,需要的抓紧时间联系我! 一级目录截图   其中还包含时下最火的分布式和外服务的技术哦,请看07和08 ...

随机推荐

  1. 【77.39%】【codeforces 734A】Anton and Danik

    time limit per test1 second memory limit per test256 megabytes inputstandard input outputstandard ou ...

  2. Eclipse使用技巧总结(五)

    三十五.快速回退到上次编辑处 Ctrl + Q 三十六.查看调用层次 Ctrl + Alt + H 三十七.快速查看某个类 Ctrl + Shift + T 三十八.快速定位 Ctrl + K  :首 ...

  3. 利用WPF建立自己的3d gis软件(非axhost方式)(四)在地图上添加FrameworkElement

    原文:利用WPF建立自己的3d gis软件(非axhost方式)(四)在地图上添加FrameworkElement 先下载SDK:https://pan.baidu.com/s/1M9kBS6ouUw ...

  4. 【23.15%】【codeforces 703C】Chris and Road

    time limit per test2 seconds memory limit per test256 megabytes inputstandard input outputstandard o ...

  5. windows 7 64位下配置mysql64位免安装版

    1.官方网站下载mysql-noinstall-5.1.51-winx64.zip 2.解压到E:\Program Files\MySQL.(路径自己指定) 3.在E:\Program Files\M ...

  6. hdu1845 Jimmy’s Assignment --- 完整匹配

    意甲冠军: 它需要一个特殊的图,以找到最大匹配.该图的特征是:无向图,度的每个节点3.这是一个双边连接组件(the graph is 2-edge-connected (that is, at lea ...

  7. Modbus TCP 示例报文

    调试modbus  tcp 整理百度文库文档如下 <modbus-tcp-报文举例分析> <MODBUSTCP通讯报文> Client request: 19 B2 00 00 ...

  8. Notice: Undefined index: user in D:\phpStudy\WWW\js\ls\lsmc\php\add.php on line 9

    原文:Notice: Undefined index: user in D:\phpStudy\WWW\js\ls\lsmc\php\add.php on line 9 (初用数据库(mysql)做用 ...

  9. WPF动画旋转(3轴同时旋转问题)

    原文:WPF动画旋转(3轴同时旋转问题) WPF的资料比较少,做起来不是很方便,之前一直有个XYZ3个轴同时旋转的问题,开始的时候以为通过  this.theRotateX.Axis = new Ve ...

  10. 对scrollTop的研究

    本文主要从原生 JS以及jquery来说明scrollTop是如何实现的,以及一些技巧,以及在PC端和移动端使用的差异. 首先用代码表示下如何回到顶部的简单原理 <!doctype html&g ...