golang高性能RPC:Apache Thrift安装使用完全攻略
在企业应用中RPC的使用可以说是十分的广泛,使用该技术可以方便的与各种程序交互而不用考虑其编写使用的语言。
如果你对RPC的概念还不太清楚,可以点击这里。
现今市面上已经有许多应用广泛的RPC框架,比如GRPC,而今天我们要介绍的是同样使用广泛的Apache Thrift。这篇文章将带你安全越过所有坑点,请放心食用。
Thrift简介
Thrift是Facebook的一个开源项目,后来进入Apache进行孵化。Thrift也是支持跨语言的,所以它有自己的一套IDL。目前它支持几乎所有主流的编程语言:C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Smalltalk, OCaml and Delphi and other languages。Thrift可以支持多种信息格式,除了Thrift私有的二进制编码规则和一种LVQ(类似于TLV消息格式)的消息格式,还有常规的JSON格式。Thrift的网络协议建立在TCP协议基础上,并且支持阻塞式IO模型和多路IO复用模型。我们将在后文详细讲解Apache Thrift的使用。Thrift也是目前最流行的RPC框架之一,从网络上各种性能测试情况开,Thrift的性能都是领先的。Thrift的官网地址为:http://thrift.apache.org/
安装
首先是安装golang的库:
- go get git.apache.org/thrift.git/lib/go/thrift/...
为了能编译Thrift IDL,我们还得编译thrift-compiler,主要的坑全在这里。
首先,如果你在用ubuntu,千万别用apt去安装,因为官方源和所有ppa里的compiler版本严重过时了;
其次网上的单独编译compiler教程不要看,基本都过时了,现在thrift的版本已经是1.0.0-dev,如果按那些教程编译出来的工具是无法和go get安装的库一起使用的,而且很大概率你连正常编译都无法进行,如果不使用go get,那么可以按照这里的方法2进行安装。(方法2里编译compiler的步骤请跳过,使用我在下面要讲的方法)
好了下面我们开始安装thrift-compiler,首先是安装依赖:
- sudo apt-get install libboost-dev libboost-test-dev libboost-program-options-dev libboost-filesystem-dev libboost-thread-dev libevent-dev automake libtool flex bison pkg-config g++ libssl-dev
接着我们clone最新的thrift仓库,然后编译:
- git clone https://github.com/apache/thrift
- cd thrift
- ./bootstrap.sh
- ./configure --without-qt4 --wihout-qt5
- make
- sudo make install
解释一下,--without-qt*是为了加快编译并防止报错,因为qt始终要依赖moc,很容易出问题而且我们一般也用不到,所以舍去。
如果你也不需要其他语言的生成功能,可以用--without-[name]来去除,具体参见./configure --help。
make也可以改成”make -j N“,N是你cpu可用核心数,并行编译加快速度。
安装好后我们运行thrift命令验证一下安装:
- thrift -version
- # Thrift version 1.0.0-dev
这样Thrift就算安装完成了。
另外,不使用go get而用源码进行安装时,请保证thrift-compiler和你安装的库的版本相同,否则会有数不清的问题出现。当然,使用go get+自行编译的安装方法不会有这些问题。
Thrift的使用
首先我们要编写IDL文件,定义RPC的接口和数据。如果你还不熟悉thrift IDL的语法,可以参考这里,它和c/c++的语法十分相似,上手起来也较容易。
我们来看一个例子,我们定义一个“compute”模块,在其中定义DivMod(计算商和模)和MulRange(计算阶乘)两个服务,并定义一种包含DivMod计算结果的数据类型:
- namespace go compute
- struct Result {
- : i64 div;
- : i64 mod;
- }
- service DivMod {
- Result DoDivMod(:i64 arg1, :i64 arg2);
- }
- service MulRange {
- string BigRange(:i64 max)
- }
Thrift IDL
然后我们用thrift-compiler将其编译成golang代码:
- thrift -r --gen go compute.thrift
它会在当前目录下生成一个gen-go目录,在其中有个compute目录,那就是我们生成的模块,copy出来放在$GOPATH里。
接下来我们来实现服务端,现在我们只定义了接口,而没有实现它,建立服务端需要如下几个步骤:
- 实现服务处理接口,在1.0版本中,接口第一个参数需要是context.Context,用以支持取消或对RPC调用设置超时。
- 创建 Processor,也就是把实现的接口注册进RPC服务创建 Transport,Transport用于管理网络IO。它是一个interface,可以是TSocket,TServerSocket以及NewTHttpClient*或TTransportFactory.GetTransport返回的对象。
- 创建 Protocol,也就是传输协议,一般使用二进制协议来传输数据,当然也可以选择json或其他格式。
- 创建server,使用前面的Processor,Transport,Protocol以及ip地址来创建服务端。
- 运行server。
下面我们先实现接口:
- // computeThrift 实现service中定义的方法
- type divmodThrift struct {
- }
- // 每个方法除了定义的返回值之外还要返回一个error,包括定义成void的方法。自定义类型会在名字之后加一条下划线
// 暂时用不到context,所以忽略
func (d *divmodThrift) DoDivMod(_ context.Context, arg1, arg2 int64) (*compute.Result_, error) {- divRes := int64(arg1 / arg2)
- modRes := int64(arg1 % arg2)
- // 生成的用于生成自定义数据对象的函数
- res := compute.NewResult_()
- res.Div = divRes
- res.Mod = modRes
- return res, nil
- }
- // 尽量一个struct对应一个service
- type mulrangeThrift struct {
- }
- func (m *mulrangeThrift) BigRange(_ context.Context, max int64) (string, error) {
- result := new(big.Int)
- result.SetString("", )
- result = result.MulRange(, max)
- return result.String()
- }
接口实现之后我们就要建立并启动服务器了,首先我们先建立Transport:
- // 创建服务器
- serverTransport, err := thrift.NewTServerSocket(net.JoinHostPort("127.0.0.1", ""))
- if err != nil {
- fmt.Println("Error!", err)
- os.Exit()
- }
然后创建传输协议:
- // 创建二进制协议
- protocolFactory := thrift.NewTBinaryProtocolFactoryDefault()
- transportFactory := thrift.NewTFramedTransportFactory(thrift.NewTTransportFactory())
接着我们把实现的接口注册成Processor:
- // 创建Processor,用一个端口处理多个服务
- divmodProcessor := compute.NewDivModProcessor(new(divmodThrift))
- mulrangeProcessor := compute.NewMulRangeProcessor(new(mulrangeThrift))
- multiProcessor := thrift.NewTMultiplexedProcessor()
- // 给每个service起一个名字
- multiProcessor.RegisterProcessor("divmod", divmodProcessor)
- multiProcessor.RegisterProcessor("mulrange", mulrangeProcessor)
这里我们用TMultiplexedProcessor来实现一个端口监听多个服务。
最后就是启动服务器:
- // 启动服务器
- server := thrift.NewTSimpleServer4(multiProcessor, serverTransport, transportFactory, protocolFactory)
- server.Serve()
// 退出时停止服务器
defer server.Stop()
启动服务器这里也有坑点,网上有文章说使用NewTSimpleServer2可以直接启用二进制格式的数据传输,这是错的,想用二进制或其他格式传输数据,必须明确生成对应的ProtocolFactory并使用NewTSimpleServer4创建服务器。官方给的例子里就是这样做的,我也是在被反复坑了数次之后才确认了这个问题。
客户端:
要建立客户端,也要按照如下几个步骤:
- 创建 Transport
- 创建 Protocol
- 基于 Potocol 创建 Client
- 打开 Transport(不一定要在client创建后才打开,但必须在protocol创建后,接口调用前打开)
- 调用接口
下面我们来看代码:
- func main() {
- // 先建立和服务器的连接的socket,再通过socket建立Transport
- socket, err := thrift.NewTSocket(net.JoinHostPort("127.0.0.1", ""))
- if err != nil {
- fmt.Println("Error opening socket:", err)
- os.Exit()
- }
- transport := thrift.NewTFramedTransport(socket)
- // 创建二进制协议
- protocol := thrift.NewTBinaryProtocolTransport(transport)
- // 打开Transport,与服务器进行连接
- if err := transport.Open(); err != nil {
- fmt.Fprintln(os.Stderr, "Error opening socket to "+"localhost"+":"+"", err)
- os.Exit()
- }
- defer transport.Close()
- // 接口需要context,以便在长操作时用户可以取消RPC调用
- ctx := context.Background()
- // 使用divmod服务
- divmodProtocol := thrift.NewTMultiplexedProtocol(protocol, "divmod")
- // 创建代理客户端,使用TMultiplexedProtocol访问对应的服务
- c := thrift.NewTStandardClient(divmodProtocol, divmodProtocol)
- client := compute.NewDivModClient(c)
- res, err := client.DoDivMod(ctx, , )
- if err != nil {
- fmt.Println(err)
- os.Exit()
- }
- fmt.Println(res)
- // 使用mulrange服务
- // 步骤与上面的相同
- mulProtocol := thrift.NewTMultiplexedProtocol(protocol, "mulrange")
- c = thrift.NewTStandardClient(mulProtocol, mulProtocol)
- client2 := compute.NewMulRangeClient(c)
- num, err := client2.BigRange(ctx, )
- if err != nil {
- fmt.Println(err)
- os.Exit()
- }
- fmt.Println(num)
- }
当然,大部分情况下我们可能都是用单服务,对于单服务来说,0.11版本的接口和1.0并没有变化,这个找网上的例子即可。
go build之后我们分别运行client和server。
下面是输出,计算了100÷3和100%3的结果,还有100的阶乘,客户端调用接口后检查err,没有错误发生就输出结果:
这样一个支持多服务的RPC示例就完成了。
如果有疑问或者建议,欢迎在评论指出。
祝玩得愉快!
golang高性能RPC:Apache Thrift安装使用完全攻略的更多相关文章
- 【转】Hive安装及使用攻略
Posted: Jul 16, 2013 Tags: HadoophiveHiveQLsql分区表 Comments: 18 Comments Hive安装及使用攻略 让Hadoop跑在云端系列文章, ...
- Android-x86虚拟机安装配置全攻略
转自Android-x86虚拟机安装配置全攻略 注:这里安装从简,具体请参考虚拟机Vmware安装运行安卓4.0详细教程 Android-x86虚拟机安装配置网上有很多,但是全部说明白的确不多,希望这 ...
- 【Linux】【secureCRT】下载,安装,激活攻略
以前公司使用的是SSH访问Linux服务器,今天争取了能看到数据,问了同事使用的是secureCRT,然后自己就装了一个. 下载地址:https://www.vandyke.com/download/ ...
- Apache Thrift安装介绍 (ubuntu)
apache thrift是一种常用的远程服务调用框架. 下面对apache thrift的安装进行介绍: 下面是thrift的源码安装: Debian/Ubuntu (14+) 编译运行依赖安装 $ ...
- phpMyAdmin 安装教程全攻略
管理MYSQL数据库的最好工具是PHPmyAdmin,现在最新版本是phpMyAdmin 2.9.0.2,这是一个国际上开源的软件,一直在更新版本,你可以从 http://www.phpmyadmin ...
- 长平狐 Android-x86虚拟机安装配置全攻略
Android-x86虚拟机安装配置网上有很多,但是全部说明白的确不多,希望这篇文章能把主要的配置介绍给您,帮助您少走一些弯路. 本文分别针对VMWare和Virtual Box两种虚拟机介绍安装配置 ...
- Mac安装windows虚拟机攻略
5月初从阿里滚粗,然后失去了公司发的Mac Air.说实话Mac机器确实比windows好用一些,于是怒而买了一个Mac Pro. 结果一个星期后我从学校带出来的联想笔记本又被老师通知要进行固定资产盘 ...
- mysql 在 win 安装 最全攻略(附转载的乱码终极解决方案)以及解决data too long for column 'name' at row 1, 一种可能就是因为编码一致性问题.
[博客园cnblogs笔者m-yb原创,转载请加链接,公众号aandb7, github.com/mayangbo666,QQ群927113708] https://www.cnblogs.com/m ...
- MacBook使用笔记2 - 安装windows虚拟机攻略
转载请标注原链接:http://www.cnblogs.com/xczyd/p/5498878.html 5月初从阿里滚粗,然后失去了公司发的Mac Air.说实话Mac机器确实比windows好用一 ...
随机推荐
- Centos7 网络报错Job for iptables.service failed because the control process exited with error code.
今天在进行项目联系的时候,启动在待机的虚拟机,发现虚拟机的网络设置又出现了问题. 我以为像往常一样重启网卡服务就能成功,但是它却报了Job for iptables.service failed be ...
- 解决Eclipse中无法直接使用Base64Encoder的问题(转载)
资源出处:https://blog.csdn.net/u011514810/article/details/72725398 Base64的加密解密都是使用sun.misc包下的BASE64Encod ...
- ServiceStack.Redis记录
一.事务 (一)AcquireLock方法 1.说明:申请对一个Key加锁(期间其他对象不能访问). 2.带using的使用,或带过期时间参数,否则锁不会自动释放. using (RedisCache ...
- Git的分支管理
0.引言 本文参考最后的几篇文章,将git的分支管理整理如下.学习git的分支管理将可以版本进行灵活有效的控制. 1.如何建立与合并分支 1.1分支的新建与合并指令 新建分支 newBranch,并进 ...
- shell 命令 创建/删除 软连接 ln -s
软链接的作用是, 1. 节省复制造成的空间浪费 2. 保证两个文件的内容同时修改 所以,可以把软连接理解为给文件/文件夹创建了别名,当访问别名时,实际访问的是链接的文件/文件夹 软链文件 ln -s ...
- 使用MvvmCross框架实现Xamarin.Forms的汉堡菜单布局
注:本文是英文写的,偷懒自动翻译过来了,原文地址:Implementing MasterDetail layout in Xamarin.Forms by MvvmCross 欢迎大家关注我的公众号: ...
- Android JNI 学习(十一):Invocation Api
1. 简介 Invocation API允许软件提供商在原生程序中内嵌Java虚拟机.因此可以不需要链接任何Java虚拟机代码来提供Java-enabled的应用程序. 以下代码演示如何使用: #in ...
- pycharm激活方式
进入C:\Windows\System32\drivers\etc替换host文件,或者在host文件后加入0.0.0.0 account.jetbrains.com然后断网,断网,断网!最后输入K7 ...
- SpringMVC核心接口
简单配置SpringMVC SpringMVC的实现原理是通过Servlet拦截所有URL达到控制目的,所以web.xml的配置是必须的 ContextLoaderListener ContextLo ...
- Event Loop浅谈
event loop 即事件循环.最初了解到js的event loop机制是通过自己对js中异步.同步的疑惑.今天聊一聊自己的理解,希望和大家一起学习. 首先,让我们看一个经典的setTimeOut的 ...