thrift 的原理和使用

Thrift 架构

Thrift是一个跨语言的服务部署框架,最初由Facebook于2007年开发,2008年进入Apache开源项目。Thrift通过IDL(Interface Definition Language,接口定义语言)来定义RPC(Remote Procedure Call,远程过程调用)的接口和数据类型,然后通过thrift编译器生成不同语言的代码(目前支持C++,Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, Smalltalk和OCaml),并由生成的代码负责RPC协议层和传输层的实现。

PS:CentOS下的Thrift的安装流程可以参考这里

Thrift架构

图中,TProtocol(协议层),定义数据传输格式,例如:

  • TBinaryProtocol:二进制格式;
  • TCompactProtocol:压缩格式;
  • TJSONProtocol:JSON格式;
  • TSimpleJSONProtocol:提供JSON只写协议, 生成的文件很容易通过脚本语言解析;
  • TDebugProtocol:使用易懂的可读的文本格式,以便于debug

TTransport(传输层),定义数据传输方式,可以为TCP/IP传输,内存共享或者文件共享等)被用作运行时库。

  • TSocket:阻塞式socker;
  • TFramedTransport:以frame为单位进行传输,非阻塞式服务中使用;
  • TFileTransport:以文件形式进行传输;
  • TMemoryTransport:将内存用于I/O,java实现时内部实际使用了简单的ByteArrayOutputStream;
  • TZlibTransport:使用zlib进行压缩, 与其他传输方式联合使用,当前无java实现;

Thrift支持的服务模型

  • TSimpleServer:简单的单线程服务模型,常用于测试;
  • TThreadPoolServer:多线程服务模型,使用标准的阻塞式IO;
  • TNonblockingServer:多线程服务模型,使用非阻塞式IO(需使用TFramedTransport数据传输方式);

Thrift实际上是实现了C/S模式,通过代码生成工具将thrift文生成服务器端和客户端代码(可以为不同语言),从而实现服务端和客户端跨语言的支持。用户在Thirft文件中声明自己的服务,这些服务经过编译后会生成相应语言的代码文件,然后客户端调用服务,服务器端提服务便可以了。

一般将服务放到一个.thrift文件中,服务的编写语法与C语言语法基本一致,在.thrift文件中有主要有以下几个内容:变量声明(variable)、数据声明(struct)和服务接口声明(service, 可以继承其他接口)。

下面分析Thrift的tutorial中带的例子tutorial.thrift:

  1. // 包含头文件
  2. include shared.thrift
  3.  
  4. // 指定目标语言
  5. namespace cpp tutorial
  6.  
  7. // 定义变量
  8. const i32 INT32CONSTANT =
  9.  
  10. // 定义结构体
  11. struct Work {
  12. : i32 num1 = ,
  13. : i32 num2,
  14. : Operation op,
  15. : optional string comment,
  16. }
  17.  
  18. // 定义服务
  19. service Calculator extends shared.SharedService {
  20. /**
  21. * A method definition looks like C code. It has a return type, arguments,
  22. * and optionally a list of exceptions that it may throw. Note that argument
  23. * lists and exception lists are specified using the exact same syntax as
  24. * field lists in struct or exception definitions.
  25. */
  26.  
  27. void ping(),
  28.  
  29. i32 add(:i32 num1, :i32 num2),
  30.  
  31. i32 calculate(:i32 logid, :Work w) throws (:InvalidOperation ouch),
  32.  
  33. /**
  34. * This method has a oneway modifier. That means the client only makes
  35. * a request and does not listen for any response at all. Oneway methods
  36. * must be void.
  37. */
  38. oneway void zip()
  39.  
  40. }

编译thrift文件,生成C++代码:

  1. ./thrift --gen cpp tutorial.thrift   #结果代码存放在gen-cpp目录下

如果是要生成java代码:

  1. ./thrift --gen java tutorial.thrift  #结果代码存放在gen-java目录下

client端和sever端代码要调用编译.thrift生成的中间文件。
下面分析cpp文件下面的CppClient.cpp和CppServer.cpp代码

在client端,用户自定义CalculatorClient类型的对象(用户在.thrift文件中声明的服务名称是Calculator, 则生成的中间代码中的主类为CalculatorClient), 该对象中封装了各种服务,可以直接调用(如client.ping()), 然后thrift会通过封装的rpc调用server端同名的函数。
在server端,需要实现在.thrift文件中声明的服务中的所有功能,以便处理client发过来的请求。


Thrift语法

Thrift文件支持shell命令,因此thrift是可执行的。

Thrfit支持shell注释风格(#),也支持C/C++语言中单行(//)或者多行(/* */)注释风格

数据类型

1、基本类型

  • bool,布尔型,1个字节;
  • byte,有符号单字节;
  • i16,有符号16位整型;
  • i32,有符号32位整型;
  • i64,有符号64位整型;
  • double,64位浮点数;
  • string,字符串;
  • binary,字节数组;

注意:thrift不支持无符号整型。

2、容器

  • map<t1,t2>,字典;
  • list<t1>,列表;
  • set<t1>,集合;

注意:容器中的元素类型可以是除了service 以外的任何合法thrift类型(包括结构体和异常)。

3、结构体 struct

Thrift结构体在概念上同C语言结构体类型—-一种将相关属性聚集(封装)在一起的方式;

在面向对象语言中,thrift结构体被转换成类。

  1. struct Work {
  2. : i32 num1 = ,
  3. : i32 num2,
  4. : Operation op,
  5. : optional string comment,
  6. }

结构体中,每个字段包含一个整数ID,数据类型、字段名,和一个可选的默认值。

字段还可以声明为"optional",当该字段没有设置的时候,不会被序列化输出;

规范的struct定义中的每个域均会使用required或者optional关键字进行标识。如果required标识的域没有赋值,thrift将给予提示。如果optional标识的域没有赋值,该域将不会被序列化传输。如果某个optional标识域有缺省值而用户没有重新赋值,则该域的值一直为缺省值。

4、异常 exception

异常在语法和功能上类似于结构体,只不过异常使用关键字exception而不是struct关键字声明。但它在语义上不同于结构体,当定义一个RPC服务时,开发者可能需要声明一个远程方法抛出一个异常。

  1. exception InvalidOperation {
  2. : i32 what,
  3. : string why
  4. }

5、服务 service 

在流行的序列化/反序列化框架(如protocol buffer)中,Thrift是少有的提供多语言间RPC服务的框架。

Thrift编译器会根据选择的目标语言为server产生服务接口代码,为client产生桩代码。

  1. //“Twitter”与“{”之间需要有空格!!!
  2. service Twitter {
  3.  
  4. // 方法定义方式类似于C语言中的方式,它有一个返回值,一系列参数和可选的异常
  5.  
  6. // 列表. 注意,参数列表和异常列表定义方式与结构体中域定义方式一致.
  7.  
  8. void ping(), // 函数定义可以使用逗号或者分号标识结束
  9.  
  10. bool postTweet(:Tweet tweet); // 参数可以是基本类型或者结构体,参数是只读的(const),不可以作为返回值!!!
  11.  
  12. TweetSearchResult searchTweets(:string query); // 返回值可以是基本类型或者结构体
  13.  
  14. // ”oneway”标识符表示client发出请求后不必等待回复(非阻塞)直接进行下面的操作,
  15.  
  16. // ”oneway”方法的返回值必须是void
  17.  
  18. oneway void zip() // 返回值可以是void
  19.  
  20. }

service中的函数,其参数列表的定义方式与struct完全一样;

service支持继承,一个service可使用extends关键字继承另一个service,struct不支持继承;

6、枚举类型 enum

  1. enum TweetType {
  2.  
  3. TWEET, // 编译器默认从1开始赋值
  4. RETWEET = , // 可以赋予某个常量某个整数
  5. DM = 0xa, //允许常量是十六进制整数
  6. REPLY // 末尾没有逗号
  7. }

  8. struct Tweet {
  9. : required i32 userId;
  10. : required string userName;
  11. : required string text;
  12. : optional Location loc;
  13. : optional TweetType tweetType = TweetType.TWEET // 给常量赋缺省值时,使用常量的全称
  14. : optional string language = "english"
  15. }

注意:枚举常量必须是32位的正整数

7、常量 const

Thrift允许用户定义常量,复杂的类型和结构体可使用JSON形式表示。

  1. const i32 INT_CONST = ; // 分号是可选的
  2. const map<string,string> MAP_CONST = {"hello": "world", "goodnight": "moon"}

PS:跟C语言类似,Thrift也支持typedef语句,例如:

  1. typedef i32 MyInteger

命名空间

Thrift中的命名空间同C++中的namespace类似,它们均提供了一种组织(隔离)代码的方式。因为每种语言均有自己的命名空间定义方式(如python中有module),thrift允许开发者针对特定语言定义namespace:

  1. namespace cpp com.example.project
  2. namespace java com.example.project

产生代码

下面介绍Thrift产生各种目标语言代码的方式,

Thrift的网络栈如下所示:

Transport层提供了一个简单的网络读写抽象层。这使得thrift底层的transport从系统其它部分(如:序列化/反序列化)解耦。

以下是一些Transport接口提供的方法:

  1. open
  2. close
  3. read
  4. write
  5. listen
  6. accept
  7. flush

Protocol抽象层定义了一种将内存中数据结构映射成可传输格式的机制。换句话说,Protocol定义了datatype怎样使用底层的Transport对自己进行编解码。因此,Protocol的实现要给出编码机制并负责对数据进行序列化。

Protocol接口的定义如下:

  1. writeMessageBegin(name, type, seq)
  2. writeMessageEnd()
  3. writeStructBegin(name)
  4. writeStructEnd()
  5. writeFieldBegin(name, type, id)
  6. writeFieldEnd()
  7. writeFieldStop()
  8. writeMapBegin(ktype, vtype, size)
  9. writeMapEnd()
  10. writeListBegin(etype, size)
  11. writeListEnd()
  12. writeSetBegin(etype, size)
  13. writeSetEnd()
  14. writeBool(bool)
  15. writeByte(byte)
  16. writeI16(i16)
  17. writeI32(i32)
  18. writeI64(i64)
  19. writeDouble(double)
  20. writeString(string)
  21. name, type, seq = readMessageBegin()
  22. readMessageEnd()
  23. name = readStructBegin()
  24. readStructEnd()
  25. name, type, id = readFieldBegin()
  26. readFieldEnd()
  27. k, v, size = readMapBegin()
  28. readMapEnd()
  29. etype, size = readListBegin()
  30. readListEnd()
  31. etype, size = readSetBegin()
  32. readSetEnd()
  33. bool = readBool()
  34. byte = readByte()
  35. i16 = readI16()
  36. i32 = readI32()
  37. i64 = readI64()
  38. double = readDouble()
  39. string = readString()

Processor封装了从输入数据流中读数据和向数据数据流中写数据的操作。读写数据流用Protocol对象表示。Processor的结构体非常简单:

  1. interface TProcessor {
  2.  
  3. bool process(TProtocol in, TProtocol out) throws TException
  4.  
  5. }

与服务相关的processor实现由编译器产生。Processor主要工作流程如下:从连接中读取数据(使用输入protocol),将处理授权给handler(由用户实现),最后将结果写到连接上(使用输出protocol)。

Server将以上所有特性集成在一起:
(1) 创建一个transport对象
(2) 为transport对象创建输入输出protocol
(3) 基于输入输出protocol创建processor
(4) 等待连接请求并将之交给processor处理

参考文档:

http://dongxicheng.org/search-engine/thrift-framework-intro/

http://dongxicheng.org/search-engine/thrift-guide/

http://dongxicheng.org/search-engine/thrift-internals/

http://dongxicheng.org/search-engine/thrift-bidirectional-async-rpc/

Thrift 的原理和使用的更多相关文章

  1. 【原创】大数据基础之Spark(3)Spark Thrift实现原理及代码实现

    spark 2.1.1 一 启动命令 启动spark thrift命令 $SPARK_HOME/sbin/start-thriftserver.sh 然后会执行 org.apache.spark.de ...

  2. mac安装thrift

    一.安装brew包管理工具 不想Ubuntu自带apt,redhat自带yum,mac是不自带包管理工具的.需要自己安装,最常用的是brew,Homebrew简称brew,OSX上的软件包管理工具,在 ...

  3. 由浅入深了解Thrift(1,2,3)

    由浅入深了解Thrift(一)——Thrift介绍与用法 由浅入深了解Thrift(二)——Thrift工作原理 由浅入深了解Thrift(三)——Thrift server端的几种工作模式分析

  4. Netty学习——Thrift的入门使用

    Netty学习——Thrift的入门使用 希望你能够,了解并使用它.因为它是一个效率很高的框架 官网地址:http://thrift.apache.org/ 1.Thrift数据类型 一门技术如果需要 ...

  5. Cassandra C++/NodeJs开发环境

    工作的需要,开始更多地倾向于去中心化的结构,目前看来Cassandra算是去中心化DB中性能/管理最热门的选择,崇尚其P2P的理念. 自身原因对JAVA不擅长(周围写C的好少),还是更热衷于C++/J ...

  6. [转载] Thrift原理简析(JAVA)

    转载自http://shift-alt-ctrl.iteye.com/blog/1987416 Apache Thrift是一个跨语言的服务框架,本质上为RPC,同时具有序列化.发序列化机制:当我们开 ...

  7. Thrift之代码生成器Compiler原理及源码详细解析1

    我的新浪微博:http://weibo.com/freshairbrucewoo. 欢迎大家相互交流,共同提高技术. 又很久没有写博客了,最近忙着研究GlusterFS,本来周末打算写几篇博客的,但是 ...

  8. Thrift 原理与使用实例

    一.Thrift 框架介绍 1.前言 Thrift是一个跨语言的服务部署框架,最初由Facebook于2007年开发,2008年进入Apache开源项目.Thrift通过一个中间语言(IDL, 接口定 ...

  9. 基于Apache Thrift的公路涵洞数据交互实现原理

    基于Apache Thrift的公路涵洞数据交互实现原理 Apache Thrift简介 Apache Thrift(以下简称为“Thrift”) 是 Facebook 实现的一种高效的.支持多种编程 ...

随机推荐

  1. editplus-查找替换的正则表达式应用

    editplus查找替换的正则表达式应用 表达式 说明 \t 制表符. \n 新行. . 匹配任意字符. | 匹配表达式左边和右边的字符. 例如, "ab|bc" 匹配 " ...

  2. 数据库开发基础-SQl Server 存储过程

    存储过程: 存储过程(stored procedure)有时也称为sproc.存储过程存储于数据库中而不是在单独的文件中,有输入参数.输出参数以及返回值等. 在数据库中,创建存储过程和创建其他对象的过 ...

  3. C# asp.net mvc 配置多个route 参数

    mvc 中路由可以自定义 public class RouteConfig { public static void RegisterRoutes(RouteCollection routes) { ...

  4. Java实现本地 fileCopy

    前言: Java中流是重要的内容,基础的文件读写与拷贝知识点是很多面试的考点.故通过本文进行简单测试总结. 2.图展示[文本IO/二进制IO](这是参考自网上的一张总结图,相当经典,方便对比记忆) 3 ...

  5. Event&Condition pyton

    Event 一个线程需要根据另外一个线程的状态来确定自己的下一步操作,需要调用threading库中Event对象:Event包含一个可由线程设置的信号标志,在初始情况下,event对象的标志位为假( ...

  6. 一次愚蠢的NOIP模拟赛

    找礼物[find.pas/find.c/find.cpp] [问题描述] 新年到了,突然间,就在那美丽的一霎那,你好友和你(K个人)的周围满是礼物,你发扬你帅气的风格,让你的好友先拿,但是每个人只能拿 ...

  7. 【BZOJ-3712】Fiolki LCA + 倍增 (idea题)

    3712: [PA2014]Fiolki Time Limit: 30 Sec  Memory Limit: 128 MBSubmit: 303  Solved: 67[Submit][Status] ...

  8. 数论专项测试——约数个数和(lucas的数论)

    #include <iostream> #include <cstdio> #include <cstring> #include <cmath> #i ...

  9. NOI2016模拟赛Zbox loves stack

    #include <iostream> #include <cstdio> #include <cstring> #include <cmath> #i ...

  10. Linq集合

    摘要:微软在.NET 3.5中推出了LINQ,现在各种LINQ Provider满天飞,TerryLee在老外站点上收集了一份LINQ Provider列表 微软在.NET 3.5中推出了LINQ,现 ...