Python Thrift 简单示例
本文基于Thrift-0.10,使用Python实现服务器端,使用Java实现客户端,演示了Thrift RPC调用示例。Java客户端提供两个字符串参数,Python服务器端计算这两个字符串的相似度,并返回相似度结果(double类型,范围[0, 1],0表示不相似,1表示完全相同)
一,环境安装
开发环境:Windows10,PyCharm2016,Anaconda3,Python3.6
首先安装python 的thrift包:windows打开Anaconda prompt,输入:conda install -c anaconda thrift 安装thrift包。
输入:conda list 可查看系统中已经安装了哪些包,及包的版本,如下图所示:我们安装的是:thrift-0.10.0
在写代码之前,需要先定义一个 .thrift文件,然后使用Thrift Compiler生成相应的Thrift服务需要依赖的“文件”
①定义.thrift文件
namespace py similarityservice
namespace java similarityservice service ChatSimilarityService{
double similarity(1:string chat1, 2:string chat2),
}
namespace提供了一种组织代码的方式。其实就是,生成的文件放在:similarityservice这个文件夹下。
由于前面的Python安装的thrift-0.10,因此在官网上下载:thrift-0.10.exe,将它放在与 .thrift相同的目录下,cmd切换到该目录下,执行命令:
.\thrift-0.10.0.exe --gen py chat_similarity.thrift
生成的文件如下,将它们放在合适的python包下,即可供python 服务端程序 import 了。
二,Python服务端实现
pycharm thrift插件支持
可以去pycharm插件官网下载一个thrift插件,安装好之后,编写 .thrift 文件能够自动补全提示。
服务端的实现 主要有以下五方面:(个人理解,可能有错)
①Handler
服务端业务处理逻辑。这里就是业务代码,比如 计算两个字符串 相似度
②Processor
从Thrift框架 转移到 业务处理逻辑。因此是RPC调用,客户端要把 参数发送给服务端,而这一切由Thrift封装起来了,由Processor将收到的“数据”转交给业务逻辑去处理
③Protocol
数据的序列化与反序列化。客户端提供的是“字符串”,而数据传输是一个个的字节,因此会用到序列化与反序列化。
④Transport
传输层的数据传输。
⑤TServer
服务端的类型。服务器以何种方式来处理客户端请求,比如,一次Client请求创建一个新线程呢?还是使用线程池?……可参考:阻塞通信之Socket编程
TSimpleServer —— 单线程服务器端使用标准的阻塞式 I/O
TThreadPoolServer —— 多线程服务器端使用标准的阻塞式 I/O
TNonblockingServer —— 多线程服务器端使用非阻塞式 I/O
把上面生成的thrift文件复制到 thrift_service包下,如下图:
整个python 服务端的完整代码如下:
from thrift.protocol import TBinaryProtocol
from thrift.server import TServer
from thrift.transport import TSocket, TTransport from text.thrift_service.similarityservice import ChatSimilarityService from difflib import SequenceMatcher
from pypinyin import pinyin
import zhon
import pypinyin
from zhon.hanzi import punctuation
import re __HOST = '127.0.0.1'
__PORT = 9090 def similar_num(list1, list2):
return len(set(list1).intersection(list2)) def similar_ration(str1, str2):
return SequenceMatcher(lambda x: x == ' ', str1, str2).ratio() class SimilarityHandler(ChatSimilarityService.Iface):
def __init__(self):
self.log={}
def ping(selfs):
print('ping') def similarity(self, chat1, chat2):
#去掉中文字符串中的特殊标点符号
list1 = re.findall('[^{}]'.format(zhon.hanzi.punctuation), chat1)
list2 = re.findall('[^{}]'.format(zhon.hanzi.punctuation), chat2) #将标点符号转换成拼音
pinyin1 = pinyin(list1, style=pypinyin.STYLE_NORMAL)
pinyin2 = pinyin(list2, style=pypinyin.STYLE_NORMAL) #将所有的拼音统一保存到 单个list 中
pinyin_list1 = [word[0] for word in pinyin1]
pinyin_list2 = [word[0] for word in pinyin2] #计算 list 中元素相同的个数
result1 = similar_num(pinyin_list1, pinyin_list2) #list convert to string
str1_pinyin = ''.join(pinyin_list1)
str2_pinyin = ''.join(pinyin_list2)
#计算字符串的相似度
result2 = similar_ration(str1_pinyin, str2_pinyin) print('ratio:{}, nums:{}'.format(result2, result1))
return result2 if __name__ == '__main__':
handler = SimilarityHandler()
processor = ChatSimilarityService.Processor(handler)
transport = TSocket.TServerSocket(host=__HOST, port=__PORT)
tfactory = TTransport.TBufferedTransportFactory()
pfactory = TBinaryProtocol.TBinaryProtocolFactory() server = TServer.TThreadPoolServer(processor, transport, tfactory, pfactory) print('Starting the server')
server.serve()
print('done')
这里简单地介绍下实现思路:
①使用python 的 zhon 包过滤掉中文中出现的标点符号等特殊字符
②python的 pypinyin 包 将中文转换成字符串(其实也可以直接比较中文字符串的相似度,但我这里转换成了拼音,就相当于比较英文字符串了)
③使用python 的 difflib 包中的SequenceMatcher 类来计算两个字符串之间的相似度
三,Java客户端实现
①在maven工程的pom.xml中添加thrift依赖。这里的libthrift版本、windows10下载的thrift compiler版本(thrift-0.10.0.exe),还有 python的 thrift包的版本 最好保持一致。
<!-- https://mvnrepository.com/artifact/org.apache.thrift/libthrift -->
<dependency>
<groupId>org.apache.thrift</groupId>
<artifactId>libthrift</artifactId>
<version>0.10.0</version>
</dependency>
②cmd命令行执行:.\thrift-0.10.0.exe --gen java chat_similarity.thrift 生成 ChatSimilarityService.java 文件,Java 客户端代码需要依赖它。
整个Java Client的代码如下:
import thrift.similarityservice.ChatSimilarityService;
import org.apache.thrift.TException;
import org.apache.thrift.protocol.TBinaryProtocol;
import org.apache.thrift.protocol.TProtocol;
import org.apache.thrift.transport.TSocket;
import org.apache.thrift.transport.TTransport; /**
* Created by Administrator on 2017/12/20.
*/
public class SimilarityThriftClient { public static void main(String[] args) {
try {
TTransport transport;
transport = new TSocket("127.0.0.1", 9090);
transport.open(); TProtocol protocol = new TBinaryProtocol(transport);
ChatSimilarityService.Client client = new ChatSimilarityService.Client(protocol);
perform(client);
transport.close(); } catch (TException e) {
e.printStackTrace();
}
}
private static void perform(ChatSimilarityService.Client client)throws TException {
String chat1 = "您好。";
String chat2 = "你好";
double ratio = client.similarity(chat1, chat2);
System.out.println(ratio);
}
}
四,总结
本文介绍了一个简单的 Python Server、Java Client的Thrift服务调用示例。关于Thrift可参考:
Python Thrift 简单示例的更多相关文章
- python psutil简单示例
python psutil简单示例 利用psutil编写简单的检测小脚本 0.安装psutil模块 ...
- Websocket - Websocket原理(握手、解密、加密)、基于Python实现简单示例
一.Websocket原理(握手.解密.加密) WebSocket协议是基于TCP的一种新的协议.WebSocket最初在HTML5规范中被引用为TCP连接,作为基于TCP的套接字API的占位符.它实 ...
- thrift简单示例 (go语言)
这个thrift的简单示例来自于官网 (http://thrift.apache.org/tutorial/go), 因为官方提供的例子简单易懂, 所以没有必要额外考虑新的例子. 关于安装的教程, 可 ...
- thrift简单示例 (基于C++)
这个thrift的简单示例, 来源于官网 (http://thrift.apache.org/tutorial/cpp), 因为我觉得官网的例子已经很简单了, 所以没有写新的示例, 关于安装的教程, ...
- python gRPC简单示例
Ubuntu18.04安装gRPC protobuf-compiler-grpc安装 sudo apt-get install protobuf-compiler-grpc protobuf-comp ...
- C#调用Python脚本的简单示例
C#调用Python脚本的简单示例 分类:Python (2311) (0) 举报 收藏 IronPython是一种在 .NET及 Mono上的 Python实现,由微软的 Jim Huguni ...
- Python自定义线程类简单示例
Python自定义线程类简单示例 这篇文章主要介绍了Python自定义线程类,结合简单实例形式分析Python线程的定义与调用相关操作技巧,需要的朋友可以参考下.具体如下: 一. 代码 # - ...
- python thrift使用实例
前言 Apache Thrift 是 Facebook 实现的一种高效的.支持多种编程语言的远程服务调用的框架.本文将从 Python开发人员角度简单介绍 Apache Thrift 的架构.开发和使 ...
- robot framework环境搭建和简单示例
环境搭建 因为我的本机已经安装了python.selenium.pip等,所以还需安装以下程序 1.安装wxPythonhttp://downloads.sourceforge.net/wxpytho ...
随机推荐
- photoshop学习2
关于PS学习的一些基础知识.PS用了很长时间了,从来就没有明白过到底在做什么.今天看了视频,发现原来自己根本不会PS,其实本来也未曾会过.以前自己使用PS做一些工作,也仅限于裁图片,调一下亮度对比度, ...
- Chinese Mahjong UVA - 11210 (DFS)
先记录下每一种麻将出现的次数,然后枚举每一种可能得到的麻将,对于这个新的麻将牌,去判断可不可能胡,如果可以胡,就可以把这张牌输出出来. 因为eye只能有一张,所以这个是最好枚举的,就枚举每张牌成为ey ...
- CANOE入门(一)
CANoe是Vector公司的针对汽车电子行业的总线分析工具,现在我用CANoe7.6版本进行介绍,其他版本功能基本差不多. 硬件我使用的是CAN case XL. 1,CANoe软件的安装很简单,先 ...
- 如何在jsp中引入bootstrap
如何在jsp中引入bootstrap包: 1.首先在http://getbootstrap.com/上下载Bootstrap的最新版. 您会看到两个按钮: Download Bootstrap:下载 ...
- LOJ#2541 猎人杀
解:step1:猎人死了之后不下台,而是继续开枪,这样分母不变...... 然后容斥,枚举猎人集合s,钦定他们在1之后死.定义打到1的时候结束,枚举游戏在i轮时结束. 发现式子是一个1 + x + x ...
- 第三节,使用OpenCV 3处理图像(模糊滤波、边缘检测)
一 不同色彩空间的转换 OpenCV中有数百种关于在不同色彩空间之间转换的方法.当前,在计算机中有三种常用的色彩空间:灰度,BGR以及HSV(Hue,Saturation,Value). 灰度色彩空间 ...
- Day30--Python--struct, socketserver
1. struct struct.pack 打包 def pack(fmt, *args): # known case of _struct.pack """ pack( ...
- sqlserver2008查看表记录或者修改存储过程出现目录名无效错误解决方法
登陆数据库后,右键打开表提示:目录名无效,执行SQL语句也提示有错误,现在把解决方法分享给大家 1.新建查询 2.点工具栏中[显示估计的查询计划],结果提示Documents and Settings ...
- python赋值和生成器
在python赋值过程中,对单个变量的赋值,在所有语言中都是通用的,如果是对两个变量同时进行赋值,这个时候,就会出现一点点小的差异.例如在下面的一两行代码中. a , b = b , a+b 这是同时 ...
- 最小生成树Prim算法和Kruskal算法
Prim算法(使用visited数组实现) Prim算法求最小生成树的时候和边数无关,和顶点树有关,所以适合求解稠密网的最小生成树. Prim算法的步骤包括: 1. 将一个图分为两部分,一部分归为点集 ...