一文带你搞懂 RPC 到底是个啥
RPC(Remote Procedure Call),是一个大家既熟悉又陌生的词,只要涉及到通信,必然需要某种网络协议。我们很可能用过HTTP,那么RPC又和HTTP有什么区别呢?RPC还有什么特点,常见的选型有哪些?
1. RPC是什么
RPC可以分为两部分:用户调用接口 + 具体网络协议。前者为开发者需要关心的,后者由框架来实现。
举个例子,我们定义一个函数,我们希望函数如果输入为“Hello World”的话,输出给一个“OK”,那么这个函数是个本地调用。如果一个远程服务收到“Hello World”可以给我们返回一个“OK”,那么这是一个远程调用。我们会和服务约定好远程调用的函数名。因此,我们的用户接口就是:输入、输出、远程函数名,比如用 SRPC 开发的话,client端的代码会长这样:
int main()
{
Example::SRPCClient client(IP, PORT);
EchoRequest req; // 用户自定义的请求结构
EchoResponse resp; // 用户自定义的回复结构
req.set_message("Hello World");
client.Echo(&req, &resp, NULL); // 调用远程函数名为Echo
return 0;
}
具体网络协议,是框架来实现的,把开发者要发出和接收的内容以某种应用层协议打包进行网络收发。这里可以和HTTP进行一个明显的对比:
- HTTP也是一种网络协议,但包的内容是固定的,必须是:请求行 + 请求头 + 请求体;
- RPC是一种自定义网络协议,由具体框架来定,比如SRPC里支持的RPC协议有:SRPC/thrift/BRPC/tRPC
这些RPC协议都和HTTP平行,是应用层协议。我们再进一步思考,HTTP只包含具体网络协议,也可以返回比如我们常见的HTTP/1.1 200 OK,但仿佛没有用户调用接口,这是为什么呢?
这里需要搞清楚,用户接口的功能是什么?最重要的功能有两个:
- 定位要调用的服务;
- 让我们的消息向前/向后兼容;
我们用一个表格来看一下HTTP和RPC分别是怎么解决的:
定位要调用的服务 | 消息前后兼容 | |
---|---|---|
HTTP | URL | 开发者自行在消息体里解决 |
RPC | 指定Service和Method名 | 交给具体IDL |
因此,HTTP的调用减少了用户调用接口的函数,但是牺牲了一部分消息向前/向后兼容的自由度。但是,开发者可以根据自己的习惯进行技术选型,因为RPC和HTTP之间大部分都是协议互通的!是不是很神奇?接下来我们看一下RPC的层次架构,就可以明白为什么不同RPC框架之间、以及RPC和HTTP协议是如何做到互通的。
2. RPC有什么
我们可以从SRPC的架构层次上来看,RPC框架有哪些层,以及SRPC目前所横向支持的功能是什么:
- 用户代码(client的发送函数/server的函数实现)
- IDL序列化(protobuf/thrift serialization)
- 数据组织 (protobuf/thrift/json)
- 压缩(none/gzip/zlib/snappy/lz4)
- 协议 (Sogou-std/Baidu-std/Thrift-framed/TRPC)
- 通信 (TCP/HTTP)
我们先关注以下三个层级:
如图从左到右,是用户接触得最多到最少的层次。IDL层会根据开发者定义的请求/回复结构进行代码生成,目前小伙伴们用得比较多的是protobuf和thrift,而刚才说到的用户接口和前后兼容问题,都是IDL层来解决的。SRPC对于这两个IDL的用户接口实现方式是:
- thrift:IDL纯手工解析,用户使用srpc是不需要链thrift的库的 !!!
- protobuf:service的定义部分纯手工解析
中间那列是具体的网络协议,而各RPC能互通,就是因为大家实现了对方的“语言”,因此可以协议互通。
而RPC作为和HTTP并列的层次,第二列和第三列理论上是可以两两结合的,只需要第二列的具体RPC协议在发送时,把HTTP相关的内容进行特化,不要按照自己的协议去发,而按照HTTP需要的形式去发,就可以实现RPC与HTTP互通。
3. RPC的生命周期
到此我们可以通过SRPC看一下,把request通过method发送出去并处理response再回来的整件事情是怎么做的:
根据上图,
可以更清楚地看到刚才提及的各个层级,其中压缩层、序列化层、协议层其实是互相解耦打通的,在SRPC代码上实现得非常统一,横向增加任何一种压缩算法或IDL或协议都不需要也不应该改动现有的代码,才是一个精美的架构~
我们一直在说生成代码,到底有什么用呢?图中可以得知,生成代码是衔接用户调用接口和框架代码的桥梁,这里以一个最简单的protobuf自定义协议为例:example.proto
syntax = "proto3";
message EchoRequest
{
optional string message = 1;
};
message EchoResponse
{
optional string message = 1;
};
service ExamplePB
{
rpc Echo(EchoRequest) returns (EchoResponse);
};
我们定义好了请求、回复、远程服务的函数名,通过以下命令就可以生成出接口代码example.srpc.h
:
protoc example.proto --cpp_out=./ --proto_path=./
srpc_generator protobuf ./example.proto ./
我们一窥究竟,看看生成代码到底可以实现什么功能:
// SERVER代码
class Service : public srpc::RPCService
{
public:
// 用户需要自行派生实现这个函数,与刚才pb生成的是对应的
virtual void Echo(EchoRequest *request, EchoResponse *response,
srpc::RPCContext *ctx) = 0;
};
// CLIENT代码
using EchoDone = std::function<void (echoresponse *, srpc::rpccontext *)>;
class SRPCClient : public srpc::SRPCClient
{
public:
// 异步接口
void Echo(const EchoRequest *req, EchoDone done);
// 同步接口
void Echo(const EchoRequest *req, EchoResponse *resp, srpc::RPCSyncContext *sync_ctx);
// 半同步接口
WFFuture<std::pair<echoresponse, srpc::rpcsynccontext>> async_Echo(const EchoRequest *req);
};
作为一个高性能RPC框架,SRPC生成的client代码中包括了:同步、半同步、异步接口,文章开头展示的是一个同步接口的做法。
而server的接口就更简单了,作为一个服务端,我们要做的就是收到请求
->处理逻辑
->返回回复
,而这个时候,框架已经把刚才提到的网络收发、解压缩、反序列化等都给做好了,然后通过生成代码调用到用户实现的派生service类的函数逻辑中。
由于一种协议定义了一种client/server,因此其实我们同样可以得到的server类型有第二部分提到过的若干种:
- SRPCServer
- SRPCHttpServer
- BRPCServer
- TRPCServer
- ThriftServer
- ...
4. 一个完整的server例子
最后我们用一个完整的server例子,来看一下用户调用接口的使用方式,以及如何跨协议使用HTTP作为client进行调用:
#include <stdio.h>
#include <signal.h>
#include "example.srpc.h" // include生成代码头文件
using namespace srpc;
class ExamplePBServiceImpl : public ::example::ExamplePB::Service
{
public:
void Echo(::example::EchoRequest *request, ::example::EchoResponse *response,
srpc::RPCContext *ctx) override
{
response->set_message("OK");
}
};
int main()
{
// 1. 定义一个server,由于我们要和HTTP通信,因此我们定义SRPCHTTPServer
SRPCHTTPServer server;
// 2. 定义一个service,并加到server中
ExamplePBServiceImpl examplepb_impl;
server.add_service(&examplepb_impl);
// 3. 把server启动起来
server.start(80);
pause();
server.stop();
return 0;
}
只要安装了srpc,linux下即可通过以下命令编译出可执行文件:
g++ -o server server.cc example.pb.cc -std=c++11 -lsrpc
接下来是激动人心的时刻了,我们用人手一个的curl
来发起一个HTTP请求:
$ curl -i 127.0.0.1:80/Example/Echo -H 'Content-Type: application/json' -d '{message:"Hello World"}'
HTTP/1.1 200 OK
SRPC-Status: 1
SRPC-Error: 0
Content-Type: application/json
Content-Encoding: identity
Content-Length: 16
Connection: Keep-Alive
{"message":"OK"}
5. 总结
今天我们基于 C++ 实现的开源项目 SRPC 深入分析了 RPC 的基本原理。SRPC 整体代码风格简洁、架构层次精巧,整体约1万行代码,如果你使用 C++,那可能非常适合你用来学习 RPC 架构。
通过这篇文章,相信我们可以清晰地了解到 RPC 是什么,接口长什么样,也可以通过与HTTP协议互通来理解协议层次,更重要的是可以知道具体纵向的每个层次,及横向对比我们常见的每种使用模式都有哪些。如果小伙伴对更多功能感兴趣,也可以通过阅读 SRPC 源码进行进一步了解。
6. 项目地址
欢迎使用并 star 支持一下作者的开源精神!
go-zero 系列文章见『微服务实践』公众号
一文带你搞懂 RPC 到底是个啥的更多相关文章
- 【springcloud】一文带你搞懂API网关
作者:aCoder2013 https://github.com/aCoder2013/blog/issues/35 前言 假设你正在开发一个电商网站,那么这里会涉及到很多后端的微服务,比如会员.商品 ...
- 一文带你搞懂 Kafka 的系统架构(深度好文,值得收藏)
Kafka 简介 Kafka 是一种高吞吐.分布式.基于发布和订阅模型的消息系统,最初是由 LinkedIn 公司采用 Scala 和 java 开发的开源流处理软件平台,目前是 Apache 的开源 ...
- 从定义到AST及其遍历方式,一文带你搞懂Antlr4
摘要:本文将首先介绍Antlr4 grammer的定义方式,如何通过Antlr4 grammer生成对应的AST,以及Antlr4 的两种AST遍历方式:Visitor方式和Listener方式. 1 ...
- 一文带你搞懂 SSR
欲语还休,欲语还休,却道天凉好个秋 ---- <丑奴儿·书博山道中壁>辛弃疾 什么是 SSR ShadowsocksR?阴阳师?FGO? Server-side rendering (SS ...
- 一文带你搞懂 JWT 常见概念 & 优缺点
在 JWT 基本概念详解这篇文章中,我介绍了: 什么是 JWT? JWT 由哪些部分组成? 如何基于 JWT 进行身份验证? JWT 如何防止 Token 被篡改? 如何加强 JWT 的安全性? 这篇 ...
- 一文带你读懂什么是vxlan网络
一个执着于技术的公众号 一.背景 随着云计算.虚拟化相关技术的发展,传统网络无法满足大规模.灵活性要求高的云数据中心的要求,于是便有了overlay网络的概念.overlay网络中被广泛应用的就是vx ...
- 一文带你读懂zookeeper在大数据生态的应用
一个执着于技术的公众号 一.简述 在一群动物掌管的世界中,动物没有人类聪明的思想,为了保持动物世界的生态平衡,这时,动物管理员-zookeeper诞生了. 打开Apache zookeeper的官网, ...
- 【项目实践】一文带你搞定Spring Security + JWT
以项目驱动学习,以实践检验真知 前言 关于认证和授权,R之前已经写了两篇文章: [项目实践]在用安全框架前,我想先让你手撸一个登陆认证 [项目实践]一文带你搞定页面权限.按钮权限以及数据权限 在这两篇 ...
- 实战 | 一文带你读懂Nginx反向代理
一个执着于技术的公众号 前言 在前面的章节中,我们已经学习了nginx基础知识: 给小白的 Nginx 10分钟入门指南 Nginx编译安装及常用命令 完全卸载nginx的详细步骤 Nginx 配置文 ...
随机推荐
- 源码编译安装MySQL8.0.20
1 概述 本文章主要讲述了如何从源码编译安装MySQL社区版8.0.20,首先会介绍一些编译安装的相关知识,然后开始编译安装 2 源码编译安装的相关知识 2.1 make与configure make ...
- shell脚本 4 函数与正则
shell函数 shell中允许将一组命令集合或语句形成一段可用代码,这些代码块称为shell函数.给这段代码起个名字称为函数名,后续可以直接调用该段代码. 格式 func() { #指定函数名 ...
- SpringBoot中的自动代码生成 - 基于Mybatis-Plus
作者:汤圆 个人博客:javalover.cc 前言 大家好啊,我是汤圆,今天给大家带来的是<SpringBoot中的自动代码生成 - 基于Mybatis-Plus>,希望对大家有帮助,谢 ...
- pc/shouji/weixin判断跳转
pc 和 手机端 判断 function IsPC() { var userAgentInfo = navigator.userAgent; var Agents = ["Android&q ...
- 浅谈Asp.net Mvc之Action如何传多个参数的方法
最近,工作上有一个需要:用户查询日志文件信息,查看某一个具体日志信息,可能同时查看该日志所在日期的其他日志信息列表. 为完成此功能,我打算在URL中传入了两个参数,一个记录此日志时间,另外一个记录日志 ...
- dedecms arclist分页
https://blog.csdn.net/qq_41104911/article/details/81510589
- hdu4539 郑厂长系列故事——排兵布阵 + POJ1158 炮兵阵地
题意: 郑厂长系列故事--排兵布阵 Time Limit: 10000/5000 MS (Java/Others) Memory Limit: 65535/32 ...
- Python练习2-基本聊天程序-虚拟茶会话
基本聊天程序 先来个基本的测试例子: Main.py from asyncore import dispatcher import socket,asyncore PORT = 11223 class ...
- XCTF-ics-05
ics-05 题目描述 其他破坏者会利用工控云管理系统设备维护中心的后门入侵系统 解题步骤 用dirsearch和御剑扫了一下,只有index.php,尝试了一边,也只有index.php,也就是设备 ...
- SQL注入注释符(#、-- 、/**/)使用条件及其他注释方式的探索
以MySQL为例,首先我们知道mysql注释符有#.-- (后面有空格)./**/三种,在SQL注入中经常用到,但是不一定都适用.笔者在sqlilabs通关过程中就遇到不同场景用的注释符不同,这让我很 ...