firefly的rpc。。

firefly使用了twisted的pb 来实现rpc: http://twistedmatrix.com/documents/current/core/howto/pb-usage.html 服务端 #!/usr/bin/env python # Copyright (c) Twisted Matrix Laboratories. # See LICENSE for details. from twisted.spread import pb from twisted.internet imp…

从RPC开始（一）

这是一篇关于纯C++RPC框架的文章.所以,我们先看看,我们有什么? 1.一个什么都能干的C++.(前提是,你什么都干了) 2.原始的Socket接口,还是C API.还得自己去二次封装... 3.C++11,这是最令人兴奋的.有了它,才能够有这篇文章:否则,CORBA之类的才是唯一的选择.(因为需要代码生成) 那么,我们没有什么,或者需要什么? 1.一套完善的序列化框架:在不同的进程间传输数据,序列化是第一步,如何可靠且方便地将对象转化为二进制(或者其他格式),在对端则是如何正确且安全地将其从…

RPC 使用中的一些注意点

最近线上碰到一点小问题,分析其原因发现是出在对 RPC 使用上的一些细节掌握不够清晰导致.很多时候我们做业务开发会把 RPC 当作黑盒机制来使用,但若不对黑盒的工作原理有个基本掌握,也容易犯一些误用的微妙错误. 虽然曾经已经写过一篇<RPC 的概念模型与实现解析> 从概念模型和实现细节上讲述了 RPC 的原理,这一篇就从使用上的一些注意点来捋一捋吧. 同步 RPC 的调用通常为了方便使用,会被伪装成普通方法调用的形式.但实际二者之间存在巨大的差异,进程内的方法调用的时间量级是 ns(纳秒),而…

谈谈如何使用Netty开发实现高性能的RPC服务器

RPC(Remote Procedure Call Protocol)远程过程调用协议,它是一种通过网络,从远程计算机程序上请求服务,而不必了解底层网络技术的协议.说的再直白一点,就是客户端在不必知道调用细节的前提之下,调用远程计算机上运行的某个对象,使用起来就像调用本地的对象一样.目前典型的RPC实现框架有:Thrift(facebook开源).Dubbo(alibaba开源)等等.RPC框架针对网络协议.网络I/O模型的封装是透明的,对于调用的客户端而言,它就认为自己在调用本地的一个对象.至…

游戏编程系列[1]--游戏编程中RPC协议的使用[3]--体验

运行环境,客户端一般编译为.Net 3.5 Unity兼容,服务端因为用了一些库,所以一般为4.0 或往上.同一份代码,建立拥有2个项目.客户端引用: WindNet.Client服务端引用: OpLog.Core WindNet.Web 然后服务端添加编译标记为SV 看代码: //PostSharp AOP标记拥有此标记的方法将可以远程调用 [TypeProxy] public class LocalTest { //callback为必须,如果没有此方法,则不可进行远程调用 //远程调用模…

python通过protobuf实现rpc

由于项目组现在用的rpc是基于google protobuf rpc协议实现的,所以花了点时间了解下protobuf rpc.rpc对于做分布式系统的人来说肯定不陌生,对于rpc不了解的童鞋可以自行google,这里只是做个简单的介绍.rpc的主要功能是让分布式系统的实现更为简单,为提供强大的远程调用而不损失本地调用语义的简洁性.为了实现这个目标,rpc框架需要提供一种透明调用机制让使用者不必显示区分本地调用还是远程调用.rpc架构涉及的组件如下: 客户方像调用本地方法一样去调用远程接口方法,R…

spider RPC入门指南

本部分将介绍使用spider RPC开发分布式应用的客户端和服务端. spider RPC中间件基于J2SE 8开发,因此需要确保服务器上安装了JDK 8及以上版本,不依赖于任何额外需要独立安装和配置的依赖程序. 注:spider RPC 1.0.1版本之前基于JDK 1.7开发,最后改为了使用JDK 1.8主要是出于公司内部系统对接的考虑,使用了1.8新增的Parameter类,因为内部系统需要解析参数名. spider RPC中间件的核心设计初衷是像调用本地服务一样调用远程服务,能够灵活的…

Netty实现高性能RPC服务器优化篇之消息序列化

在本人写的前一篇文章中,谈及有关如何利用Netty开发实现,高性能RPC服务器的一些设计思路.设计原理,以及具体的实现方案(具体参见:谈谈如何使用Netty开发实现高性能的RPC服务器).在文章的最后提及到,其实基于该方案设计的RPC服务器的处理性能,还有优化的余地.于是利用周末的时间,在原来NettyRPC框架的基础上,加以优化重构,本次主要优化改造点如下: 1.NettyRPC中对RPC消息进行编码.解码采用的是Netty自带的ObjectEncoder.ObjectDecoder(对象编码…

基于Netty打造RPC服务器设计经验谈

自从在园子里,发表了两篇如何基于Netty构建RPC服务器的文章:谈谈如何使用Netty开发实现高性能的RPC服务器.Netty实现高性能RPC服务器优化篇之消息序列化之后,收到了很多同行.园友们热情的反馈和若干个优化建议,于是利用闲暇时间,打算对原来NettyRPC中不合理的模块进行重构,并且增强了一些特性,主要的优化点如下: 在原来编码解码器:JDK原生的对象序列化方式.kryo.hessian,新增了:protostuff. 优化了NettyRPC服务端的线程池模型,支持LinkedBl…

Redola.Rpc 的一个小目标

Redola.Rpc 的一个小目标 Redola.Rpc 的一个小目标:20000 tps. Concurrency level: 8 threads Complete requests: 20000 Time taken for tests: 0.886 seconds Time per request: 0.044 ms (avg) Requests per second: 22573 [#/sec] (avg) Concurrency level: 8 threads Complete r…

闲话RPC调用

原创文章转载请注明出处:@协思, http://zeeman.cnblogs.com 自SOA架构理念提出以来,应用程序间如何以最低耦合度通信的问题便呈现在所有架构师面前. 互联网系统的复杂度让我们不得不大量使用分布式应用,早期通过数据库来交互通信,慢慢地大家发现数据库的耦合是最难解的,并且数据库是最难做负载均衡的,水平拆分,垂直拆分,读写分离让开发的复杂度在不断增加.最终大家发现我们可以把持久化要求不高,结构化程度不强的数据通过分布式缓存.消息队列.NoSQL等一系列手段降低对数据库的依赖,而…

游戏编程系列[2]--游戏编程中RPC与OpLog协议的结合--序

在系列[1]中,我们展示了RPC调用协议的定义以及演示,通过方法定义以及协议约定,进行了协议约定以及调用过程的约定.然而,实际上在游戏中,调用过程之后,需要传输相对多的数据给服务端. 常用场景,客户端使用金币购买一把木剑. 一般情况下我们会这么约定: /// <summary> /// 购买的返回消息 /// </summary> public class ByItemReturn { /// <summary> /// 购买的物品ID /// </summary…

游戏编程系列[1]--游戏编程中RPC协议的使用[2]--Aop PostSharp篇

上一篇我们使用了一个通用JSON协议约定来进行达到远程调用的目的.但是从实现上,我们需要不断的在所有的方法上添加拦截,并且判断拦截,然后执行,这就达到了一个比较繁琐的目的. 之前我们尝试过使用代码生成器,直接生成. 构造基类,TestClassA然后使用代码生成器,构造第二个类,TestClassAProxy.所有需要的方法,我们都采用虚函数,然后重载,直接调用Base.Func();这样也就完成了任务,这个方法的好处,代码生成简单,但是需要替换使用类别.相对来说实现成本还比较低,对下面说的方法…

游戏编程系列[1]--游戏编程中RPC协议的使用

RPC(Remote Procedure Call Protocol)--远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议.RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据.在OSI网络通信模型中,RPC跨越了传输层和应用层.RPC使得开发包括网络分布式多程序在内的应用程序更加容易.RPC采用客户机/服务器模式.请求程序就是一个客户机,而服务提供程序就是一个服务器. 首先,客户机调用进程发送一个有进程参数的调用信息到服务进…

RPC远程过程调用学习之路（一）：用最原始代码还原PRC框架

RPC: Remote Procedure Call 远程过程调用,即业务的具体实现不是在自己系统中,需要从其他系统中进行调用实现,所以在系统间进行数据交互时经常使用. rpc的实现方式有很多,可以通过http和tcp协议进行实现通过http协议的主要有: webService 可以参考我之前的博客 WebService 学习之路(一):了解并使用webService webService学习之路(二):springMVC集成CXF快速发布webService webService学习…

RPC框架实现 - 通信协议篇

RPC(Remote Procedure Call,远程过程调用)框架是分布式服务的基石,实现RPC框架需要考虑方方面面.其对业务隐藏了底层通信过程(TCP/UDP.打包/解包.序列化/反序列化),使上层专注于功能实现:框架层面,提供各类可选架构(多进程/多线程/协程):应对设备故障(高负载/死机).网络故障(拥塞/网络分化),提供相应容灾措施. RPC节点间为了协同工作.实现信息交换,需要协商一定的规则和约定,例如字节序.压缩或加密算法.各字段类型.通信协议的应用随处可见,例如我们对可选信息或…

RPC是什么？科普一下

RPC概念及分类 RPC全称为Remote Procedure Call,翻译过来为“远程过程调用”.目前,主流的平台中都支持各种远程调用技术,以满足分布式系统架构中不同的系统之间的远程通信和相互调用.远程调用的应用场景极其广泛,实现的方式也各式各样. 从通信协议的层面,大致可以分为: 基于HTTP协议的(例如基于文本的SOAP(XML).Rest(JSON),基于二进制Hessian(Binary)) 基于TCP协议的(通常会借助Mina.Netty等高性能网络框架) 从不同的开发语言和平台层…

spider RPC开发指南

协议与兼容性 spider使用java语言开发,使用Spring作为IoC容器,采用TCP/IP协议,在此基础上,结合SaaS系统模式的特性进行针对性和重点设计,以更加灵活和高效的满足多租户系统.高可用.分布式部署的要求. 采用JSON作为序列化机制,后续版本可能会考虑支持protobuf(java/c++/c#均有类库支持). 为了最大化性能以及稳定性,spider基于Sun JDK1.8进行编译并应避免使用deprecated特性. 为了尽可能的适应各环境以及互联网应用,spider应能至少…

spider RPC框架的需求来源与特性介绍（一）

spider RPC 特性介绍 spider RPC 性能测试 spider RPC 入门指南 spider RPC 配置文件参考 spider RPC 开发指南 spider RPC 安全性 spider RPC需求来源 spider RPC的需求源于作者所在公司布局证券金融服务行业某细分领域2B saas服务平台的需要,以尽可能达到高可靠性.最小化单点影响.单点失败时最小化影响客户数的目标.随时按需动态增加或收缩服务器实例,以满足互联网金融业务量随时剧烈波动的现实场景. 修复某证券期货大金融…

RPC原来就是Socket——RPC框架到dubbo的服务动态注册，服务路由，负载均衡演化

序:RPC就是使用socket告诉服务端我要调你的哪一个类的哪一个方法然后获得处理的结果.服务注册和路由就是借助第三方存储介质存储服务信息让服务消费者调用.然我们自己动手从0开始写一个rpc功能以及实现服务注册,动态上下线,服务路由,负载均衡. RPC即远程过程调用,它的实现方式有很多,比如webservice等.框架调多了,烦了,没激情了,我们就该问自己,这些框架的作用到底是什么,来找回当初的激情. 一般来说,我们写的系统就是一个单机系统,一个web服务器一个数据库服务,但是当这单台服务器的处…

java接口调用——webservice就是一个RPC而已

很多新手一听到接口就蒙逼,不知道接口是什么!其实接口就是RPC,通过远程访问别的程序提供的方法,然后获得该方法执行的接口,而不需要在本地执行该方法.就是本地方法调用的升级版而已,我明天会上一篇如何通过socket实现rpc,以及服务的注册和动态上下线.这里先上一篇RPC的实现者一webservice,便于后面理解源码执行过程,框架就是在原理的基础上提供更加便捷的使用而已,协议就是基于TCP或UDP之上,服务者和调用者之间约定消息按照什么样的格式发送以及解析罢了.协议没什么高深莫测的. 原文和作者…

拥抱.NET Core，跨平台的轻量级RPC：Rabbit.Rpc

不久前发布了一篇博文".NET轻量级RPC框架:Rabbit.Rpc",当初只实现了非常简单的功能,也罗列了之后的计划,经过几天的不断努力又为Rabbit.Rpc增加了一大波新特性,今天主要介绍下项目近况. 特性一览 Apache License 2.0协议开源支持客户端负载均衡(提供了轮询.随机算法的实现) 支持ZooKeeper和文件共享形式的服务协调运行时客户端代理生成(基于Roslyn) 预生成客户端代理客户端代理预生成(基于Roslyn) 抽象的编解码器(提供了JSON…

【Git】error: RPC

摘要 git push throws error: RPC failed; result=56, HTTP code = 200的解决办法原因默认 Git 设置 http post 的缓存为 1MB,将其设置为 500MB 解决 git config http.postBuffer 524288000…

微博轻量级RPC框架Motan

Motan 是微博技术团队研发的基于 Java 的轻量级 RPC 框架,已在微博内部大规模应用多年,每天稳定支撑微博上亿次的内部调用.Motan 基于微博的高并发和高负载场景优化,成为一套简单.易用.高可用的 RPC 服务框架. Motan 功能特点:简单.易用.高可用无侵入集成.简单易用,通过 Spring 配置方式,无需额外代码即可集成分布式调用能力. 集成服务发现和服务治理能力,灵活支持多种配置管理组件,如 Consul.ZooKeeper 等. 支持自定义动态负载均衡.跨机房流量调整等…

RabbitMQ学习系列（五）: RPC 远程过程调用

前面讲过一些RabbitMQ的安装和用法,也说了说RabbitMQ在一般的业务场景下如何使用.不知道的可以看我前面的博客,http://www.cnblogs.com/zhangweizhong/category/855479.html 不过,最近有朋友问我,RabbitMQ RPC 是干嘛的,有什么用. 其实,RabbitMQ RPC 就是通过消息队列(Message Queue)来实现rpc的功能,就是,客户端向服务端发送定义好的Queue消息,其中携带的消息就应该是服务端将要调用的方法的参…

git error: unable to rewind rpc post data - try increasing http.postBuffer

error: unable to rewind rpc post data - try increasing http.postBuffererror: RPC failed; curl 56 Recv failure: Connection was abortedfatal: The remote end hung up unexpectedly 当使用git 一次提交的数据过大时,会出现以上错误,按照提示我们增大postBuffer git config --global http.post…

【firefly的rpc。。】的更多相关文章