接着上期讨论的gRPC unary服务我们跟着介绍gRPC streaming,包括: Server-Streaming, Client-Streaming及Bidirectional-Streaming.我们首先在.proto文件里用IDL描述Server-Streaming服务: /* * responding stream of increment results */ service SumOneToMany { rpc AddOneToMany(SumRequest) returns…

gRPC是google开源提供的一个RPC软件框架,它的特点是极大简化了传统RPC的开发流程和代码量,使用户可以免除许多陷阱并聚焦于实际应用逻辑中.作为一种google的最新RPC解决方案,gRPC具备了以下这些强项: 1.gRPC在HTTP/2协议上用protobuf取代了json实现了最佳效率 2.用IDL(Interface Definition Language),一种简单的描述语言来自动产生RPC的api源代码 3.支持blocking/non-blocking双向数据流交互,适合程序…

前一段时间我们探讨了SDP的一个基于集群的综合数据平台解决方案,由多种数据库组成,包括:JDBC, Cassandra 及MongoDB.其中Cassandra和MongoDB属于分布式数据库,可以在集群中任何部署节点调用.而JDBC数据库则是非分布式的,无法部署在多个节点.假设我们把每种数据库的数据处理功能以微服务microservice形式提供出来的话,任何从其它集群节点对JDBC数据库微服务的调用都需要进行数据的序列化(serialization).虽然Cassandra和MongoDB是…

  在前面几篇讨论里我们介绍了scala-gRPC的基本功能和使用方法,我们基本确定了选择gRPC作为一种有效的内部系统集成工具,主要因为下面gRPC支持的几种服务模式: .Unary-Call:独立的一对client-request/server-response,是我们常用的http交互模式 .Server-Streaming:client发出一个request后从server端接收一串多个response .Client-Streaming:client向server发送一串多个reque…

我们知道,在集群环境节点之间进行交换的数据必须经过序列化/反序列化处理过程,而在这方面protobuf是一个比较高效.易用的模式.用户首先在.proto文件中用IDL来定义系统中各种需要进行交换的数据类型.然后用protoc编译器自动产生相关的源代码,里面包括了完整的序列化处理函数.在一个集成的系统环境内,protobuf数据必须保持与所有系统的松散耦合,不能对这些用户系统有任何依赖.这样把protobuf数据类型和相关的序列化/反序列化函数打成一个独立的包,由用户系统各自引用就是一种最佳解决方…

在akka-alpakka工具包里也提供了对MongoDB的stream-connector,能针对MongoDB数据库进行streaming操作.这个MongoDB-connector里包含了MongoSource,MongoFlow,MongoSink.我们只使用MongoSource,其它两个我们直接用mapAsyc来创造.下面是MongoSource的定义: object MongoSource { def apply(query: Observable[Document]): Sour…

任何类型的实例作为消息在两端独立系统的机器之间进行传递时必须经过序列化/反序列化serialize/deserialize处理过程.假设以下场景:在一个网络里有两台连接的服务器,它们分别部署了独立的akka系统.如果我们需要在这两台服务器的akka系统之间进行消息交换的话,所有消息都必须经过序列化/反序列化处理.akka系统对于用户自定义消息类型的默认序列化处理是以java-object serialization 方式进行的.我们上次提过:由于java-object-serialization…

1. gRPC 客户端创建流程 1.1 背景 gRPC 是在 HTTP/2 之上实现的 RPC 框架,HTTP/2 是第 7 层(应用层)协议,它运行在 TCP(第 4 层 - 传输层)协议之上,相比于传统的 REST/JSON 机制有诸多的优点: 基于 HTTP/2 之上的二进制协议(Protobuf 序列化机制): 一个连接上可以多路复用,并发处理多个请求和响应: 多种语言的类库实现: 服务定义文件和自动代码生成(.proto 文件和 Protobuf 编译工具). 此外,gRPC 还提供了…

背景: 需要在spark2.2.0更新broadcast中的内容,网上也搜索了不少文章,都在讲解spark streaming中如何更新,但没有spark structured streaming更新broadcast的用法,于是就这几天进行了反复测试.经过了一下两个测试::Spark Streaming更新broadcast.Spark Structured Streaming更新broadcast. 1)Spark Streaming更新broadcast(可行) def sparkStre…

在 gRPC(1):入门及简单使用(go) 中,我们实现了一个简单的 gRPC 应用程序,其中双方通信是简单的请求-响应模式,没发出一个请求都会得到一个响应,然而,借助 gRPC 可以实现不同的通信模式,这里介绍四种 gRPC 应用程序的基础通信模式:一元RPC.服务端流RPC.客户端流RPC.双向流RPC 1.一元RPC 一元 RPC 也被称为简单 RPC, 其实就是 gRPC(1):入门及简单使用(go) 中实现的请求-响应模式,每调用一次得到一个结果,这里再以一个简单的订单管理程序做说明,…