前言 上篇介绍了gRPC中TLS认证和自定义方法认证,最后还简单介绍了gRPC拦截器的使用.gRPC自身只能设置一个拦截器,所有逻辑都写一起会比较乱.本篇简单介绍go-grpc-middleware的使用,包括grpc_zap.grpc_auth和grpc_recovery. go-grpc-middleware简介 go-grpc-middleware封装了认证(auth), 日志( logging), 消息(message), 验证(validation), 重试(retries) 和监控(…

前言 前面篇章的gRPC都是明文传输的,容易被篡改数据.本章将介绍如何为gRPC添加安全机制,包括TLS证书认证和Token认证. TLS证书认证 什么是TLS TLS(Transport Layer Security,安全传输层),TLS是建立在传输层TCP协议之上的协议,服务于应用层,它的前身是SSL(Secure Socket Layer,安全套接字层),它实现了将应用层的报文进行加密后再交由TCP进行传输的功能. TLS的作用 TLS协议主要解决如下三个网络安全问题. 保密(messag…

转自:https://studygolang.com/articles/12510 文档 grpc中文文档 grpc-gateway,restful和grpc转换库 protobuf 官网 protobuf Google Protocol Buffer(简称 Protobuf)是一种轻便高效的结构化数据存储格式,平台无关.语言无关.可扩展,可用于通讯协议和数据存储等领域. 优点 平台无关,语言无关,可扩展: 提供了友好的动态库,使用简单: 解析速度快,比对应的XML快约20-100倍: 序列化数…

鉴于内容过多,先上太长不看版: grpc 就是请求流&响应流特殊一点的 Http 请求,性能和 WebAPI 比起来只快在 Protobuf 上: 附上完整试验代码:GrpcWithOutSDK.zip 另附小Demo,基于 Controller 和 HttpClient 的在线聊天室:ChatRoomOnController.zip 本文内容有点长,涉及较多基础知识点,某些结论可能直接得出,没有上下文,限于篇幅,不会在本文内详细描述,如有疑惑请友好交流或尝试搜索互联网. 本文仅代表个人试验结果…

微服务架构 微服务是一种开发软件的架构和组织方法,其中软件由通过明确定义的API 进行通信的小型独立服务组成. 这些服务由各个小型独立团队负责. 微服务架构使应用程序更易于扩展和更快地开发,从而加速创新并缩短新功能的上市时间. 将软件应用程序构建为一组独立.自治(独立开发.部署和扩展).松耦合.面向业务能力(强调能力,而不是完成任务)的服务. 为什么微服务软件系统需要借助进程间(服务间,应用程序间)通信技术? 传统软件系统被进一步拆分为一组细粒度,自治和面向业务能力的实体,也就是微服务. 强.弱…

前言 gRPC默认的请求的超时时间是很长的,当你没有设置请求超时时间时,所有在运行的请求都占用大量资源且可能运行很长的时间,导致服务资源损耗过高,使得后来的请求响应过慢,甚至会引起整个进程崩溃. 为了避免这种情况,我们的服务应该设置超时时间.前面的入门教程提到,当客户端发起请求时候,需要传入上下文context.Context,用于结束超时或取消的请求. 本篇以简单RPC为例,介绍如何设置gRPC请求的超时时间. 客户端请求设置超时时间 修改调用服务端方法 1.把超时时间设置为当前时间+3秒 c…

前言 上篇介绍了go-grpc-middleware的grpc_zap.grpc_auth和grpc_recovery使用,本篇将介绍grpc_validator,它可以对gRPC数据的输入和输出进行验证. 创建proto文件,添加验证规则 这里使用第三方插件go-proto-validators自动生成验证规则. go get github.com/mwitkow/go-proto-validators 1.新建simple.proto文件 syntax = "proto3"; pa…

前言 我们通常把RPC用作内部通信,而使用Restful Api进行外部通信.为了避免写两套应用,我们使用grpc-gateway把gRPC转成HTTP.服务接收到HTTP请求后,grpc-gateway把它转成gRPC进行处理,然后以JSON形式返回数据.本篇代码以上篇为基础,最终转成的Restful Api支持bearer token验证.数据验证,并添加swagger文档. gRPC转成HTTP 编写和编译proto 1.编写simple.proto syntax = "proto3&qu…

代码主要来源于grpc的官方examples代码: route_guide https://github.com/grpc/grpc-go/tree/master/examples/route_guide 服务定义 RouteGuide service RouteGuide {   // A simple RPC.   //   // Obtains the feature at a given position.   //   // A feature with an empty name i…

在之前的文章我们通过 scrapy 框架 及 scrapy.Spider 类做了一个<糗事百科>的糗百爬虫,本章我们再来看一下相较于 scrapy.Spider 类更为强大的 CrawlSpider 类. CrawlSpider 是Spider的派生类,Spider 类的设计原则是只爬取start_url列表中的网页,而 CrawlSpider 类定义了一些规则 (rule) 来提供跟进link的方便的机制,从爬取的网页中获取link并继续爬取的工作更适合. 源码参考 class CrawlS…