摘要 在上一篇文章中,我们聊了聊gRPC是怎么管理一条从Client到Server的连接的. 我们聊到了gRPC拥有Resolver,用来解析地址:拥有Balancer,用来做负载均衡. 在这一篇文章中,我们将从代码的角度来分析gRPC是怎么设计Resolver和Balancer的,并会从头到尾的梳理一遍连接是怎么建立的. 1 DialContext DialContext是客户端建立连接的入口函数,我们看看在这个函数里面做了哪些事情: func DialContext(ctx context.…

gRPC中,Server.Client共享的Class不是很多,所以我们可以单独的分别讲解Server和Client的源码. 通过第一篇,我们知道对于gRPC来说,建立Server是非常简单的,还记得怎么写的?还是以example里 HelloWorldServer 例子来看 server = ServerBuilder.forPort(port) .addService(new GreeterImpl()) .build() .start(); 你没有看错,就是这么几行搞定. 如果需要看懂gR…

年初时,朋友圈见到的最多的就是新的一年新的FlAG,年末时朋友圈最多的也是xxxx就要过去了,你的FLAG实现了吗? 这个公众号2016就已经创建了,但截至今年之前从来没发表过文章,现在想想以前很忙,但更多的也是迷茫,想要写,不知道写点什么,或者写点东西出来了,自己看起来总觉得有点傻,2019年初,给自己立的FLAG是今年一定要把这个公众号运营起来,现在想起来,工作也多年了,有了一些积累,也有一点东西可写,另一个更多的是对自己的总结,分享自己的过程,所幸,今年坚持下来了,好多次想放弃,家人,朋友…

前言 其实Grpc拦截器是我以前研究过,但是我看网上相关C#版本的源码解析相对少一点,所以笔者借这篇文章给大家分享下Grpc拦截器的实现,废话不多说,直接开讲(Grpc的源码看着很方便,包自动都能还原成功..Net源码就硬生啃...弄了半天没还原成功). ps: 本篇文章主要是讲解源码,并不进行举例Demo,所以读者尽量先写一个小Demo,看看生成的代码,然后伴随着看文章. 如果没有用过Grpc的读者,可以先写个小Demo,可以看官网点击这里,主要是查看下通过Proto文件生成的代码的格式. 这…

1 写在前面 在这个系列的文章中,我们将会从源码的层面学习和理解gRPC. 整个系列的文章的计划大概是这样的:我们会先从客户端开始,沿着调用路径逐步分析到服务端,以模块为粒度进行学习,考虑这个模块是为了解决什么问题,然后思考gRPC应该怎么去解决这个问题.在分析完这部分的架构设计后,我们会在接下来的一篇文章中研究具体的代码实现. 因此,这个系列的文章不会像之前的源码分析那样贴一大段的代码,然后加上注释.这样做不但使得阅读成本很高,而且很难学到除了代码实现以外的东西. 我们会先从客户端开始,沿着调…

gRPC是Google开源的新一代RPC框架,官网是http://www.grpc.io.正式发布于2016年8月,技术栈非常的新,基于HTTP/2,netty4.1,proto3.虽然目前在工程化方面gRPC还非常不足,但它也值得我们好好研究它,学习他. 1. 使用场景 按照Google的说法,使用广泛,但主要使用场景还是在移动端: Efficiently connecting polyglot services in microservices style architecture(微服务.…

首先需要按照grpc官网上说的办法从github上下载源码,编译,然后跑一跑对应的测试代码.我分析的代码版本为v1.20.0. 在cpp的helloworld例子中,client端,第一个函数是创建channel. GreeterClient greeter(grpc::CreateChannel("localhost:50051", grpc::InsecureChannelCredentials())); 我们从这里开始分析,CreateChannel这个函数的具体实现在src/c…

环境: win7_x64,VS2015.grpc_1.3.1 场景: 在客户端中使用grpc连接服务器,在多次输入非法的地址后,再次输入正确的地址连出现连接超时的现象.侯捷先生说过“源码面前,了无秘密”,所以开始分析grpc源码 使用GRPC进行连接的例子: ///< 创建通道 std::shared_ptr<grpc::Channel> channel = grpc::CreateChannel("127.0.0.1:8080", grpc::InsecureCha…

想写点东西记录一下最近看的一些Fabric源码,本文使用的是fabric1.4的版本,所以对于其他版本的fabric,内容可能会有所不同. 本文想针对Fabric中链码容器的启动过程进行源码的解析.这里的链码指的是用户链码不是系统链码,顺便回顾一下系统链码: lscc(Life Cycle System ChainCode)生命周期系统链码 cscc(Configuration System ChainCode)配置系统链码 escc(Endorser System ChainCode)背书系统…

Fabric 1.4 源码分析 背书节点和链码容器交互 本文档主要介绍背书节点和链码容器交互流程,在Endorser背书节点章节中,无论是deploy.upgrade或者调用链码,最后都会调用ChaincodeSupport.LaunchInit()/Launch()以及ChaincodeSupport.execute()方法.其中Launch()方法启动链码容器,execute()方法调用链码. 1. 准备 ChaincodeSupport.Launch()首先进行判断,根据peer侧该版本链…

listen = flag.String("listen", "/var/run/frakti.sock", "...") hyperEndpoint = flag.String("hyper-endpoint", "127.0.0.1:8080", "...") streamingServerPort = flag.String("streaming-server-port&…

Dubbo简介 Dubbo,相信做后端的同学应该都用过,或者有所耳闻.没错,我就是那个有所耳闻中的一员. 公司在好几年前实现了一套自己的RPC框架,所以也就没有机会使用市面上琳琅满目的RPC框架产品. 之所以想好好看看Dubbo,有以下几个原因 公司内部的框架一直在做迭代更新,配置越来越简洁,性能越来越好.但是作为使用者,它就像一个黑盒子,我们无法感知其内部的改动以及实现的原理 现在使用的框架,因为使用了thrift,让平时的开发显得格外的蹩脚,常常在各种model的转换中迷失自我,耗尽了耐心…

从本节开始,将逐步阅读nsq各模块的代码. 读一份代码,我的思路一般是: 1.了解用法,知道了怎么使用,对理解代码有宏观上有很大帮助. 2.了解各大模块的功能特点,同时再想想,如果让自己来实现这些模块,会是怎么样的思路. 3.开始上手试读,为不打击阅读的积极性,可以选择一个简单的模块,或者某一个功能点开始读.对nsq而言,打开源码的目录看一下,发现nsqlookupd和nsqadmin的代码相对较少,而nsqd的代码量较多.再比较nsqlookupd和nsqadmin,发现nsqadmin下还有…

背景 因为丰巢自去年年底开始在推送平台上尝试了TiDB,最近又要将承接丰巢所有交易的支付平台切到TiDB上.我本人一直没有抽出时间对TiDB的源码进行学习,最近准备开始一系列的学习和分享.由于我本人没有数据库相关的经验,本着学习的心态和大家一起探讨,欢迎高手随时指正.总结一下本次学习分享的目的: 丰巢把最重要的两个基础业务都放到了TiDB上,后续应该会有更多的核心系统跑在TiDB上,我们丰巢中间件团队作为引入TiDB到丰巢的推动人和执行者,对于TiDB的稳定性和突发事件的处理,一定要做足功课:…

1 主流深度学习框架对比 当今的软件开发基本都是分层化和模块化的,应用层开发会基于框架层.比如开发Linux Driver会基于Linux kernel,开发Android app会基于Android Framework.深度学习也不例外,框架层为上层模型开发提供了强大的多语言接口.稳定的运行时.高效的算子,以及完备的通信层和设备层管理层.因此,各大公司早早的就开始了深度学习框架的研发,以便能占领市场.当前的框架有数十种之多,主流的如下(截止到2018年11月) 显然TensorFlow是独一无…

0.简介 承接上篇文章我们会在这篇文章详细解说一下 Abp 是如何结合 IPermissionChecker 与 IFeatureChecker 来实现一个完整的多租户系统的权限校验的. 1.多租户的概念 多租户系统又被称之为 Saas ,比如阿里云就是一个典型的多租户系统,用户本身就是一个租户,可以在上面购买自己的 ECS 实例,并且自己的数据与其他使用者(租户)所隔绝,两者的数据都是不可见的. 那么 Abp 是如何实现数据隔离的呢? 1.1 单部署-单数据库 如果你的软件系统仅部署一个实例,…

一:最近anki vector robot开放了Python SDK,我听到的第一时间就赶快上网查了查,先抛几个官网重要链接吧: Python编程API手册及环境搭建等: https://sdk-resources.anki.com/vector/docs/generated/anki_vector.html anki公司github地址及anki_vectorSDK实现源码,用于理解电脑和vector的通信协议,包含教学例程: https://github.com/anki/vector-py…

我们在第三十二节,使用谷歌Object Detection API进行目标检测.训练新的模型(使用VOC 2012数据集)那一节我们介绍了如何使用谷歌Object Detection API进行目标检测,以及如何使用谷歌提供的目标检测模型训练自己的数据.在训练自己的数据集时,主要包括以下几步: 制作自己的数据集,注意这里数据集在进行标注时,需要按照一定的格式.然后调object_detection\dataset_tools下对应的脚本生成tfrecord文件.如下图,如果我们想调用create…

0. 引言 通过源码方式安装,并进行一定程度的解读,有助于理解tensorflow源码,本文主要基于tensorflow v1.8源码,并借鉴于如何阅读TensorFlow源码. 首先,自然是需要去bazel官网了解下必备知识,如(1)什么是bazel; (2)bazel如何对cpp项目进行构建的; (3)bazel构建时候的函数大全.然后就是bazel官网的一些其他更细节部分了.下文中会给出超链接. ps: 找了很久,基本可以确定bazel除了官网是没有如书籍等资料出现的,所以只有官网和别人博…

[图解tensorflow源码] 入门准备工作 附常用的矩阵计算工具[转] Link: https://www.cnblogs.com/yao62995/p/5773142.html  tensorflow使用了自动化构建工具bazel.脚本语言调用c或cpp的包裹工具swig.使用EIGEN作为矩阵处理工具.Nvidia-cuBLAS GPU加速计算库.结构化数据存储格式protobuf Swig       1. Simplified Wrapper and Interface Genera…

 tensorflow使用了自动化构建工具bazel.脚本语言调用c或cpp的包裹工具swig.使用EIGEN作为矩阵处理工具.Nvidia-cuBLAS GPU加速计算库.结构化数据存储格式protobuf Swig      1. Simplified Wrapper and Interface Generator (SWIG) ,基本思想就是向脚本语言接口公开 C/C++ 代码.SWIG 允许您向广泛的脚本语言公开 C/C++ 代码,包括 Ruby.Perl.Tcl 和 Python. 参…

目录 Envoy 源码分析--程序启动过程 初始化 main 入口 MainCommon 初始化 服务 InstanceImpl 初始化 启动 main 启动入口 服务启动流程 LDS 服务启动流程 最后 Envoy 源码分析--程序启动过程 申明:本文的 Envoy 源码分析基于 Envoy1.10.0. 前面几章分析了 event事件 和 底层网络, 但对创建服务的过程并没有串起来,只是分析了底层的网络公共库.这次我们分析下整个服务的创建过程. 初始化 main 入口 服务启动的总入口 ma…

rpc框架有很多,公司自研.开源的thrift.dubbo.grpc等.我用过几个框架,了解了一下实现原理,客户端基本都是用代理实现,jdk动态代理.cglib等.最近一段时间想了解一下dubbo源码,看下工作原理.今天看了一下客户端初始化源码 <?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans&q…

Envoy 源码分析--LDS LDS 是 Envoy 用来自动获取 listener 的 API. Envoy 通过 API 可以增加.修改或删除 listener. 先来总结下 listener 的更新语义如下: 每个 listener 必须有一个唯一的名称.如果没有提供名称,Envoy 会生成一个 UUID 来作为它的名字.要动态更新 listener,管理服务必须提供一个唯一名称. 当 listener 被添加,在接收流量之前,会先进入 "预热" 阶段. 一旦 listener…

在上一篇帖子剖析nsq消息队列(一) 简介及去中心化实现原理中,我介绍了nsq的两种使用方式,一种是直接连接,还有一种是通过nslookup来实现去中心化的方式使用,并大概说了一下实现原理,没有什么难理解的东西,这篇帖子我把nsq实现去中心化的源码和其中的业物逻辑展示给大家看一下. nsqd和nsqlookupd的通信实现 上一篇中在启动nsqd时我用了以下命令,我指定了一个参数 --lookupd-tcp-address ./nsqd -tcp-address ":8000" -ht…

Fabric 1.4 源码分析 区块同步 本文主要从源码层面介绍fabric peer同步区块过程,peer同步区块主要有2个过程: 1)peer组织的leader与orderer同步区块 2)peer组织间peer同步区块. 1. peer leader和orderer同步区块 首先,orderer对外主要是broadcast和deliver两个服务orderer服务介绍.并且我们知道peer和orderer同步区块肯定是deliver服务实现的,但是到底是peer从orderer拉还是ord…

Fabric 1.4 源码分析peer节点启动 peer模块采用cobra库来实现cli命令. Cobra提供简单的接口来创建强大的现代化CLI接口,比如git与go工具.Cobra同时也是一个程序, 用于创建CLI程序 peer支持的命令如下所示: Usage: peer [command] Available Commands: chaincode Operate a chaincode: install|instantiate|invoke|package|query|signpackag…

TiDB是Google F1的开源实现: TiDB实现了基于mvcc的乐观锁,在线表结构变更,基于时间戳的数据线性一致性,等等: 为了可靠性,TiDB和Oracle一样,维护了百万级别的自动化测试用例,跑在k8s搭建的集群之上: 自 Google F1开始,数据库被分成了两类: 一类是传统sql,代表如Oracle,依赖于高速网络和磁盘阵列来实现海量数据的扩容和数据的高可靠,成本及其高昂,大部分银行都用了Oracle的系统: 另一类是NewSQL,代表如F1和TiDB,依赖于各种算法,使数据库服…

前言 文章Istio技术与实践01: 源码解析之Pilot多云平台服务发现机制结合Pilot的代码实现介绍了Istio的抽象服务模型和基于该模型的数据结构定义,了解到Istio上只是定义的服务发现的接口,并未实现服务发现的功能,而是通过Adapter机制以一种可扩展的方式来集成各种不同的服务发现.本文重点讲解Adapter机制在Kubernetes平台上的使用.即Istio on Kubernetes如何实现服务发现. Istio的官方设计上特别强调其架构上的可扩展性,即通过框架定义与实现解耦的…

前言: 一般来说,如果安装tensorflow主要目的是为了调试些小程序的话,只要下载相应的包,然后,直接使用pip install tensorflow即可. 但有时我们需要将Tensorflow的功能移植到其它平台,这时就无法直接安装了.需要我们下载相应的Tensorflow源码,自已动手编译了. 正文: Tensorflow功能代码庞大,结构复杂:如何快速了解源码结构,就显示尤为重要了. Tensorflow主体结构: 整个框架以C API为界,分为前端和后端两大部分. 前端:提供编译模型…