wget https://github.com/google/protobuf/releases/download/v2.6.1/protobuf-2.6.1.tar.gztar zxvf protobuf-2.6.1.tar.gz cd protobuf-2.6.1./configure make make install protoc   -h go get github.com/golang/protobuf/protoc-gen-go cd github.com/golang/proto…

GRPC是google开源的一个高性能.跨语言的RPC框架,基于HTTP2协议,基于protobuf 3.x,基于Netty 4.x. 前面写过一篇golang标准库的rpc包的用法,这篇文章接着讲一下google的grpc. 介绍 在 gRPC 里客户端应用可以像调用本地对象一样直接调用另一台不同的机器上服务端应用的方法,使得您能够更容易地创建分布式应用和服务. 使用grpc的优点很多,支持多种语言,二进制的数据可以加快传输速度,基于http2的多路复用可以减少服务之间的连接次数,和函数一样的…

python 1.使用前准备,安装这三个库 pip install grpcio pip install protobuf pip install grpcio_tools 2.建立一个proto文件hello.proto // [python quickstart](https://grpc.io/docs/quickstart/python.html#run-a-grpc-application) // python -m grpc_tools.protoc --python_out=. -…

主要参考了这篇帖子:https://segmentfault.com/a/1190000009277748 1.下载windows版本的PB https://github.com/protocolbuffers/protobuf/releases/download/v3.11.4/protoc-3.11.4-win64.zip 配置好环境变量PATH 2.下载golang中对应的库 go get github.com/golang/protobuf/proto go get github.com…

golang中实现RPC非常简单,官方提供了封装好的库,还有一些第三方的库 golang官方的net/rpc库使用encoding/gob进行编解码,支持tcp和http数据传输方式,由于其他语言不支持gob编解码方式,所以golang的RPC只支持golang开发的服务器与客户端之间的交互 官方还提供了net/rpc/jsonrpc库实现RPC方法,jsonrpc采用JSON进行数据编解码,因而支持跨语言调用,目前jsonrpc库是基于tcp协议实现的,同时也支持http传输方式 go快速体验…

Google的ProtoBuf序列化器性能的牛逼已经有目共睹了,可以把它应用到Socket通讯,队列,Wcf中,身为dotnet程序员一边期待着不久后Grpc对dotnet core的支持更期待着Wcf有一天能在Linux平台上闪瞎所有人.现在简单表述下Wcf中应用ProtoBuf替代默认的序列化器. 准备: 首先,新建一套Wcf的解决方案,包含服务,宿主外加两个客户端用来测试调用: Wcf_ProtoBufSample.ClientViaMetaData会通过添加服务引用的方式调用服务,Wcf…

相比json来说,好处是速度更快,带宽占用更小.其效果大致等于json+Gzip. 在webapi中使用protobuf的方法为: 引用nuget包 Install-Package protobuf-net 为DTO添加注解  [ProtoContract] public class Product { [ProtoMember()] public int Id { get; set; } [ProtoMember()] public string Name { get; set; } [Pro…

golang中的race检测 由于golang中的go是非常方便的,加上函数又非常容易隐藏go. 所以很多时候,当我们写出一个程序的时候,我们并不知道这个程序在并发情况下会不会出现什么问题. 所以在本质上说,goroutine的使用增加了函数的危险系数论go语言中goroutine的使用.比如一个全局变量,如果没有加上锁,我们写一个比较庞大的项目下来,就根本不知道这个变量是不是会引起多个goroutine竞争. 官网的文章Introducing the Go Race Detector给出的例子…

------------------------------------------------------------ Golang中的正则表达式 ------------------------------------------------------------ 用法: ------------------------------ 单一: . 匹配任意一个字符,如果设置 s = true,则可以匹配换行符 [字符类] 匹配“字符类”中的一个字符,“字符类”见后面的说明 [^字符类] 匹配…

在网络通讯中应用Protobuf Protobuf的设计非常适用于在网络通讯中的数据载体,它序列化出来的数据量少再加上以K-V的方式来存储数据,对消息的版本兼容性非常强:还有一个比较大的优点就是有着很多的语言平台支持.下面讲解一下如何在TCP通讯应用中集成Protobuf. Protobuf提供一种简单的对象消息方式来描述数据的存储,通过相关实现可以简单地实现数据流和对象之间的转换.但由于Protobuf序列化后的信息并不包括一些相应对象类型描述,只有消息体的内容:因此在进行通信交互过程中默认情…

最近在写一个自动生成api文档的功能,用到了reflect包来给结构体赋值,给空数组新增一个元素,这样只要定义一个input结构体和一个output的结构体,并填写一些相关tag信息,就能使用程序来生成输入和输出的相关文档. 介绍 reflect包是golang中很重要的一个包,实现了在运行时允许程序操纵任意类型对象的功能.可以看下文档简单了解一下. 在reflect中,最重要的是Value类,只有先获取到一个对象或者变量的Value对象后,我们才可以对这个对象或者变量进行更进一步的分析和处理.…

如果在在Spark.Flink应用中使用Protobuf 3的包,因为Spark默认使用的是2.5版本的包,提交任务时,可能会报如下异常: com.google.protobuf.CodedInputStream.readStringRequireUtf8()Ljava/lang/String; 针对Spark,可以使用SPARK_CLASSPATH或是指定 --conf spark.executor.extraClassPath 的方式解决,今天在调试Flink程序时,发现还有一种解决方式:…

Golang中的坑二 for ...range 最近两周用Golang做项目,编写web服务,两周时间写了大概五千行代码(业务代码加单元测试用例代码).用Go的感觉很爽,编码效率高,运行效率也不错,用了beego,avro,xorm,反射.今天和前端联调遇到了一个bug,发现踩到了第二个坑.踩坑不怕,踩过一次就不会再犯了,这就是实践的好处. 坑是这样的:数据采用avro描述,用xorm存取到mysql:对于有嵌套的数据结构,avro生成的go结构体以指针切片的形式声明,xorm Find方法采用…

Golang 中的坑 短变量声明  Short variable declarations 考虑如下代码: package main import ( "errors" "fmt" ) type MyObject struct { Id string Name string } func GetObjects() (objs []MyObject, err error) { return nil, errors.New("get failed")…

Golang中操作数据库已经有现成的库"database/sql"可以用,但是"database/sql"只提供了最基础的操作接口: 对数据库中一张表的增删改查等操作,必须手动编写sql string,这通常都是一个写死的字符串(Hard-Code), 并且需要手动维护sql中字段与Golang中的变量的映射关系,这扩展性很差,且非常容易出错. 通常情况下,我们期望Golang中存在一个Struct与DB中的一个Table建立一个映射关系(Mapper), 之后我们…

Golang中WaitGroup使用的一点坑 Golang 中的 WaitGroup 一直是同步 goroutine 的推荐实践.自己用了两年多也没遇到过什么问题.直到一天午睡后,同事扔过来一段奇怪的代码: 坑1   1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 package main   import (     "log"       "sync" )   func main…

前言 最近在项目中需要使用lua进行扩展,发现github上有一个用golang编写的lua虚拟机,名字叫做gopher-lua.使用后发现还不错,借此分享给大家. 数据类型 lua中的数据类型与golang中的数据类型对应关系作者已经在文档中说明,值得注意的是类型是以L开头的,类型的名称是以LT开头的.golang中的数据转换为lua中的数据就必须转换为L开头的类型: str := "hello" num := 10 L.LString(str) L.LNumber(float64(…

golang中Context的使用场景 context在Go1.7之后就进入标准库中了.它主要的用处如果用一句话来说,是在于控制goroutine的生命周期.当一个计算任务被goroutine承接了之后,由于某种原因(超时,或者强制退出)我们希望中止这个goroutine的计算任务,那么就用得到这个Context了. 关于Context的四种结构,CancelContext,TimeoutContext,DeadLineContext,ValueContext的使用在这一篇快速掌握 Golang…

安装 下载ETCD https://github.com/etcd-io/etcd/releases/ 安装 我下载的是window版,直接解压就可以了,解压后有以下目录 点击etcd.exe运行 然后再开个cmd进行操作,先将你的etcd目录加入到环境变量中,方便操作 设置插入值,以key和value形式 取值 golang中使用ETCD 安装ETCD包 直接从https://github.com/etcd-io/etcd上下载etcd的压缩包 然后在src目录下创建go.etcd.io文件目…

一.golang中安装Redis github地址:https://github.com/garyburd/redigo 文档地址:http://godoc.org/github.com/garyburd/redigo/redis 安装: go get github.com/garyburd/redigo/redis 二.简单连接Redis conn package main import ( "fmt" "github.com/garyburd/redigo/redis&q…

本文由云+社区发表 导言 几乎每一个C++开发人员,都被面试过有关于函数参数是值传递还是引用传递的问题,其实不止于C++,任何一个语言中,我们都需要关心函数在参数传递时的行为.在golang中存在着map.channel和slice这三种内建数据类型,它们极大的方便着我们的日常coding.然而,当这三种数据结构作为参数传递的时的行为是如何呢?本文将从这三个内建结构展开,来介绍golang中参数传递的一些细节问题. 背景 首先,我们直接的来看一个简短的示例,下面几段代码的输出是什么呢? //de…

总结了golang中字符串和各种int类型之间的相互转换方式: string转成int: int, err := strconv.Atoi(string)string转成int64: int64, err := strconv.ParseInt(string, 10, 64)int转成string: string := strconv.Itoa(int)int64转成string: string := strconv.FormatInt(int64,10)以备查询…

Raygun服务由许多活动组件构成,每个组件用于特定的任务.其中一个模块是用Golang编写的,负责对iOS崩溃报告进行处理.简而言之,它接受本机iOS崩溃报告,查找相关的dSYM文件,并生成开发者可以阅读并理解的堆栈跟踪信息. dSYM-worker进程的操作非常简单,它通过Redis队列接收作业并执行,然后不断重复.这个dSYN-worker进程在一台机器上运行,作业处理的速率及负载相对合理,但仍有一些情况需要运维人员随时待命维护: 负载飙升.每隔一段时间,通常是在周末,用户更多地使用iOS…

http://blog.csdn.net/wangshubo1989/article/details/74529333 之前写过关于golang中如何使用cookie的博客: 实战–go中使用cookie 今天就来跟大家简单介绍一下golang中如何使用token,当然是要依赖一下github上的优秀的开源库了. 首先,要搞明白一个问题,token.cookie.session的区别. token.cookie.session的区别 Cookie Cookie总是保存在客户端中,按在客户端中的存…

# golang 中的指针 看了一篇[文章](http://blog.51cto.com/steed/2341409),写的很好.这里略微总结下重点: 1. 地址值.unsafe.Pointer.uintptr 的关系 - 地址值 与 unsafe.Pointer 可以互相转换 - uintptr 与 unsafe.Pointer 可以互相转换 - 地址在 与 uintptr 不能互相转换 2. 不可寻址的值 (需要指出的是,不可寻址是强行约定的,多数是因为安全) - 不可变的值不可寻址,包括常…

整理一下golang中各种http的发送方式 方式一 使用http.Newrequest 先生成http.client -> 再生成 http.request -> 之后提交请求:client.Do(request) -> 处理返回结果,每一步的过程都可以设置一些具体的参数,下面是一个最朴素最基本的例子: //question ???将stdout重定向为response信息??? package main import ( "fmt" "io"…

golang 的 nil 在概念上和其它语言的 null.None.nil.NULL一样,都指代零值或空值.nil 是预先说明的标识符,也即通常意义上的关键字.在 golang 中,nil 只能赋值给 指针.channel.func.interface.map 或 slice 类型的变量.如果未遵循这个规则,则会引发 panic.对此官方有明确的说明:http://pkg.golang.org/pkg/builtin/#Type golang 中的 interface 类似于 java 的 in…

1. golang 中 json 转 struct <1. 使用 json.Unmarshal 时,结构体的每一项必须是导出项(import field).也就是说结构体的 key 对应的首字母必须为大写.请看下面的例子: package commontest import ( "testing" "encoding/json" ) type Person struct { name string age int } func TestStruct2Json(…

在golang中,基本的channel读写操作都是阻塞的,如果你想要非阻塞的,可以使用如下示例: 即只要在select中加入default,阻塞立即变成非阻塞: package main import "fmt" func main() { messages := make(chan string) signals := make(chan bool) select { case msg := <-messages: fmt.Println("received mess…

golang 中的 sizeof: 1: int(unsafe.Sizeof(uint32(0))) 2: int(reflect.TypeOf(uint32(0)).Size()) golang中的 union: package main import ( "fmt" "reflect" "unsafe" ) type I struct { a int32 } type B struct { c []int16 } func main() {…