frp中的json模块
预备知识
Go中的接口的数据结构可以分为两部分:
- 其中一部分指向或者存储了原始数据的值
- 另一部分指向或者存储了原始数据的类型描述符(其中包含类型,以及对应于接口中的方法)
所以大体上我们可以粗略的认为接口内部存储了原始数据的值和类型。
更详细的可以看一下Go数据结构-接口
正文
json模块一共三个文件,分别是 msg.go pack.go process.go,总共300行左右的代码量,虽然不多,但确实有许多较为深的点的。
三个文件一起看,总共就一个接口一个结构体。
接口是Message
,一个空接口没啥好看的。
再来看结构体MsgCtl
以及其生成函数:
type MsgCtl struct {
typeMap map[byte]reflect.Type
typeByteMap map[reflect.Type]byte
maxMsgLength int64
}
func NewMsgCtl() *MsgCtl {
return &MsgCtl{
typeMap: make(map[byte]reflect.Type),
typeByteMap: make(map[reflect.Type]byte),
maxMsgLength: defaultMaxMsgLength,
}
}
感觉似乎也很简单,两个map
一个整型。MsgCtl
有很多方法,比较简单的像:
// 注册,注意这里看出typeMap和typeByteMap是相互对应的。而且容量只有256个
func (msgCtl *MsgCtl) RegisterMsg(typeByte byte, msg interface{}) {
msgCtl.typeMap[typeByte] = reflect.TypeOf(msg)
msgCtl.typeByteMap[reflect.TypeOf(msg)] = typeByte
}
func (msgCtl *MsgCtl) SetMaxMsgLength(length int64) {
msgCtl.maxMsgLength = length
}
分别是向map中填充数据以及设置唯一的整型字段的值。
剩余的几个方法最重要的就是Pack
和readMsg
和unpack
这三个方法,其余的都是添头了。
先来看一下Pack
方法:
func (msgCtl *MsgCtl) Pack(msg Message) ([]byte, error) {
// 1
typeByte, ok := msgCtl.typeByteMap[reflect.TypeOf(msg).Elem()]
if !ok {
return nil, ErrMsgType
}
// 2
content, err := json.Marshal(msg)
if err != nil {
return nil, err
}
// 3
buffer := bytes.NewBuffer(nil)
buffer.WriteByte(typeByte)
binary.Write(buffer, binary.BigEndian, int64(len(content)))
buffer.Write(content)
return buffer.Bytes(), nil
}
- 获取msg的结构体类型以及其对应'标示字节(就是typeByteMap键值对中的值)',首先一般来说:msg参数中的类型一般是一个结构体实例的指针类型,所以
reflect.TypeOf(msg).Elem()
返回的是这个结构体类型 - 解析为json
- 先将标示字节写入,然后将json的长度按大端写入,最后将json写入
来看一下readMsg
方法:
func (msgCtl *MsgCtl) readMsg(c io.Reader) (typeByte byte, buffer []byte, err error) {
// 1
buffer = make([]byte, 1)
_, err = c.Read(buffer)
if err != nil {
return
}
typeByte = buffer[0]
if _, ok := msgCtl.typeMap[typeByte]; !ok {
err = ErrMsgType
return
}
// 2
var length int64
err = binary.Read(c, binary.BigEndian, &length)
if err != nil {
return
}
if length > msgCtl.maxMsgLength {
err = ErrMaxMsgLength
return
} else if length < 0 {
err = ErrMsgLength
return
}
// 3
buffer = make([]byte, length)
n, err := io.ReadFull(c, buffer)
if err != nil {
return
}
if int64(n) != length {
err = ErrMsgFormat
}
return
}
看完Pack
方法后,再看这个就不难理解了。这个方法基本上就是三步走:
- 消息的第一个字节表示消息类型,读取后检测这个消息类型是否是合法的(是否被注册过)
- 消息的第二个和第三个字节表示数据长度,读出来后检测该长度是否有效
- 知道了长度后,就把对应长度的数据读出来放到buffer中
所以Pack
后的数据一般需要readMsg
来读取。
接下来再看unpack
方法:
func (msgCtl *MsgCtl) unpack(typeByte byte, buffer []byte, msgIn Message) (msg Message, err error) {
if msgIn == nil {
t, ok := msgCtl.typeMap[typeByte]
if !ok {
err = ErrMsgType
return
}
msg = reflect.New(t).Interface().(Message)
} else {
msg = msgIn
}
err = json.Unmarshal(buffer, &msg)
return
}
unpack
一般是将readMsg
读取的数据加以处理得到其对应的结构。这个方法有些东西,一开始看的我一脸懵逼,主要是对Go中的反射reflect不熟,后来看了看这个Go 语言反射三定律,我才了解了这些东西。首先msgIn
肯定是一个Message
接口类型的对象,假如其是nil的话,那我们根据typeByte
找出对应的类型,然后就是复杂的这一句了:
msg = reflect.New(t).Interface().(Message)
,t
是一个reflect.Type
类型的接口实例,reflect.New(t)
则会返回一个reflect.Value
类型的结构体实例,但注意:这个Value的类型是t
的原始类型的指针类型,值则是该类型的零值,reflect.New(t).Interface()
会将reflect.Value
这个实例中真正对应的值以及其指针类型转换为空接口然后返回,紧接着后面又跟了.(Message)
将空接口转换为Message
空接口。绕了这么一大圈,我们知道:现在msg
接口中两部分中值是t
原始类型的零值,类型是t
原始类型的指针类型。
最后,将buffer中的数据解析出来赋给msg,并返回。
其余的方法基本上都是调用了这三个方法中的某个或者某几个
func (msgCtl *MsgCtl) UnPack(typeByte byte, buffer []byte) (msg Message, err error) {
return msgCtl.unpack(typeByte, buffer, nil)
}
func (msgCtl *MsgCtl) ReadMsg(c io.Reader) (msg Message, err error) {
typeByte, buffer, err := msgCtl.readMsg(c)
if err != nil {
return
}
return msgCtl.UnPack(typeByte, buffer)
}
func (msgCtl *MsgCtl) WriteMsg(c io.Writer, msg interface{}) (err error) {
buffer, err := msgCtl.Pack(msg)
if err != nil {
return
}
if _, err = c.Write(buffer); err != nil {
return
}
return nil
}
在外层我们基本上只用ReadMsg
和WriteMsg
来读取数据就可以了。
用法
package main
import (
"fmt"
jsonMsg "github.com/fatedier/golib/msg/json"
)
const (
TypeMsgOne = '1'
TypeMsgTwo = '2'
)
var msgTypeMap = map[byte]interface{}{
TypeMsgOne: MsgOne{},
TypeMsgTwo: MsgTwo{},
}
var msgCtl *jsonMsg.MsgCtl
type MsgOne struct {}
type MsgTwo struct {}
type EchoWriter struct {}
func (EchoWriter)Write(p []byte) (n int, err error) {
fmt.Println(p)
fmt.Println(string(p))
return len(p), nil
}
func init() {
msgCtl = jsonMsg.NewMsgCtl()
for typeByte, msg := range msgTypeMap {
msgCtl.RegisterMsg(typeByte, msg)
}
}
func main() {
msgCtl.WriteMsg(EchoWriter{}, &MsgOne{})
}
运行后结果是
[49 0 0 0 0 0 0 0 2 123 125]
1{}
首先是字节49:表示字符串1;然后是占了8个字节的0 0 0 0 0 0 0 2:表示长度2;最后是字节123和125:对应花括号{}。
总结
- 整体来看json模块就是对结构体编解码处理,本质上和go官方的json模块无区别。详细的说该json模块提供了对特定的(被注册的)结构体(一般是结构体,当然其他的也可以。)的存储或者传输(可以理解为读取写入buffer)的处理。
- 接上一点:其写处理方式则是将该结构体类型对应的byte、该结构体json序列化后的长度、以及该结构体编码后的字节序列按照顺序写入
- 接上一点:其读处理方式则是将读取到的字节序列,按照写入的顺序读取并解析出来,返回给上层调用的代码。
frp中的json模块的更多相关文章
- Python 3 中的json模块使用
1. 概述 JSON (JavaScript Object Notation)是一种使用广泛的轻量数据格式. Python标准库中的json模块提供了JSON数据的处理功能. Python中一种非常常 ...
- frp源码剖析-frp中的log模块
前言&引入 一个好的log模块可以帮助我们排错,分析,统计 一般来说log中需要有时间.栈信息(比如说文件名行号等),这些东西一般某些底层log模块已经帮我们做好了.但在业务中还有很多我们需要 ...
- openresty开发系列25--openresty中使用json模块
openresty开发系列25--openresty中使用json模块 web开发过程中,经常用的数据结构为json,openresty中封装了json模块,我们看如何使用 一)如何引入cjson模块 ...
- Python中的json模块
在Python内置函数中,有一个eval()函数可以将字符串内容转换成Python对象,比如我现在将一个字典 dic = {"name":"pengfy"}写到 ...
- python中序列化json模块和pickle模块
内置模块和第三方模块 json模块和pickle 模块(序列化模块) 什么是序列化? 序列化就是将内粗这种的数据类型转成另一种格式 序列化:字典类型——>序列化——>其他格式——>存 ...
- Python中的Json模块dumps、loads、dump、load函数介绍
Json模块dumps.loads.dump.load函数介绍 1.json.dumps() json.dumps() 用于将dict类型的数据转成str,因为如果直接将dict类型的数据写入json ...
- python中的 json 模块使用
(1)python 中生成 json 字符串: import json data = dict(ret=0, msg="Welcome, Login success!") json ...
- frp源码剖析-frp中的mux模块
前言 frp几乎所有的连接处理都是构建在mux模块之上的,重要性不必多说,来看一下这是个啥吧 ps: 安装方法 go get "github.com/fatedier/golib/net/m ...
- [ Python入门教程 ] Python中JSON模块基本使用方法
JSON (JavaScript Object Notation)是一种使用广泛的轻量数据格式,Python标准库中的json模块提供了一种简单的方法来编码和解码JSON格式的数据.用于完成字符串和p ...
随机推荐
- 如何把数据快速批量添加到Elasticsearch中
问题来源 最近新做一个项目,有部分搜索比较频繁的数据,而且量级比较大,预计一两年时间很可能达到100G,项目要求不要存在数据库中,最终出来有两个方案,一个是使用Protocol Buffers存储在文 ...
- JavaScript 作用域链与闭包
作用域链 在某个作用域访问某个变量或者函数时,会首先在自己的局部环境作用域中搜寻变量或者函数,如果本地局部环境作用域中有该变量或者函数,则就直接使用找到的这个变量值或者函数:如果本地局部环境作用域中没 ...
- 配置Activiti Explorer使用MYSQL
http://blog.csdn.net/lxxxzzl/article/details/39583977
- eclipse webproject activiti
https://stackoverflow.com/questions/42858723/activiti-eclipse-maven-project-to-dynamic-web-project-a ...
- python 3以上版本使用pickle.load读取文件报UnicodeDecodeError: 'ascii' codec can't decode byte 0x8b in position 6
python 3以上版本使用pickle.load读取文件报UnicodeDecodeError: 'ascii' codec can't decode byte 0x8b in position 6 ...
- MySQL下载安装详情教程
1.下载MySQL数据库可以访问官方网站:https://www.mysql.com/ 2.点击DOWNLOADS模块下的Community模块下的MySQL Community Server进行下载 ...
- CPK公式
CP:Cp = (USL-LSL)/6σ USL上限值.LSL下限值.σ为产品特性值总体标准差: CPK:Cpk=Cp-|M-μ|/3σ μ为产品特性值的总体均值,σ为产品特性值总体标准差,M為目 ...
- python----面对对象三大特征2
多态 什么是多态?多态指的是一类事物有多种形态,例如一个动物类,狗和猫都通过继承动物类来得来,这样我们可以将狗.猫称作动物类的另一种形态. 在java中也存在多态,java中的多态是用来解决在一个函数 ...
- [ctsc2018] 混合果汁 【可持久化线段树】【二分答案】
题目分析 首先考虑到最小值最大,二分答案.假设答案为k,显然这满足单调性.如果某个k使得这个情况下选不出.那么比k大的一定也选不出,所以二分答案. 接着我们可以贪心,当我们确认了k以后,一定会优先选费 ...
- Codeforces Round #431 (Div. 2) B. Tell Your World
B. Tell Your World time limit per test 1 second memory limit per test 256 megabytes input standard i ...