这是golang拾遗系列的第六篇。这个系列主要用来记录一些平时不常见的知识点,偶尔也会实现些有意思的小功能,比如这篇。

golang拾遗系列目录:

  1. golang拾遗:指针和接口
  2. golang拾遗:为什么我们需要泛型
  3. golang拾遗:嵌入类型
  4. golang拾遗:内置函数len的小知识
  5. golang拾遗:自定义类型和方法集
  6. golang拾遗:实现一个不可复制类型

在本篇中我们将实现一个无法被复制的类型,顺便加深对引用类型、值传递以及指针的理解。

阅读本文前需要你拥有一定的前置知识,包括掌握基本的golang语法,能理解并应用接口,对sync包下的内容有粗略的了解。如果你准备好了,就可以接着往下看了。

如何复制一个对象

不考虑IDE提供的代码分析和go vet之类的静态分析工具,golang里几乎所有的类型都能被复制。

// 基本标量类型和指针
var i int = 1
iCopy := i
str := "string"
strCopy := str pointer := &i
pointerCopy := pointer
iCopy2 := *pointer // 解引用后进行复制 // 结构体和数组
arr := [...]int{1, 2, 3}
arrCopy := arr type Obj struct {
i int
}
obj := Obj{}
objCopy := obj

除了这些,golang还有函数和引用类型(slice、map、interface),这些类型也可以被复制,但稍有不同:

func f() {...}
f1 := f
f2 := f1 fmt.Println(f1, f2) // 0xabcdef 0xabcdef 打印出来的值是一样的
fmt.Println(&f1 == &f2) // false 虽然值一样,但确实是两个不同的变量

这里并没有真正复制处三份f的代码,f1f2均指向f,f的代码始终只会有一份。map、slice和interface与之类似:

m := map[int]string{
0: "a",
1: "b",
}
mCopy := m // 两者引用同样的数据
mCopy[0] := "unknown"
m[0] == "unknown" // True
// slice的复制和map相同

interface是比较另类的,它的行为要分两种情况:

s := "string"
var i1 any = s
var i2 any = s
// 当把非指针和接口类型的值赋值给interface,会导致原来的对象被复制一份 s := "string"
var i1 any = s
var i2 any = i2
// 当把接口赋值给接口,底层引用的数据不会被复制,i1会复制s,i2此时和i1共有一个s的副本 ss := "string but pass by pointer"
var i3 any = &ss
var i4 any = i3
// i3和i4均引用ss,此时ss没有被复制,但指向ss的指针的值被复制了两次

上面的结果会一定程度上被编译优化干扰,比如少数情况下编译器可以确认赋值给接口的值从来没被修改并且生命周期不比源对象长,则可能不会进行复制。

所以这里有个小提示:如果要赋值给接口的数据比较大,那么最好以指针的形式赋值给接口,复制指针比复制大量的数据更高效。

为什么要禁止复制

从上一节可以看到,允许复制时会在某些情况下“闯祸”。比如:

  1. 浅拷贝的问题很容易出现,比如例子里的map和slice的浅拷贝问题,这可能会导致数据被意外修改
  2. 意外复制了大量数据,导致性能问题
  3. 在需要共享状态的地方错误的使用了副本,导致状态不一致从而产生严重问题,比如sync.Mutex,复制一个锁并使用其副本会导致死锁
  4. 根据业务或者其他需求,某类型的对象只允许存在一个实例,这时复制显然是被禁止的

显然在一些情况下禁止复制是合情合理的,这也是为什么我会写这篇文章。

但具体情况具体分析,不是说复制就是万恶之源,什么时候该支持复制,什么时候应该禁止,应该结合自己的实际情况。

运行时检测实现禁止复制

想在别的语言禁止某个类型被复制,方法有很多,用c++举一例:

struct NoCopy {
NoCopy(const NoCopy &) = delete;
NoCopy &operator=(const NoCopy &) = delete;
};

可惜在golang里不支持这么做。

另外,因为golang没有运算符重载,所以很难在赋值的阶段就进行拦截,所以我们的侧重点在于“复制之后可以尽快检测到”。

所以我们先实现在对象被复制后报错的功能。虽然不如c++编译期就可以禁止复制那样优雅,但也算实现了功能,至少不什么都没有要强一些。

初步尝试

那么如何直到对象是否被复制了?很简单,看它的地址就行了,地址一样那必然是同一个对象,不一样了那说明复制出一个新的对象了。

顺着这个思路,我们需要一个机制来保存对象第一次创建时的地址,并在后续进行比较,于是第一版代码诞生了:

import "unsafe"

type noCopy struct {
p uintptr
} func (nc *noCopy) check() {
if uintptr(unsafe.Pointer(nc)) != nc.p {
panic("copied")
}
}

逻辑比较清晰,每次调用check来检查当前的调用者的地址和保存地址是否相同,如果不同就panic。

为什么没有创建这个类型的方法?因为我们没法得知自己被其他类型创建时的地址,所以这块得让其他使用noCopy的类型代劳。

使用的时候需要把noCopy嵌入自己的struct,注意不能以指针的形式嵌入:

type SomethingCannotCopy struct {
noCopy
...
} func (s *SomethingCannotCopy) DoWork() {
s.check()
fmt.Println("do something")
} func NewSomethingCannotCopy() *SomethingCannotCopy {
s := &SomethingCannotCopy{
// 一些初始化
}
// 绑定地址
s.noCopy.p = unsafe.Pointer(&s.noCopy)
return s
}

注意初始化部分的代码,在这里我们需要把noCopy对象的地址绑定进去。现在可以实现运行时检测了:

func main() {
s1 := NewSomethingCannotCopy()
pointer := s1
s1Copy := *s1 // 这里实际上进行了复制,但需要调用方法的时候才能检测到
pointer.DoWork() // 正常打印出信息
s1Copy.DoWork() // panic
}

解释下原理:当SomethingCannotCopy被复制的时候,noCopy也会被复制,因此复制出来的noCopy的地址和原先的那个是不一样的,但他们内部记录的p是一样的,这样当被复制出来的noCopy对象调用check方法的时候就会触发panic。这也是为什么不要用指针形式嵌入它的原因。

功能实现了,但代码实在是太丑,而且耦合严重:只要用了noCopy,就必须在创建对象的同时初始化noCopy的实例,noCopy的初始化逻辑会侵入到其他对象的初始化逻辑中,这样的设计是不能接受的。

更好的实现

那么有没有更好的实现?答案是有的,而且在标准库里。

标准库的信号量sync.Cond是禁止复制的,而且比Mutex更为严格,因为复制它比复制锁更容易导致死锁和崩溃,所以标准库加上了运行时的动态检查。

主要代码如下:

type Cond struct {
// L is held while observing or changing the condition
L Locker
...
// 复制检查
checker copyChecker
} // NewCond returns a new Cond with Locker l.
func NewCond(l Locker) *Cond {
return &Cond{L: l}
} func (c *Cond) Signal() {
// 检查自己是否被复制
c.checker.check()
runtime_notifyListNotifyOne(&c.notify)
}

checker实现了运行时检测是否被复制,但初始化的时候并不需要特殊处理这个checker,这是用了什么手法做到的呢?

看代码:

type copyChecker uintptr

func (c *copyChecker) check() {
if uintptr(*c) != uintptr(unsafe.Pointer(c)) && // step 1
!atomic.CompareAndSwapUintptr((*uintptr)(c), 0, uintptr(unsafe.Pointer(c))) && // step 2
uintptr(*c) != uintptr(unsafe.Pointer(c)) { //step 3
panic("sync.Cond is copied")
}
}

看着很复杂,连原子操作都来了,这都是啥啊。但别怕,我给你捋一捋就明白了。

首先是checker初始化之后第一次调用:

  1. 当check第一次被调用,c的值肯定是0,而这时候c是有真实的地址的,所以step 1失败,进入step 2
  2. 用原子操作把c的值设置成自己的地址值,注意只有c的值是0的时候才能完成设置,因为这里c的值是0,所以交换成功,step 2False,判断流程直接结束;
  3. 因为不排除还有别的goroutine拿着这个checker在做检测,所以step 2是会失败的,这是要进入step 3
  4. step 3再次比较c的值和它自己的地址是否相同,相同说明多个goroutine共用了一个checker,没有发生复制,所以检测通过不会panic。
  5. 如果step 3的比较发现不相等,那么说明被复制了,直接panic

然后我们再看其他情况下checker的流程:

  1. 这时候c的值不是0,如果没发生复制,那么step 1的结果是False,判断流程结束,不会panic;
  2. 如果c的值和自己的地址不一样,会进入step 2,因为这里c的值不为0,所以表达式结果一定是True,所以进入step 3
  3. step 3step 1一样,结果是True,地址不同说明被复制,这时候if里面的语句会执行,因此panic。

搞得这么麻烦,其实就是为了能干干净净地初始化。这样任何类型都只需要带上checker作为自己的字段就行,不用关心它是这么初始化的。

还有个小问题,为什么设置checker的值需要原子操作,但读取就不用呢?

因为读取一个uintptr的值,在现代的x86和arm处理器上只要一个指令,所以要么读到过时的值要么读到最新的值,不会读到错误的或者写了一半的不完整的值,对于读到旧值的情况(主要出现在第一次调用check的时候),还有step 3做进一步的检查,因此不会影响整个检测逻辑。而“比较并交换”显然一条指令做不完,如果在中间步骤被打断那么整个操作的结果很可能就是错的,从而影响整个检测逻辑,所以必须要用原子操作才行。

那么在读取的时候也使用atomic.Load行吗?当然行,但一是这么做仍然避免不了step 3的检测,可以思考下是为什么;二是原子操作相比直接读取会带来性能损失,在这里不使用原子操作也能保证正确性的情况下这是得不偿失的。

性能

因为是运行时检测,所以我们得看看会对性能带来多少影响。我们使用改进版的checker。

type CheckBench struct {
num uint64
checker copyChecker
} func (c *CheckBench) CheckCopy() {
c.checker.check()
c.num++
} // 不进行检测
func (c *CheckBench) NoCheck() {
c.num++
} func BenchmarkCheckBench_NoCheck(b *testing.B) {
c := CheckBench{}
for i := 0; i < b.N; i++ {
for j := 0; j < 50; j++ {
c.NoCheck()
}
}
} func BenchmarkCheckBench_WithCheck(b *testing.B) {
c := CheckBench{}
for i := 0; i < b.N; i++ {
for j := 0; j < 50; j++ {
c.CheckCopy()
}
}
}

测试结果如下:

cpu: Intel(R) Core(TM) i5-10200H CPU @ 2.40GHz
BenchmarkCheckBench_NoCheck-8 17689137 68.36 ns/op
BenchmarkCheckBench_WithCheck-8 17563833 66.04 ns/op

几乎可以忽略不计,因为我们这里没有发生复制,所以几乎每次检测都是通过的,这对cpu的分支预测非常友好,所以性能损耗几乎可以忽略。

所以我们给cpu添点堵,让分支预测没那么容易:

func BenchmarkCheckBench_WithCheck(b *testing.B) {
for i := 0; i < b.N; i++ {
c := &CheckBench{}
for j := 0; j < 50; j++ {
c.CheckCopy()
}
}
} func BenchmarkCheckBench_NoCheck(b *testing.B) {
for i := 0; i < b.N; i++ {
c := &CheckBench{}
for j := 0; j < 50; j++ {
c.NoCheck()
}
}
}

现在分支预测没那么容易了而且要多付出初始化时使用atomic的代价,测试结果会变成这样:

cpu: Intel(R) Core(TM) i5-10200H CPU @ 2.40GHz
BenchmarkCheckBench_WithCheck-8 15552717 74.84 ns/op
BenchmarkCheckBench_NoCheck-8 26441635 44.74 ns/op

差不多会慢40%。当然,实际的代码不会有这么极端,所以最坏可能也只会产生20%的影响,通常不太会成为性能瓶颈,运行时检测是否有影响还需结核profile。

优点和缺点

优点:

  1. 只要调用check,肯定能检查出是否被复制
  2. 简单

缺点:

  1. 所有的方法里都需要调用check,新加方法忘了调用的话就无法检测
  2. 只能在被复制出来的新对象那检测到复制操作,原先那个对象上check始终是没问题的,这样不是严格禁止了复制,但大多数时间没问题,可以接受
  3. 如果只复制了对象没调用任何对象上的方法,也无法检测到复制,这种情况比较少见
  4. 有潜在性能损耗,虽然很多时候可以得到充分优化损耗没那么夸张

静态检测实现禁止复制

动态检测的缺点不少,能不能像c++那样编译期就禁止复制呢?

利用Locker接口不可复制实现静态检测

也可以,但得配合静态代码检测工具,比如自带的go vet。看下代码:

// 实现sync.Locker接口
type noCopy struct{}
func (*noCopy) Lock() {}
func (*noCopy) Unlock() {} type SomethingCannotCopy struct {
noCopy
}

这样就行了,不需要再添加其他的代码。解释下原理:任何实现了sync.Locker的类型都不应该被拷贝,静态代码检测会检测出这些情况并报错。

所以类似下边的代码都是无法通过静态代码检测的:

func f(s SomethingCannotCopy) {
// 报错,因为参数会导致复制
// 返回SomethingCannotCopy也是不行的
} func (s SomethingCannotCopy) Method() {
// 报错,因为非指针类型接收器会导致复制
} func main() {
s := SomethingCannotCopy{}
sCopy := s // 报错
sInterface := any(s) // 报错
sPointer := &s // OK
sCopy2 := *sPointer // 报错
sInterface2 := any(sPointer) // OK
sCopy3 := *(sInterface2.(*SomethingCannotCopy)) // 报错
}

基本上涵盖了所以会产生复制操作的地方,基本能在编译期完成检测。

如果跳过go vet,直接使用go run或者go build,那么上面的代码可以正常编译并运行。

优点和缺点

因为只有静态检测,因此没有什么运行时开销,所以性能这节就不需要费笔墨了。主要来看下这种方案的优缺点。

优点:

  1. 实现非常简单,代码很简练,基本无侵入性
  2. 依赖静态检测,不影响运行时性能
  3. golang自带检测工具:go vet
  4. 可检测到的case比运行时检测多

缺点:

  1. 最大的缺点,尽管静态检测会报错,但仍然可以正常编译执行
  2. 不是每个测试环境和CI都配备了静态检测,所以很难强制保证类型没有被复制
  3. 会导致类型实现sync.Locker,然而很多时候我们的类型并不是类似锁的资源,使用这个接口只是为了静态检测,这会带来代码被误用的风险

标准库也使用的这套方案,建议仔细阅读这个issue里的讨论。

更进一步

看过运行时检测和静态检测两种方案之后,我们会发现这些做法多少都有些问题,不尽如人意。

所以我们还是要追求一种更好用的,更符合golang风格的做法。幸运的是,这样的做法是存在的。

利用package和interface进行封装

首先我们创建一个worker包,里面定义一个Worker接口,包中的数据对外以Worker接口的形式提供:

package worker

import (
"fmt"
) // 对外只提供接口来访问数据
type Worker interface {
Work()
} // 内部类型不导出,以接口的形式供外部使用
type normalWorker struct {
// data members
}
func (*normalWorker) Work() {
fmt.Println("I am a normal worker.")
}
func NewNormalWorker() Worker {
return &normalWorker{}
} type specialWorker struct {
// data members
}
func (*specialWorker) Work() {
fmt.Println("I am a special worker.")
}
func NewSpecialWorker() Worker {
return &specialWorker{}
}

worker包对外只提供Worker接口,用户可以使用NewNormalWorkerNewSpecialWorker来生成不同种类的worker,用户不需要关心具体的返回类型,只要使用得到的Worker接口即可。

这么做的话,在worker包之外是看不到normalWorkerspecialWorker这两个类型的,所以没法靠反射和类型断言取出接口引用的数据;因为我们传给接口的是指针,因此源数据不会被复制;同时我们在第一节提到过,把一个接口赋值给另一个接口(worker包之外你只能这么做),底层被引用的数据不会被复制,因此在包外始终不会在这两个类型上产生复制的行为。

因此下面这样的代码是不可能通过编译的:

func main() {
w := worker.NewSpecialWorker()
// worker.specialWorker 在worker包以外不可见,因此编译错误
wCopy := *(w.(*worker.specialWorker))
wCopy.Work()
}

优点和缺点

这样就实现了worker包之外的禁止复制,下面来看看优缺点。

优点:

  1. 不需要额外的静态检查工具在编译代码前执行检查
  2. 不需要运行时动态检测是否被复制
  3. 不会实现自己不需要的接口类型导致污染方法集
  4. 符合golang开发中的习惯做法

缺点:

  1. 并没有让类型本身不可复制,而是靠封装屏蔽了大部分可能导致复制的情况
  2. 这些worker类型在包内是可见的,如果在包内修改代码时不注意可能会导致复制这些类型的值,所以要么包内也都用Woker接口,要么参考上一节添加静态检查
  3. 有些场景下不需要接口或者因为性能要求苛刻而使用不了接口,这种做法就行不通了,比如标准库sync里的类型为了性能大部分都是暴露出来给外部直接使用的

综合来说,这种方案是实现成本最低的。

总结

现在我们有三种方式防止我们的类型被复制:

  1. 运行时检测
  2. 静态代码检测
  3. 通过接口封装避免暴露类型,从而避免被复制

一共三种方案,选择困难症仿佛要发作了。别着急,我们一起看看标准库是怎么做的:

  1. 标准库的sync.Cond同时使用了方案一和方案二,因为设计者确实很不希望条件变量被复制
  2. sync.Mutexsync.Poolsync.WaitGroup使用了方案二,需要配合go vet
  3. 方案三在标准库中应用最广泛,然而多数是处于设计和封装的考虑,并不是为了禁止copy,但复制crypto包下的那些HashCipher确实没什么意义会带来误用,正好借着方案三避免了这些问题

综合来看首选的应该是方案三;但也有需要使用方案二的时候,比如sync包中的那些同步机构;使用最少的是方案一,尽可能地不要设计出类似的代码。

还有一点需要注意,如果你的类型里有字段是sync.Poolsync.WaitGroupsync.RWMutexsync.Mutexsync.Condsync.Mapsync.Once,那么这个类型本身也是不可复制的,也不需要额外实现禁止复制的功能,因为那些字段自带了。

最后,我只想说golang的语言技能实在是太简陋了,想只依赖语言特性实现禁止复制的功能不太现实,更多的还是需要靠“设计”。

golang拾遗:实现一个不可复制类型的更多相关文章

  1. golang拾遗:嵌入类型

    这里是golang拾遗系列的第三篇,前两篇可以点击此处链接跳转: golang拾遗:为什么我们需要泛型 golang拾遗:指针和接口 今天我们要讨论的是golang中的嵌入类型(embedding t ...

  2. golang拾遗:自定义类型和方法集

    golang拾遗主要是用来记录一些遗忘了的.平时从没注意过的golang相关知识. 很久没更新了,我们先以一个谜题开头练练手: package main import ( "encoding ...

  3. golang拾遗:指针和接口

    这是本系列的第一篇文章,golang拾遗主要是用来记录一些遗忘了的.平时从没注意过的golang相关知识.想做本系列的契机其实是因为疫情闲着在家无聊,网上冲浪的时候发现了zhuihu上的go语言爱好者 ...

  4. 工作随笔——Golang interface 转换成其他类型

    新的公司,新的氛围.一年了,打算写点什么.so,那就写google的golang语言吧. 最最最基础的语法结构见go语言菜鸟教程 接下来写点菜鸟教程没有的. go语言的设计者认为:go语言必须让程序员 ...

  5. golang拾遗:为什么我们需要泛型

    从golang诞生起是否应该添加泛型支持就是一个热度未曾消减的议题.泛型的支持者们认为没有泛型的语言是不完整的,而泛型的反对者们则认为接口足以取代泛型,增加泛型只会徒增语言的复杂度.双方各执己见,争执 ...

  6. .NET基础拾遗(1)类型语法基础和内存管理基础

    Index : (1)类型语法.内存管理和垃圾回收基础 (2)面向对象的实现和异常的处理 (3)字符串.集合与流 (4)委托.事件.反射与特性 (5)多线程开发基础 (6)ADO.NET与数据库开发基 ...

  7. Entity Framework 6 Recipes 2nd Edition(10-4)译 -> 从存储过程返回一个复杂类型

    10-4. 从存储过程返回一个复杂类型 问题 想在方法中使用一个返回复杂类型的存储过程 解决方案 假设我们已经有如Figure 10-3.所示的模型,该Employee (雇员)模型包含Employe ...

  8. Entity Framework 6 Recipes 2nd Edition(11-5)译 -> 从”模型定义”函数返回一个匿名类型

    11-5. 从”模型定义”函数返回一个匿名类型 问题 想创建一个返回一个匿名类型的”模型定义”函数 解决方案 假设已有游客(Visitor) 预订(reservation)房间(hotel ) 的模型 ...

  9. Entity Framework 6 Recipes 2nd Edition(11-6)译 -> 从一个”模型定义”函数里返回一个复杂类型

    11-6.从一个”模型定义”函数里返回一个复杂类型 问题 想要从一个”模型定义”函数返回一个复杂类型 解决方案 假设我们有一个病人(patient)和他们访客(visit)的模型,如 Figure 1 ...

  10. 给定一个double类型的数组arr,其中的元素可正可负可0,返回子数组累乘的最大乘积。例如arr=[-2.5,4,0,3,0.5,8,-1],子数组[3,0.5,8]累乘可以获得最大的乘积12,所以返回12。

    分析,是一个dp的题目, 设f[i]表示以i为结尾的最大值,g[i]表示以i结尾的最小值,那么 f[i+1] = max{f[i]*arr[i+1], g[i]*arr[i+1],arr[i+1]} ...

随机推荐

  1. 错误“AxImp.exe”已退出,代码为 -1163019603

    最近调试项目时突然出现错误"AxImp.exe"已退出,代码为 -1163019603 发现引用中的组件出现了一个感叹号 经过核对是锐浪报表的组件出现了问题,尝试打开报表设计器也无 ...

  2. 图神经网络之预训练大模型结合:ERNIESage在链接预测任务应用

    1.ERNIESage运行实例介绍(1.8x版本) 本项目原链接:https://aistudio.baidu.com/aistudio/projectdetail/5097085?contribut ...

  3. 关于咪咕视频的m3u8再次解析

    软件和源码 前言 之前写过一片文章: 关于突破咪咕视频付费限制的研究, 但是后来我发现评论说已经不能用了,我知道肯定是api修改了,写这种东西就是这样,不一定什么时候就变化了,然后就用不了了,我懒得继 ...

  4. @responseBody 返回更多数据

    @responseBody:注解的作用是将controller的方法返回的对象通过适当的转换器转换为指定的格式之后,写入到response对象的body区,通常用来返回JSON数据或者是XML数据,需 ...

  5. vite安装使用流程

    安装vite 使用npm npm create vite@latest 使用yarn yarn create vite 使用pnpm pnpm create vite 还有一些选择配置比如使用那种框架 ...

  6. 【每日一题】【将cur的next尾插到pre后面,尾插k-1次】25. K 个一组翻转链表-211115&220120

    给你一个链表,每 k 个节点一组进行翻转,请你返回翻转后的链表. k 是一个正整数,它的值小于或等于链表的长度. 如果节点总数不是 k 的整数倍,那么请将最后剩余的节点保持原有顺序. 进阶: 你可以设 ...

  7. 使用sanic框架实现分布式爬虫

    bee_server.py from sanic import Sanic from sanic import response from urlpool import UrlPool #初始化url ...

  8. 解决笔记本安装centos7后无法调节屏幕亮度

    起因:本人有台老古董笔记本,大约是10年前左右了,三星rv411,配置较低无法安装win7以上的系统.装个CentOS7正好可以拿来学习Linux系统. 但是遇到一个特别恶心的情况,笔记本上调节屏幕亮 ...

  9. Django框架:2、静态文件配置、form表单、request对象、pycharm链接数据库、django链接数据库、ORM框架

    Django框架 目录 Django框架 一.静态文件配置 1.静态文件 2.配置方法 二.form表单 1.action属性 2.method属性 三.request对象 1.基本用法 四.pych ...

  10. Ubuntu 22.04 LTS 安装 0.A.D 实时策略游戏 并汉化

    众所周知,Linux生态中,能玩的正儿八经的大型游戏其实没几个,而 0.A.D 这个游戏就是这其中之一.这是一个类似于帝国时代的实时策略游戏,开源跨平台,这是其官方网站:https://play0ad ...