singleflight 使用方法以及源码阅读

1、简介

安装方式:

go get -u golang.org/x/sync/singleflight

singleflight 是Go官方扩展同步包的一个库。通过给每次函数调用分配一个key,相同key的函数并发调用时,在函数执行期间,相同函数的调用,只会被执行一次,返回相同的结果。其本质是对函数调用的结果进行复用

2、使用方法

2.1 使用Do获取函数执行结果

Do方法是同步返回函数执行结果

package main

import (
"fmt"
"golang.org/x/sync/singleflight"
"runtime"
"sync"
"time"
) func main() {
var sg singleflight.Group
var wg sync.WaitGroup for i := 0; i < 10; i++ {
wg.Add(1) go func(j int) {
defer wg.Done()
v, err, shared := sg.Do("testDo", testDo) fmt.Printf("i: %v, v:%v, err:%v, shared:%v\n", j, v, err, shared)
}(i)
} wg.Wait()
} func testDo() (interface{}, error) {
// 模拟函数执行需要的时间
time.Sleep(time.Millisecond) return "testDo", nil
}

2.2 使用DoChan获取函数执行结果

DoChan返回一个 channel,函数执行的结果通过 channel 来进行传递。

package main

import (
"fmt"
"golang.org/x/sync/singleflight"
"runtime"
"sync"
"time"
) func main() {
var sg singleflight.Group
var wg sync.WaitGroup for i := 0; i < 10; i++ {
wg.Add(1) go func(j int) {
defer wg.Done()
ch := sg.DoChan("testDoChan", testDoChan)
select {
case ret := <- ch:
fmt.Printf("i: %v, v:%v, err:%v, shared:%v\n", j, ret.Val, ret.Err, ret.Shared) } }(i)
} wg.Wait()
} func testDoChan() (interface{}, error) {
// 模拟函数执行需要的时间
time.Sleep(time.Millisecond) return "testDoChan", nil
}

3、源码解读

3.1 Group

//Group 整个库的核心结构体
type Group struct {
mu sync.Mutex // 并发时,保护 m
m map[string]*call // 使用 懒加载 方式进行初始化
}

3.2 call

//call m中的value
type call struct {
wg sync.WaitGroup //相同key,fn执行的返回结果
val interface{}
err error //fn执行期间,相同 key 添加的次数,第一次添加不算
dups int
chans []chan<- Result // DoChan 返回fn执行的结果
}

3.3 Group.Do

//Do 执行函数的地方,key: 给函数自定义的标识
//fn: 需要执行的函数,fn开始运行后,未运行结果前,这个期间对相同key的调用,都会返回第一次执行fn返回的结果
//v:fn执行返回的结果,err:fn执行返回的err
//shared:fn执行结果是否会共享,fn运行期间,是否有相同的key被调用,有则返回true,反之返回false
func (g *Group) Do(key string, fn func() (interface{}, error)) (v interface{}, err error, shared bool) {
g.mu.Lock()
if g.m == nil {//懒加载
g.m = make(map[string]*call)
}
if c, ok := g.m[key]; ok {//fn执行期间,又有相同的key添加进来执行
c.dups++ //fn执行期间,有相同的key添加进来
g.mu.Unlock()
c.wg.Wait() //等待fn执行结果(fn函数里面,会调用c.wg.Done) //-------
//判断fn执行过程中,是否有 panic 或者 runtime.Goexit()
//感觉主要是为了 DoChan 函数,DoChan 返回的是channel,防止fn函数执行期间出现问题,导致无法往 chan 里面写入结果。
//从而导致 外面需要获取 fn 执行结果的协程一直在等待
if e, ok := c.err.(*panicError); ok {
panic(e)
} else if c.err == errGoexit {
runtime.Goexit()
}
return c.val, c.err, true
} //---- 以下是key 第一次添加到 m 中时,执行的代码---
c := new(call)
c.wg.Add(1)
g.m[key] = c
g.mu.Unlock() // 执行 fn 的地方
g.doCall(c, key, fn) // 没有新开一个协程,和DoChan不同。
return c.val, c.err, c.dups > 0
}

3.4 Group.DoChan

//DoChan 和Do 十分类似,只不过返回的结果通过 chan 来传递
func (g *Group) DoChan(key string, fn func() (interface{}, error)) <-chan Result {
ch := make(chan Result, 1)
g.mu.Lock()
if g.m == nil {//懒加载
g.m = make(map[string]*call)
}
if c, ok := g.m[key]; ok {//fn执行期间,又有相同的key添加进来执行
c.dups++
c.chans = append(c.chans, ch)
g.mu.Unlock()
return ch
} //---- 以下是key 第一次添加到 m 中时,执行的代码---
c := &call{chans: []chan<- Result{ch}}
c.wg.Add(1)
g.m[key] = c
g.mu.Unlock() go g.doCall(c, key, fn) // 新开启了一个协程,和Do不同 return ch
}

3.5 Group.doCall

  • 双defer+normalReturn+recovered 判断fn执行是panic还是runtime.Goexit
//doCall 真正运行fn的地方,需要重点理解
func (g *Group) doCall(c *call, key string, fn func() (interface{}, error)) {
normalReturn := false //是否正常返回,默认false
recovered := false //是否recover,默认false // use double-defer to distinguish panic from runtime.Goexit,
//使用双 defer 来区分 panic和runtime.Goexit
//是需要结合 normalReturn 和 recovere 的值来进行判断,从而区分是panic还是runtime.Goexit
defer func() {
// the given function invoked runtime.Goexit
if !normalReturn && !recovered {
//既没有正常返回,又没有被 recover,所以是fn执行期间,调用了 runtime.Goexit()
c.err = errGoexit
} g.mu.Lock()
defer g.mu.Unlock()
c.wg.Done()
// 走到这里,fn函数已经执行过了
if g.m[key] == c {
delete(g.m, key) //fn函数执行完毕,好让后续的key可以继续进来执行fn函数
} if e, ok := c.err.(*panicError); ok { // recover住的错误
// In order to prevent the waiting channels from being blocked forever,
// needs to ensure that this panic cannot be recovered.
if len(c.chans) > 0 { //通过使用DoChan来执行 fn,发生的错误
go panic(e) // recover只能够 recover住同一个协程里的panic,不是同一个协程的无法捕获。
select {} // 保证协程不退出,错误会直接暴露出去
} else { //通过使用 Do来执行fn,发生的错误
panic(e)
}
} else if c.err == errGoexit {
// Already in the process of goexit, no need to call again
//第一个调用的fn函数的协程已经退出,相同key的函数因为 chan 接收不到数据,会发生死锁()
//fatal error: all goroutines are asleep - deadlock!
} else {
// Normal return
for _, ch := range c.chans {
ch <- Result{c.val, c.err, c.dups > 0}
}
}
}() func() {
defer func() {
if !normalReturn {//fn执行期间,发生了panic
if r := recover(); r != nil {
c.err = newPanicError(r) // 标识为panic错误,Do函数中判断时,好做区分 e, ok := c.err.(*panicError)
}
}
}() c.val, c.err = fn()
normalReturn = true //fn执行期间,没有panic
}() if !normalReturn {
recovered = true //fn执行期间,发生了panic,并且被 recover住了,注意:调用runtime.Goexit()时,是无法recover的
}
}

3.6 Group.Forget

//Forget 使用Do执行fn时,可以手动删除 g.m 中的key
func (g *Group) Forget(key string){
g.mu.Lock()
delete(g.m, key)
g.mu.Unlock()
}

4、执行流程

菜鸟一枚,文中难免有错误的地方,如有,恳请大佬指出。

5、参考资料

绝对详尽的singleflight讲解

singleflight 使用记录以及源码阅读的更多相关文章

  1. EventBus源码解析 源码阅读记录

    EventBus源码阅读记录 repo地址: greenrobot/EventBus EventBus的构造 双重加锁的单例. static volatile EventBus defaultInst ...

  2. 【原】AFNetworking源码阅读(五)

    [原]AFNetworking源码阅读(五) 本文转载请注明出处 —— polobymulberry-博客园 1. 前言 上一篇中提及到了Multipart Request的构建方法- [AFHTTP ...

  3. 【原】AFNetworking源码阅读(三)

    [原]AFNetworking源码阅读(三) 本文转载请注明出处 —— polobymulberry-博客园 1. 前言 上一篇的话,主要是讲了如何通过构建一个request来生成一个data tas ...

  4. 【原】AFNetworking源码阅读(一)

    [原]AFNetworking源码阅读(一) 本文转载请注明出处 —— polobymulberry-博客园 1. 前言 AFNetworking版本:3.0.4 由于我平常并没有经常使用AFNetw ...

  5. [PHP源码阅读]explode和implode函数

    explode和implode函数主要用作字符串和数组间转换的操作,比如获取一段参数后根据某个字符分割字符串,或者将一个数组的结果使用一个字符合并成一个字符串输出.在PHP中经常会用到这两个函数,因此 ...

  6. 【原】SDWebImage源码阅读(五)

    [原]SDWebImage源码阅读(五) 本文转载请注明出处 —— polobymulberry-博客园 1. 前言 前面的代码并没有特意去讲SDWebImage的缓存机制,主要是想单独开一章节专门讲 ...

  7. 源码阅读系列:EventBus

    title: 源码阅读系列:EventBus date: 2016-12-22 16:16:47 tags: 源码阅读 --- EventBus 是人们在日常开发中经常会用到的开源库,即使是不直接用的 ...

  8. angular源码阅读,依赖注入的原理:injector,provider,module之间的关系。

    最开始使用angular的时候,总是觉得它的依赖注入方式非常神奇. 如果你跳槽的时候对新公司说,我曾经使用过angular,那他们肯定会问你angular的依赖注入原理是什么? 这篇博客其实是angu ...

  9. CI框架源码阅读笔记5 基准测试 BenchMark.php

    上一篇博客(CI框架源码阅读笔记4 引导文件CodeIgniter.php)中,我们已经看到:CI中核心流程的核心功能都是由不同的组件来完成的.这些组件类似于一个一个单独的模块,不同的模块完成不同的功 ...

  10. CI框架源码阅读笔记4 引导文件CodeIgniter.php

    到了这里,终于进入CI框架的核心了.既然是“引导”文件,那么就是对用户的请求.参数等做相应的导向,让用户请求和数据流按照正确的线路各就各位.例如,用户的请求url: http://you.host.c ...

随机推荐

  1. go实现ls

    package mainimport ( "fmt" "log" "os")func main () { f,err :=os.Open(& ...

  2. nodejs中的kafkajs,消费顺序,不重复消费

    参考:https://kafka.js.org/docs 确保同一个消息发送到同一个partition,一个topic,一个partition,一个consumer,内部单线程消费1.封装kafkaU ...

  3. 基于Face-Recognition的计算机人脸识别安全认证程序

    20202411 2020-2021-2 <Python程序设计>实验四报告 基于Face-Recognition的计算机人脸识别安全认证程序 课程:<Python程序设计> ...

  4. python批量导出、安装依赖库文件

    导出: 在原环境中 pip freeze > fname.txt 安装: 在新环境中  pip install -r fname.txt 其中fname.txt 可以随意命名,其存储安装库文件列 ...

  5. Java基础Day4-Java方法

    一.方法的定义 Java的方法类似于其它语言的函数,是一段用来完成特定功能的代码片段. 方法包括一个方法头和一个方法体. 修饰符 返回值类型 方法名(参数类型 参数名){      方法体      ...

  6. 怎样修改linux内核

    1.先查看linux内核 uname -a 2.打开内核配置文件 sudo vi /etc/default/grub 3.跟新grub文件 sudo update-grub 4.最后重启电脑 sudo ...

  7. IOS文件下载时,文件名的处理

    string contentType = MimeMapping.GetMimeMapping(name);var isIOS = false; if (Request.UserAgent != nu ...

  8. MySQL查询和事务

    数据库关联查询 内连接查询(inner join) SELECT * FROM tb1 INNER JOIN tb2 ON 条件 左表查询(左关联查询)(left join) 查询两个表共有的数据,和 ...

  9. Jmeter检查点

    一.Response Assertion(响应断言) 1. 添加响应断言 对Web请求的响应结果进行验证,Response Assertion配置参数 2. 输入需要匹配的字符串 此处对于访问Baid ...

  10. Python自学day03

    1.数据类型 int       1,2,3用于计算 bool    True,False用于判断 str       存储少量数据,用于操作 list       存储大量数据  [1,2,3,'a ...