golang中goroutine池的使用
1. 概念
本质上是生产者、消费者模型
可以有效的控制goroutine数量,防止暴涨
案例:
生成一个随机数,计算该随机数每一个数字相加的和,例如:123:1+2+3=6
主协程负责生产数据发送到待处理通道中去(发送的不仅仅是数据,而是包含数据的结构体指针)
一个子协程负责监听结果通道,一旦有数据,取出来打印
(取出来的不仅仅是结果数据,而是包含结果数据的结构体指针,而该结果结构体指针内部又嵌入了原生产数据的结构体指针)
还有一个协程池负责相对来说耗时的数据处理操作,从生产通道中读取数据,处理完成后,构建结果结构体指针发送到结果通道中去
package main import (
"fmt"
"math/rand"
"sync"
) var wg sync.WaitGroup type Job struct {
Id int
RandNum int
}
type Result struct {
job *Job
sum int
} func main() { // chan中是要存数据的,整型、字符串、布尔、结构体、只够提指针
jobChan := make(chan *Job, 128)
resultChan := make(chan *Result, 128) // 开启一个goroutine从resultChan中取数据打印(消费数据)
/* 一直处理使用此方法
go func(result <-chan *Result) {
for ret := range result {
fmt.Printf("id:%d, randnum:%d, result:%d\n", ret.job.Id, ret.job.RandNum, ret.sum)
}
wg.Done()
}(resultChan)
*/
//
wg.Add(1)
go func(result <-chan *Result) {
for i := 0; i <10; i++ {
ret := <-result
fmt.Printf("id: %d, randNum: %d, sum: %d\n", ret.job.Id, ret.job.RandNum, ret.sum)
}
close(resultChan)
wg.Done()
}(resultChan) // 开启goroutine池去从jobChan中取数据,处理完后在发送到resultChan中
createPool(64, jobChan, resultChan) // 主goroutine负责生产随机数并发往通道(生产数据)
var i int
for i < 10 {
i++
randNum := rand.Int()
job := &Job{
Id: i,
RandNum: randNum,
}
// 结构体发送到通道也是拷贝,如果不想拷贝,可以发送结构体指针到通道中
jobChan <- job
}
close(jobChan) wg.Wait() } // 创建工作池,参数num:开启几个协程
func createPool(num int, jobChan <-chan *Job, resultChan chan<- *Result) {
for i := 0; i < num; i++ {
go func(jobChan <-chan *Job, resultChan chan<- *Result) {
for job := range jobChan {
r_num := job.RandNum // 接收随机值
var sum int // 存取结果值
for r_num != 0 {
tmp := r_num % 10
sum += tmp
r_num /= 10
}
r := &Result{
job: job,
sum: sum,
}
resultChan <- r // 发送到结果通道
}
}(jobChan, resultChan)
}
}
golang中goroutine池的使用的更多相关文章
- 谈谈Golang中goroutine的调度问题
goroutine的调度问题,同样也是我之前面试的问题,不过这个问题我当时并不是很清楚,回来以后立马查阅资料,现整理出来备忘. 有一些预备知识需要说明,就是操作系统中的线程.操作系统中的线程分为两种: ...
- golang中goroutine协程调度器设计策略
goroutine与线程 /* goroutine与线程1. 可增长的栈os线程一般都有固定的栈内存,通常为2MB,一个goroutine的在其声明周期开始时只有很小的栈(2KB),goroutine ...
- golang中goroutine
1. 概念 goroutine 奉行通过通信来共享内存,而不是共享内存来通信 goroutine 是由go的运行时(runtime)调度和管理的 go程序会智能的将goroutine中的任务合理的分配 ...
- golang中的goroutine
1. 概念 go中可以并发执行的活动单元称为goroutine当一个go程序启动时,一个执行main function的goroutine会被创建,称为main goroutinego func() ...
- Golang SQL连接池梳理
目录 一.如何理解数据库连接 二.连接池的工作原理 三.database/sql包结构 四.三个重要的结构体 4.1.DB 4.2.driverConn 4.3.Conn 五.流程梳理 5.1.先获取 ...
- golang中的race检测
golang中的race检测 由于golang中的go是非常方便的,加上函数又非常容易隐藏go. 所以很多时候,当我们写出一个程序的时候,我们并不知道这个程序在并发情况下会不会出现什么问题. 所以在本 ...
- Golang控制goroutine的启动与关闭
最近在用golang做项目的时候,使用到了goroutine.在golang中启动协程非常方便,只需要加一个go关键字: go myfunc(){ //do something }() 但是对于一些长 ...
- golang的goroutine与channel
Golang的goroutine是非抢占式的, 令人相当蛋疼! 有痛不能呻吟...只能配合channel在各goroutine之间传递信号来实现抢占式, 而这形成了golang最灵活与最具性能的核心. ...
- [golang学习] goroutine调度
这两天有些闲功夫, 学习下golang, 确实非常简洁. 不过有些缺憾. 在我的测试中. golang的调度(goroutine)似乎不是非常好. func say(k int) { fmt.Prin ...
随机推荐
- MindSpore联邦学习框架解决行业级难题
内容来源:华为开发者大会2021 HMS Core 6 AI技术论坛,主题演讲<MindSpore联邦学习框架解决隐私合规下的数据孤岛问题>. 演讲嘉宾:华为MindSpore联邦学习工程 ...
- 【PS算法理论探讨二】 Photoshop中图层样式之 投影样式 算法原理初探讨。
接下来几篇文章我们将稍微简单的探索下PS中多种图层混合模式的算法内部原理,因为毕竟没有这方面的官方资料,所以很多方面也只是本人自己的探索和实践,有可能和实际的情况有着较大的差异. 在PS的实践中,图层 ...
- ACwing02.01背包问题
有\(N\)件物品和一个容量是\(V\)的背包.每件物品只能使用一次. 第\(i\)件物品的体积是\(v_i\),价值是\(w_i\). 求解将哪些物品装入背包,可使这些物品的总体积不超过背包容量,且 ...
- 【九度OJ】题目1052:找x 解题报告
[九度OJ]题目1052:找x 解题报告 标签(空格分隔): 九度OJ [LeetCode] http://ac.jobdu.com/problem.php?pid=1052 题目描述: 输入一个数n ...
- 【Web前端】css属性cursor注意事项
注意使用cursor的url时url的括号后面必须+ ,auto: 错误示范:cursor:url('../picture/head.cur'); 正确示范:cursor: url(". ...
- CS5213设计说明书|Capstone CS5213|CS5213设计参考电路
Capstone CS5213是一款HDMI到VGA转换器结合了HDMI输入接口和模拟RGB DAC输出且带支持片上音频数模转换器.CS5213芯片设计简单,整体芯片尺寸精悍,外围电路集成优化度较高, ...
- k8s-svc
1. 简介 kubernets service 是将运行一组pods上的应用程序公开为网络服务的抽象方法. 有了 kubernets service,你就无需修改应用程序即可使用服务发现机制,kube ...
- 自学java,如何快速地找到工作
本人最近一直在帮零基础的java开发者提升能力和找工作,在这个过程中,发现零基础的java程序员,在自学和找工作时,普遍会出现一些问题,同时在实践过程中,也总结出了一些能帮零基础java开发尽快提升能 ...
- IPv6地址格式
1.说明 IPv6是互联网协议的第六版, 现有IPv4只支持大概40亿个网络地址, 而IPv6支持3.4e38个网络地址. IPv4的地址长度是32位(bit), IPv6的地址长度是128位. 尽管 ...
- Ranger知识地图
自己总结的Ranger的学习路线和知识点, 提供给感兴趣的同学入门参考之用. Ranger入门路线 1.准备能够上网的电脑,Eclisp开发环境,Linux服务器等: 2.掌握Hadoop(HDFS/ ...