go 如何优雅的实现一个 goroutine 池

2024-09-03

Golang（九）简单 Goroutine 池实现

0. 前言最近使用 Golang 写一个并发执行的测试脚本之前习惯使用 Java,习惯性想先建一个线程池.然后意识到 Golang 没有封装好的线程池结合之前学习的 Goroutine 原理和 Golang 大道至简的设计思想,可能 Goroutine 的开销和切换代价比较低,不需要对并发数有过多限制但是 Goroutine 启动数量过多的话总感觉不太好,于是利用锁和通道实现了简单的线程池做并发控制,欢迎大家点评源码地址:https://github.com/wangao1236/Go

gf框架之grpool - 高性能的goroutine池

Go语言中的goroutine虽然相对于系统线程来说比较轻量级,但是在高并发量下的goroutine频繁创建和销毁对于性能损耗以及GC来说压力也不小.充分将goroutine复用,减少goroutine的创建/销毁的性能损耗,这便是grpool对goroutine进行池化封装的目的.例如,针对于100W个执行任务,使用goroutine的话需要不停创建并销毁100W个goroutine,而使用grpool也许底层只需要几千个goroutine便能充分复用地执行完成所有任务.经测试,在高并发下gr

Go语言-并发模式-goroutine池实例（work）

介绍使用无缓冲的通道来创建一个 goroutine 池,这些 goroutine 执行并控制一组工作,让其并发执行.在这种情况下,使用无缓冲的通道要比随意指定一个缓冲区大小的有缓冲的通道好,因为这个情况下既不需要一个工作队列,也不需要一组 goroutine 配合执行.这种使用无缓冲的通道的方法允许使用者知道什么时候 goroutine 池正在执行工作,而且如果池里的所有goroutine 都忙,无法接受新的工作的时候,也能及时通过通道来通知调用者.使用无缓冲的通道不会有工作在队列里丢失或者卡

用golang 实现一个代理池

背景写爬虫的时候总会遇到爬取速度过快而被封IP的情况,这个时候就需要使用代理了.在https://github.com/henson/ProxyPool 的启发下,决定自己实现一个代理池.项目已经开源在github. https://github.com/AceDarkkinght/GoProxyCollector 开发环境 windows 7,Go 1.8.4 数据来源 http://www.xicidaili.com http://www.89ip.cn http://www.kxdail

如何优雅的关闭Java线程池

面试中经常会问到,创建一个线程池需要哪些参数啊,线程池的工作原理啊,却很少会问到线程池如何安全关闭的. 也正是因为大家不是很关注这块,即便是工作三四年的人,也会有因为线程池关闭不合理,导致应用无法正常stop的情况,还有出现一些报错的问题. 本篇就以ThreadPoolExecutor为例,来介绍下如何优雅的关闭线程池. 01 线程中断在介绍线程池关闭之前,先介绍下Thread的interrupt. 在程序中,我们是不能随便中断一个线程的,因为这是极其不安全的操作,我们无法知道这个线程正运行在

如果裸写一个goroutine pool

引言在上文中,我说到golang的原生http server处理client的connection的时候,每个connection起一个goroutine,这是一个相当粗暴的方法.为了感受更深一点,我们来看一下go的源码.先定义一个最简单的http server如下. 1 2 3 4 5 6 7 8 func myHandler(w http.ResponseWriter, r *http.Request) { fmt.Fprintf(w, "Hello there!\n")

golang中goroutine池的使用

1. 概念本质上是生产者.消费者模型可以有效的控制goroutine数量,防止暴涨案例:生成一个随机数,计算该随机数每一个数字相加的和,例如:123:1+2+3=6主协程负责生产数据发送到待处理通道中去(发送的不仅仅是数据,而是包含数据的结构体指针)一个子协程负责监听结果通道,一旦有数据,取出来打印(取出来的不仅仅是结果数据,而是包含结果数据的结构体指针,而该结果结构体指针内部又嵌入了原生产数据的结构体指针)还有一个协程池负责相对来说耗时的数据处理操作,从生产通道中读取数据,处理完成后,构建结果

二 Java利用等待/通知机制实现一个线程池

接着上一篇博客的一Java线程的等待/通知模型 ,没有看过的建议先看一下.下面我们用等待通知机制来实现一个线程池线程的任务就以打印一行文本来模拟耗时的任务.主要代码如下: 1 定义一个任务的接口. /* * 任务的接口 */ public interface Task { void doSomething(); } 2 实现一个具体的任务. /* * 具体的任务 */ public class PrintTask implements Task{ //打印一句话,睡一秒,来模拟耗时的任务

ExecutorService实际上是一个线程池的管理工具

在Java5之后,并发线程这块发生了根本的变化,最重要的莫过于新的启动.调度.管理线程的一大堆API了.在Java5以后,通过Executor来启动线程比用 Thread的start()更好.在新特征中,可以很容易控制线程的启动.执行和关闭过程,还可以很容易使用线程池的特性. 一.创建任务任务就是一个实现了Runnable接口的类. 创建的时候实run方法即可. 二.执行任务通过java.util.concurrent.ExecutorService接口对象来执行任务,该接口对象通过工具类j

C# 线程手册第三章使用线程实现一个数据库连接池(实战篇)

在企业级软件开发过程中,为了改善应用程序的性能需要通常使用对象池来控制对象的实例化.例如,在我们每次需要连接一个数据库时都需要创建一个数据库连接,而数据库连接是非常昂贵的对象.所以,为了节省为每次数据库调用都实例化一个数据库连接的资源,我们可以缓存并重用一些创建好的数据库连接对象并通过节省为每次数据库调用都创建一个数据库连接对象的时间和资源来大幅度提高程序性能. 对象池与图书馆很像.图书馆里维护很多书籍.当对某本书的需求增加时,图书馆就会买更多书,否则的话读者们就会一直使用同一本书.在对象池中,

【前端】用javaScript实现实现一个球池的效果

ballPool 用javaScript实现实现一个球池的效果,实现效果如下所示: 动图: 截图: HTML代码: <!DOCTYPE html> <html > <head> <meta charset="UTF-8"> <title>ball pool</title> <link rel="stylesheet" href="css/style.css"> &

如何优雅的封装一个DOM事件库

1.DOM0级事件和DOM2级事件 DOM 0级事件是元素内的一个私有属性:div.onclick = function () {},对一个私有属性赋值(在该事件上绑定一个方法).由此可知DOM 0级事件只能给元素的某一个行为绑定一次方法,第二次绑定会把前面的覆盖掉. DOM 2级事件是让DOM元素通过原型链一直找到EventTarget这个内置类原型上的addEventListener方法来实现的. DOM 2可以给某一个元素的同一个行为绑定多个不同的方法 //实例 1 obj.addEven

python创建一个线程和一个线程池

创建一个线程 1.示例代码 import time import threading def task(arg): time.sleep(2) while True: num = input('>>>') t = threading.Thread(target=task.args=(num,)) t.start() 创建一个线程池 1.示例代码 import time from concurrent.futures import ThreadPoolExecutor def task(m

erlang实现一个进程池 pool

erlang的实现一个简单的进程池. erlang进程是非常轻量级的,这个进程池的主要目的是用一种通用的方式去管理和限制系统中运行的资源占用.当运行的工作者进程数量达到上限,进程池还可以把任务放到队列中,只要进程资源被释放,排队的任务就能获得运行,否则任务只能阻塞. 这是进程池的监督树 ppool_supersup监督着所有的进程池.一个进程池由ppool_sup.ppool_serv和worker_sup监督的工作者进程池组成.ppool_serv提供对外的进程池调用api,ppool_sup

如何在 Swoole 中优雅的实现 MySQL 连接池

如何在 Swoole 中优雅的实现 MySQL 连接池一.为什么需要连接池 ? 数据库连接池指的是程序和数据库之间保持一定数量的连接不断开, 并且各个请求的连接可以相互复用, 减少重复连接数据库带来的资源消耗, 一定程度上提高了程序的并发性能. 二.连接池实现要点协程:使用 MySQL 协程客户端. 使用 MySQL 协程客户端,是为了能在一个 Worker 阻塞的时候, 让出 CPU 时间片去处理其他的请求,提高整个 Worker 的并发能力. 连接池存储介质:使用 \swoole\cor

Android 性能优化（16）线程优化：Creating a Manager for Multiple Threads 如何创建一个线程池管理类

Creating a Manager for Multiple Threads 1.You should also read Processes and Threads The previous lesson showed how to define a task that executes on a separate thread. If you only want to run the task once, this may be all you need. If you want to r

如何优雅地关闭一个socket

最近在windows编程时需要考虑到“如何优雅地关闭一个socket”,查阅了一些资料,现将查到的相关资料做个汇编,希望能对后来者有所帮助(比较懒,所以英文资料没有翻译:-)) 1. 关闭Socket时究竟做了什么关闭socket分为主动关闭(Active closure)和被动关闭(Passive closure)两种情况.前者是指有本地主机主动发起的关闭:而后者则是指本地主机检测到远程主机发起关闭之后,作出回应,从而关闭整个连接. 其状态图如下图所示: 起初每个socket都是CLO

死磕 java线程系列之自己动手写一个线程池

欢迎关注我的公众号"彤哥读源码",查看更多源码系列文章, 与彤哥一起畅游源码的海洋. (手机横屏看源码更方便) 问题 (1)自己动手写一个线程池需要考虑哪些因素? (2)自己动手写的线程池如何测试? 简介线程池是Java并发编程中经常使用到的技术,那么自己如何动手写一个线程池呢?本文彤哥将手把手带你写一个可用的线程池. 属性分析线程池,顾名思义它首先是一个"池",这个池里面放的是线程,线程是用来执行任务的. 首先,线程池中的线程应该是有类别的,有的是核心线程,有

死磕 java线程系列之自己动手写一个线程池（续）

(手机横屏看源码更方便) 问题 (1)自己动手写的线程池如何支持带返回值的任务呢? (2)如果任务执行的过程中抛出异常了该怎么处理呢? 简介上一章我们自己动手写了一个线程池,但是它是不支持带返回值的任务的,那么,我们自己能否实现呢?必须可以,今天我们就一起来实现带返回值任务的线程池. 前情回顾首先,让我们先回顾一下上一章写的线程池: (1)它包含四个要素:核心线程数.最大线程数.任务队列.拒绝策略: (2)它具有执行无返回值任务的能力: (3)它无法处理有返回值的任务: (4)它无法处理任务

go select 使得一个 goroutine 在多个通讯操作上等待。

select 语句使得一个 goroutine 在多个通讯操作上等待. select 会阻塞,直到条件分支中的某个可以继续执行,这时就会执行那个条件分支.当多个都准备好的时候,会随机选择一个. package main import "fmt" func fibonacci(c, quit chan int) { x, y := 0, 1 for { select { case c <- x: x, y = y, x+y case <-quit: fmt.Println(&

go 如何优雅的实现一个 goroutine 池

热门专题