前言 分布式信号量,之前在 Redisson 中也介绍过,Redisson 的信号量是将计数维护在 Redis 中的,那现在来看一下 Curator 是如何基于 ZooKeeper 实现信号量的. 使用 Demo public class CuratorDemo { public static void main(String[] args) throws Exception { String connectString = "127.0.0.1:2181,127.0.0.1:2182,127.…

ZooKeeper 分布式锁 Curator 源码 02:可重入锁重复加锁和锁释放 前言 加锁逻辑已经介绍完毕,那当一个线程重复加锁是如何处理的呢? 锁重入 在上一小节中,可以看到加锁的过程,再回头看 internalLock 这个方法. 加锁成功之后,将当前线程放到 threadData 中,threadData 是 ConcurrentMap<Thread, LockData> 类型的,不用担心并发问题. 假如锁重入了,直接就会在上一部分 lockData != null 被拦下,然后执行…

前言 在了解了加锁和锁重入之后,最需要了解的还是在分布式场景下或者多线程并发加锁是如何处理的? 并发加锁 先来看结果,在多线程对 /locks/lock_01 加锁时,是在后面又创建了新的临时节点. 这块在加锁方法 CreateBuilderImpl#pathInForeground 中已经介绍过 这里判断 /locks/lock_01 路径已经存在,会直接创建新的临时顺序节点. 真正判断锁是否获取成功,其实是在 LockInternals#attemptLock 方法中的 internalLo…

前言 一般工作中常用的分布式锁,就是基于 Redis 和 ZooKeeper,前面已经介绍完了 Redisson 锁相关的源码,下面一起看看基于 ZooKeeper 的锁.也就是 Curator 这个框架. Curator 的锁也分为很多种,本文分析共享可重入锁. 考虑到如果文章篇幅较长,不太适合阅读,所以对文章做了适当的拆分. 环境配置 本机三个节点 版本:3.7.0 系统:macOS 安装方式:brew install zookeeper Curator Maven 依赖版本:5.1.0 <…

互斥锁 互斥锁又称互斥互斥锁,是一种特殊的信号量,它和信号量不同的是,它具有互斥锁所有权.递归访问以及优先级继承等特性,在操作系统中常用于对临界资源的独占式处理.在任意时刻互斥锁的状态只有两种,开锁或闭锁,当互斥锁被任务持有时,该互斥锁处于闭锁状态,当该任务释放互斥锁时,该互斥锁处于开锁状态. 一个任务持有互斥锁就表示它拥有互斥锁的所有权,只有该任务才能释放互斥锁,同时其他任务将不能持有该互斥锁,这就是互斥锁的所有权特性. 当持有互斥锁的任务再次获取互斥锁时不会被挂起,而是能递归获取,这就是互斥…

前言 Golang中有两种类型的锁,Mutex (互斥锁)和RWMutex(读写锁)对于这两种锁的使用这里就不多说了,本文主要侧重于从源码的角度分析这两种锁的具体实现. 引子问题 我一般喜欢带着问题去看源码.那么对于读写锁,你是否有这样的问题,为什么可以有多个读锁?有没有可能出现有协程一直无法获取到写锁的情况?带着你的疑问来往下看看,具体这个锁是如何实现的. 如果你自己想看,我给出阅读的一个思路,可以先看读写锁,因为读写锁的实现依赖于互斥锁,并且读写锁比较简单一些,然后整理思路之后再去想一下实际…

前言 Redisson是一个在Redis的基础上实现的Java驻内存数据网格(In-Memory Data Grid).Redisson有一样功能是可重入的分布式锁.本文来讨论一下这个功能的特点以及源码分析. 前置知识 在讲Redisson,咱们先来聊聊分布式锁的特点以及Redis的发布/订阅机制,磨刀不误砍柴工. 分布式锁的思考 首先思考下,如果我们自己去实现一个分布式锁,这个锁需要具备哪些功能? 互斥(这是一个锁最基本的功能) 锁失效机制(也就是可以设置锁定时长,防止死锁) 高性能.高可用…

[源码解析] 分布式任务队列 Celery 之启动 Consumer 目录 [源码解析] 分布式任务队列 Celery 之启动 Consumer 0x00 摘要 0x01 综述 1.1 kombu.consumer 1.2 Celery Consumer 0x02 start in worker 0x03 start in consumer 3.1 start consumer.blueprint 3.2 Connection step 子组件 3.2.1 connect in consumer…

[源码分析] 分布式任务队列 Celery 之 发送Task & AMQP 目录 [源码分析] 分布式任务队列 Celery 之 发送Task & AMQP 0x00 摘要 0x01 示例代码 1.1 服务端 1.2 客户端 0x02 系统启动 2.1 产生Celery 2.2 task 装饰器 2.2.1 添加任务 2.2.2 绑定 2.3 小结 0x03 amqp类 3.1 生成 3.2 定义 0x04 发送Task 4.1 apply_async in task 4.2 send_t…

[源码分析] 分布式任务队列 Celery 多线程模型 之 子进程 目录 [源码分析] 分布式任务队列 Celery 多线程模型 之 子进程 0x00 摘要 0x01 前文回顾 1.1 基类作用 1.2 子进程抽象 1.3 Fork过程 0x02 预先准备 2.1 总体准备流程 2.2 获取命令 2.3 调用 windows 系统方法 2.4 传递父进程信息 0x03 子进程启动 3.1 从命令行进入 3.2 _main 读取父进程关键信息 3.3 SpawnProcess 启动 3.3.1 _…