面试必问之 ConcurrentHashMap 线程安全的具体实现方式
作者:炸鸡可乐
原文出处:www.pzblog.cn
一、摘要
在之前的集合文章中,我们了解到 HashMap 在多线程环境下操作可能会导致程序死循环的线上故障!
既然在多线程环境下不能使用 HashMap,那如果我们想在多线程环境下操作 map,该怎么操作呢?
想必阅读过小编之前写的《HashMap 在多线程环境下操作可能会导致程序死循环》一文的朋友们一定知道,其中有一个解决办法就是使用 java 并发包下的 ConcurrentHashMap 类!
今天呢,我们就一起来聊聊 ConcurrentHashMap 这个类!
二、简介
众所周知,在 Java 中,HashMap 是非线程安全的,如果想在多线程下安全的操作 map,主要有以下解决方法:
- 第一种方法,使用
Hashtable
线程安全类; - 第二种方法,使用
Collections.synchronizedMap
方法,对方法进行加同步锁; - 第三种方法,使用并发包中的
ConcurrentHashMap
类;
在之前的文章中,关于 Hashtable 类,我们也有所介绍,Hashtable 是一个线程安全的类,Hashtable 几乎所有的添加、删除、查询方法都加了synchronized
同步锁!
相当于给整个哈希表加了一把大锁,多线程访问时候,只要有一个线程访问或操作该对象,那其他线程只能阻塞等待需要的锁被释放,在竞争激烈的多线程场景中性能就会非常差,所以 Hashtable 不推荐使用!
再来看看第二种方法,使用Collections.synchronizedMap
方法,我们打开 JDK 源码,部分内容如下:
可以很清晰的看到,如果传入的是 HashMap 对象,其实也是对 HashMap 做的方法做了一层包装,里面使用对象锁来保证多线程场景下,操作安全,本质也是对 HashMap 进行全表锁!
使用Collections.synchronizedMap
方法,在竞争激烈的多线程环境下性能依然也非常差,所以不推荐使用!
上面2种方法,由于都是对方法进行全表锁,所以在多线程环境下容易造成性能差的问题,因为** hashMap 是数组 + 链表的数据结构,如果我们把数组进行分割多段,对每一段分别设计一把同步锁,这样在多线程访问不同段的数据时,就不会存在锁竞争了,这样是不是可以有效的提高性能?**
再来看看第三种方法,使用并发包中的ConcurrentHashMap
类!
ConcurrentHashMap 类所采用的正是分段锁的思想,将 HashMap 进行切割,把 HashMap 中的哈希数组切分成小数组,每个小数组有 n 个 HashEntry 组成,其中小数组继承自ReentrantLock(可重入锁)
,这个小数组名叫Segment
, 如下图:
当然,JDK1.7 和 JDK1.8 对 ConcurrentHashMap 的实现有很大的不同!
JDK1.8 对 HashMap 做了改造,当冲突链表长度大于8时,会将链表转变成红黑树结构,上图是 ConcurrentHashMap 的整体结构,参考 JDK1.7!
我们再来看看 JDK1.8 中 ConcurrentHashMap 的整体结构,内容如下:
JDK1.8 中 ConcurrentHashMap 类取消了 Segment 分段锁,采用 CAS
+ synchronized
来保证并发安全,数据结构跟 jdk1.8 中 HashMap 结构类似,都是数组 + 链表(当链表长度大于8时,链表结构转为红黑二叉树)结构。
ConcurrentHashMap 中 synchronized 只锁定当前链表或红黑二叉树的首节点,只要节点 hash 不冲突,就不会产生并发,相比 JDK1.7 的 ConcurrentHashMap 效率又提升了 N 倍!
说了这么多,我们再一起来看看 ConcurrentHashMap 的源码实现。
三、JDK1.7 中的 ConcurrentHashMap
JDK 1.7 的 ConcurrentHashMap 采用了非常精妙的分段锁策略,打开源码,可以看到 ConcurrentHashMap 的主存是一个 Segment 数组。
我们再来看看 Segment 这个类,在 ConcurrentHashMap 中它是一个静态内部类,内部结构跟 HashMap 差不多,源码如下:
存放元素的 HashEntry,也是一个静态内部类,源码如下:
HashEntry
和HashMap
中的 Entry
非常类似,唯一的区别就是其中的核心数据如value
,以及next
都使用了volatile
关键字修饰,保证了多线程环境下数据获取时的可见性!
从类的定义上可以看到,Segment 这个静态内部类继承了ReentrantLock
类,ReentrantLock
是一个可重入锁,如果了解过多线程的朋友们,对它一定不陌生。
ReentrantLock
和synchronized
都可以实现对线程进行加锁,不同点是:ReentrantLock
可以指定锁是公平锁还是非公平锁,操作上也更加灵活,关于此类,具体在以后的多线程篇幅中会单独介绍。
因为ConcurrentHashMap
的大体存储结构和HashMap
类似,所以就不对每个方法进行单独分析介绍了,关于HashMap
的分析,有兴趣的朋友可以参阅小编之前写的《深入分析 HashMap》一文。
ConcurrentHashMap 在存储方面是一个 Segment 数组,一个 Segment 就是一个子哈希表,Segment 里维护了一个 HashEntry 数组,其中 Segment 继承自 ReentrantLock,并发环境下,对于不同的 Segment 数据进行操作是不用考虑锁竞争的,因此不会像 Hashtable 那样不管是添加、删除、查询操作都需要同步处理。
理论上 ConcurrentHashMap 支持 concurrentLevel(通过 Segment 数组长度计算得来) 个线程并发操作,每当一个线程独占一把锁访问 Segment 时,不会影响到其他的 Segment 操作,效率大大提升!
上面介绍完了对象属性,我们继续来看看 ConcurrentHashMap 的构造方法,源码如下:
this
调用对应的构造方法,源码如下:
从源码上可以看出,ConcurrentHashMap 初始化方法有三个参数,initialCapacity(初始化容量)为16、loadFactor(负载因子)为0.75、concurrentLevel(并发等级)为16,如果不指定则会使用默认值。
其中,值得注意的是 concurrentLevel 这个参数,虽然 Segment 数组大小 ssize 是由 concurrentLevel 来决定的,但是却不一定等于 concurrentLevel,ssize 通过位移动运算,一定是大于或者等于 concurrentLevel 的最小的 2 的次幂!
通过计算可以看出,按默认的 initialCapacity 初始容量为16,concurrentLevel 并发等级为16,理论上就允许 16 个线程并发执行,并且每一个线程独占一把锁访问 Segment,不影响其它的 Segment 操作!
从之前的文章中,我们了解到 HashMap 在多线程环境下操作可能会导致程序死循环,仔细想想你会发现,造成这个问题无非是 put 和扩容阶段发生的!
那么这样我们就可以从 put 方法下手了,来看看 ConcurrentHashMap 是怎么操作的?
3.1、put 操作
ConcurrentHashMap 的 put 方法,源码如下:
从源码可以看出,这部分的 put 操作主要分两步:
- 定位 Segment 并确保定位的 Segment 已初始化;
- 调用 Segment 的 put 方法;
真正插入元素的 put 方法,源码如下:
从源码可以看出,真正的 put 操作主要分以下几步:
- 第一步,尝试获取对象锁,如果获取到返回true,否则执行
scanAndLockForPut
方法,这个方法也是尝试获取对象锁; - 第二步,获取到锁之后,类似 hashMap 的 put 方法,通过 key 计算所在 HashEntry 数组的下标;
- 第三步,获取到数组下标之后遍历链表内容,通过 key 和 hash 值判断是否 key 已存在,如果已经存在,通过标识符判断是否覆盖,默认覆盖;
- 第四步,如果不存在,采用头插法插入到 HashEntry 对象中;
- 第五步,最后操作完整之后,释放对象锁;
我们再来看看,上面提到的scanAndLockForPut
这个方法,源码如下:
scanAndLockForPut
这个方法,操作也是分以下几步:
- 当前线程尝试去获得锁,查找 key 是否已经存在,如果不存在,就创建一个HashEntry 对象;
- 如果重试次数大于最大次数,就调用
lock()
方法获取对象锁,如果依然没有获取到,当前线程就阻塞,直到获取之后退出循环; - 在这个过程中,key 可能被别的线程给插入,所以在第5步中,如果 HashEntry 存储内容发生变化,重置重试次数;
通过scanAndLockForPut()
方法,当前线程就可以在即使获取不到segment
锁的情况下,完成需要添加节点的实例化工作,当获取锁后,就可以直接将该节点插入链表即可。
这个方法还实现了类似于自旋锁的功能,循环式的判断对象锁是否能够被成功获取,直到获取到锁才会退出循环,防止执行 put 操作的线程频繁阻塞,这些优化都提升了 put 操作的性能。
3.2、get 操作
get 方法就比较简单了,因为不涉及增、删、改操作,所以不存在并发故障问题,源码如下:
由于 HashEntry 涉及到的共享变量都使用 volatile 修饰,volatile 可以保证内存可见性,所以不会读取到过期数据。
3.3、remove 操作
remove 操作和 put 方法差不多,都需要获取对象锁才能操作,通过 key 找到元素所在的 Segment 对象然后移除,源码如下:
与 get 方法类似,先获取 Segment 数组所在的 Segment 对象,然后通过 Segment 对象去移除元素,源码如下:
先获取对象锁,如果获取到之后执行移除操作,之后的操作类似 hashMap 的移除方法,步骤如下:
- 先获取对象锁;
- 计算key的hash值在HashEntry[]中的角标;
- 根据index角标获取HashEntry对象;
- 循环遍历HashEntry对象,HashEntry为单向链表结构;
- 通过key和hash判断key是否存在,如果存在,就移除元素,并将需要移除的元素节点的下一个,向上移;
- 最后就是释放对象锁,以便其他线程使用;
四、JDK1.8 中的 ConcurrentHashMap
虽然 JDK1.7 中的 ConcurrentHashMap 解决了 HashMap 并发的安全性,但是当冲突的链表过长时,在查询遍历的时候依然很慢!
在 JDK1.8 中,HashMap 引入了红黑二叉树设计,当冲突的链表长度大于8时,会将链表转化成红黑二叉树结构,红黑二叉树又被称为平衡二叉树,在查询效率方面,又大大的提高了不少。
因为 HashMap 并不支持在多线程环境下使用, JDK1.8 中的ConcurrentHashMap 和往期 JDK 中的 ConcurrentHashMa 一样支持并发操作,整体结构和 JDK1.8 中的 HashMap 类似,相比 JDK1.7 中的 ConcurrentHashMap, 它抛弃了原有的 Segment 分段锁实现,采用了 CAS + synchronized
来保证并发的安全性。
JDK1.8 中的 ConcurrentHashMap 对节点Node
类中的共享变量,和 JDK1.7 一样,使用volatile
关键字,保证多线程操作时,变量的可见行!
其他的细节,与 JDK1.8 中的 HashMap 类似,我们来具体看看 put 方法!
4.1、put 操作
打开 JDK1.8 中的 ConcurrentHashMap 中的 put 方法,源码如下:
当进行 put 操作时,流程大概可以分如下几个步骤:
- 首先会判断 key、value是否为空,如果为空就抛异常!
- 接着会判断容器数组是否为空,如果为空就初始化数组;
- 进一步判断,要插入的元素
f
,在当前数组下标是否第一次插入,如果是就通过 CAS 方式插入; - 在接着判断
f.hash == -1
是否成立,如果成立,说明当前f
是ForwardingNode
节点,表示有其它线程正在扩容,则一起进行扩容操作; - 其他的情况,就是把新的
Node
节点按链表或红黑树的方式插入到合适的位置; - 节点插入完成之后,接着判断链表长度是否超过
8
,如果超过8
个,就将链表转化为红黑树结构; - 最后,插入完成之后,进行扩容判断;
put 操作大致的流程,就是这样的,可以看的出,复杂程度比 JDK1.7 上了一个台阶。
4.1.1、initTable 初始化数组
我们再来看看源码中的第3步 initTable()
方法,如果数组为空就初始化数组,源码如下:
sizeCtl 是一个对象属性,使用了volatile关键字修饰保证并发的可见性,默认为 0,当第一次执行 put 操作时,通过Unsafe.compareAndSwapInt()
方法,俗称CAS
,将 sizeCtl
修改为 -1
,有且只有一个线程能够修改成功,接着执行 table 初始化任务。
如果别的线程发现sizeCtl<0
,意味着有另外的线程执行CAS操作成功,当前线程通过执行Thread.yield()
让出 CPU 时间片等待 table 初始化完成。
4.1.2、helpTransfer 帮组扩容
我们继续来看看 put 方法中第5步helpTransfer()
方法,如果f.hash == -1
成立,说明当前f
是ForwardingNode
节点,意味有其它线程正在扩容,则一起进行扩容操作,源码如下:
这个过程,操作步骤如下:
- 第1步,对 table、node 节点、node 节点的 nextTable,进行数据校验;
- 第2步,根据数组的length得到一个标识符号;
- 第3步,进一步校验 nextTab、tab、sizeCtl 值,如果 nextTab 没有被并发修改并且 tab 也没有被并发修改,同时
sizeCtl < 0
,说明还在扩容; - 第4步,对 sizeCtl 参数值进行分析判断,如果不满足任何一个判断,将
sizeCtl + 1
, 增加了一个线程帮助其扩容;
4.1.3、addCount 扩容判断
我们再来看看源码中的第9步 addCount()
方法,插入完成之后,扩容判断,源码如下:
这个过程,操作步骤如下:
- 第1步,利用CAS将方法更新baseCount的值
- 第2步,检查是否需要扩容,默认check = 1,需要检查;
- 第3步,如果满足扩容条件,判断当前是否正在扩容,如果是正在扩容就一起扩容;
- 第4步,如果不在扩容,将sizeCtl更新为负数,并进行扩容处理;
put 的流程基本分析完了,可以从中发现,里面大量的使用了CAS
方法,CAS 表示比较与替换,里面有3个参数,分别是目标内存地址、旧值、新值,每次判断的时候,会将旧值与目标内存地址中的值进行比较,如果相等,就将新值更新到内存地址里,如果不相等,就继续循环,直到操作成功为止!
虽然使用的了CAS
这种乐观锁方法,但是里面的细节设计的很复杂,阅读比较费神,有兴趣的朋友们可以自己研究一下。
4.2、get 操作
get 方法操作就比较简单了,因为不涉及并发操作,直接查询就可以了,源码如下:
从源码中可以看出,步骤如下:
- 第1步,判断数组是否为空,通过key定位到数组下标是否为空;
- 第2步,判断node节点第一个元素是不是要找到,如果是直接返回;
- 第3步,如果是红黑树结构,就从红黑树里面查询;
- 第4步,如果是链表结构,循环遍历判断;
4.3、reomve 操作
reomve 方法操作和 put 类似,只是方向是反的,源码如下:
replaceNode 方法,源码如下:
从源码中可以看出,步骤如下:
- 第1步,循环遍历数组,接着校验参数;
- 第2步,判断是否有别的线程正在扩容,如果是一起扩容;
- 第3步,用 synchronized 同步锁,保证并发时元素移除安全;
- 第4步,因为
check= -1
,所以不会进行扩容操作,利用CAS操作修改baseCount值;
五、总结
虽然 HashMap 在多线程环境下操作不安全,但是在 java.util.concurrent
包下,java 为我们提供了 ConcurrentHashMap 类,保证在多线程下 HashMap 操作安全!
在 JDK1.7 中,ConcurrentHashMap 采用了分段锁策略,将一个 HashMap 切割成 Segment 数组,其中 Segment 可以看成一个 HashMap, 不同点是 Segment 继承自 ReentrantLock,在操作的时候给 Segment 赋予了一个对象锁,从而保证多线程环境下并发操作安全。
但是 JDK1.7 中,HashMap 容易因为冲突链表过长,造成查询效率低,所以在 JDK1.8 中,HashMap 引入了红黑树特性,当冲突链表长度大于8时,会将链表转化成红黑二叉树结构。
在 JDK1.8 中,与此对应的 ConcurrentHashMap 也是采用了与 HashMap 类似的存储结构,但是 JDK1.8 中 ConcurrentHashMap 并没有采用分段锁的策略,而是在元素的节点上采用 CAS + synchronized
操作来保证并发的安全性,源码的实现比 JDK1.7 要复杂的多。
本文因为是断断续续写出来,如果有理解不对的地方,欢迎各位网友指出!
六、参考
1、JDK1.7&JDK1.8 源码
2、JavaGuide - 容器 - ConcurrentHashMap
3、博客园 -dreamcatcher-cx - ConcurrentHashMap1.7实现原理及源码分析
4、简书 -占小狼 - 深入浅出ConcurrentHashMap1.8
面试必问之 ConcurrentHashMap 线程安全的具体实现方式的更多相关文章
- 面试必问:Spring循环依赖的三种方式
引言:循环依赖就是N个类中循环嵌套引用,如果在日常开发中我们用new 对象的方式发生这种循环依赖的话程序会在运行时一直循环调用,直至内存溢出报错.下面说一下Spring是如果解决循环依赖的. 第一种: ...
- linux驱动工程面试必问知识点
linux内核原理面试必问(由易到难) 简单型 1:linux中内核空间及用户空间的区别?用户空间与内核通信方式有哪些? 2:linux中内存划分及如何使用?虚拟地址及物理地址的概念及彼此之间的转化, ...
- 互联网公司面试必问的Redis题目
Redis是一个非常火的非关系型数据库,火到什么程度呢?只要是一个互联网公司都会使用到.Redis相关的问题可以说是面试必问的,下面我从个人当面试官的经验,总结几个必须要掌握的知识点. 介绍:Redi ...
- 一线大厂Java面试必问的2大类Tomcat调优
一.前言 最近整理了 Tomcat 调优这块,基本上面试必问,于是就花了点时间去搜集一下 Tomcat 调优都调了些什么,先记录一下调优手段,更多详细的原理和实现以后用到时候再来补充记录,下面就来介绍 ...
- Java面试必问之Hashmap底层实现原理(JDK1.7)
1. 前言 Hashmap可以说是Java面试必问的,一般的面试题会问: Hashmap有哪些特性? Hashmap底层实现原理(get\put\resize) Hashmap怎么解决hash冲突? ...
- TCP的分分合合(面试必问)
TCP连接与断开 目录 TCP连接与断开 前言 握手 挥手 最后 前言 相信面试过的小伙伴对这个话题应该不陌生,算是面试必问了,三次握手,四次挥手,以及其中的一些衍生问题. TCP/IP(Transm ...
- 【面试必问】python实例方法、类方法@classmethod、静态方法@staticmethod和属性方法@property区别
[面试必问]python实例方法.类方法@classmethod.静态方法@staticmethod和属性方法@property区别 1.#类方法@classmethod,只能访问类变量,不能访问实例 ...
- 互联网公司面试必问的mysql题目(下)
这是mysql系列的下篇,上篇文章地址我附在文末. 什么是数据库索引?索引有哪几种类型?什么是最左前缀原则?索引算法有哪些?有什么区别? 索引是对数据库表中一列或多列的值进行排序的一种结构.一个非常恰 ...
- 互联网公司面试必问的mysql题目(上)
又到了招聘的旺季,被要求准备些社招.校招的题库.(如果你是应届生,尤其是东北的某大学,绝对福利哦) 介绍:MySQL是一个关系型数据库管理系统,目前属于 Oracle 旗下产品.虽然单机性能比不上or ...
随机推荐
- JavaScriptBreak 语句 continue 语句
break 语句用于跳出循环. continue 用于跳过循环中的一个迭代. Break 语句 我们已经在本教程之前的章节中见到过 break 语句.它用于跳出 switch() 语句. break ...
- day15 web前端之css
css的概念以及初体验 概念: CSS(cascading style sheet)也就是层叠样式表:它是一种网页设计的新技术,现在已经被大多数浏览器所支持,层位网页设计必不可少的工具之一.优点: ...
- SharpDX初学者教程第1部分:在Visual Studio 2013中设置SharpDX项目
原文 http://www.johanfalk.eu/blog/sharpdx-tutorial-part-1-setting-up-a-sharpdx-project-in-visual-studi ...
- 实现ios后台缩略图模糊的一种方法
http://blog.sina.com.cn/s/blog_64cfe8f00102ux5t.html 今天玩手机(Iphone)发现应用切换支付宝会变模糊,不禁感叹,细节处理的太到位了. 怎么 ...
- POJ-2502_Subway
Subway Time Limit: 1000MS Memory Limit: 65536K Description You have just moved from a quiet Waterloo ...
- qt开发ROS遇到这个问题 find_package(catkin) failed. catkin was neither found in the workspace nor in the CMAKE_PREFIX_PATH...
为了实现用Qt开发ROS界面开发环境,我几乎参阅了网上所有的配置教程,安装了多个版本的qt,在ubuntu14.04和ubuntu16.04上分别进行了配置,最后都成功了.不得不说的是用QTCREAT ...
- 如何安装 btsync
本文告诉大家如何在 windows 和 Linux 安装使用 Btsync 而且分享一些小东西给大家 btsync 是分布式网盘 在这高速运作的信息化时代,使用云端来衔接工作和生活的点滴已是寻常事.可 ...
- 消息点击率翻倍的背后——闲鱼无侵入可扩展IFTTT系统
一.面临问题 在闲鱼生态里,用户之间会有很多种关系.其中大部分关系是由买家触发,联系到卖家,比如买家通过搜索.收藏.聊天等动作与卖家产生联系:另外一部分是平台与用户之间的关系.对这些关系分析之后我们发 ...
- C# Dapper 基本使用 增删改查事务
来源:https://blog.csdn.net/Tomato2313/article/details/78880969 using DapperTest.Models; using System.C ...
- HDU1711 Number Sequence 题解 KMP算法
题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=1711 题目大意:最基础的字符串匹配,只不过这里用整数数组代替了字符串. 给你两个数组 \(a[1..N ...