概述

分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。

有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。

而snowflake解决了这种需求,开发这样一套全局唯一ID生成服务。

结构

snowflake的结构如下(每部分用-分开):

0 - 0000000000 0000000000 0000000000 0000000000 0 - 00000 - 00000 - 000000000000

第一位为未使用,接下来的41位为毫秒级时间(41位的长度可以使用69年),然后是5位datacenterId和5位workerId(10位的长度最多支持部署1024个节点) ,最后12位是毫秒内的计数(12位的计数顺序号支持每个节点每毫秒产生4096个ID序号)

一共加起来刚好64位,为一个Long型。(转换成字符串后长度最多19)

snowflake生成的ID整体上按照时间自增排序,并且整个分布式系统内不会产生ID碰撞(由datacenter和workerId作区分),并且效率较高。经测试snowflake每秒能够产生26万个ID。

  1. package com.yiche;
  2.  
  3. /**
  4. *
  5. * SnowFlake的结构如下(每部分用-分开):<br>
  6. * 0 - 0000000000 0000000000 0000000000 0000000000 0 - 00000 - 00000 - 000000000000 <br>
  7. * 1位标识,由于long基本类型在Java中是带符号的,最高位是符号位,正数是0,负数是1,所以id一般是正数,最高位是0<br>
  8. * 41位时间截(毫秒级),注意,41位时间截不是存储当前时间的时间截,而是存储时间截的差值(当前时间截 - 开始时间截)
  9. * 得到的值),这里的的开始时间截,一般是我们的id生成器开始使用的时间,由我们程序来指定的(如下下面程序IdWorker类的startTime属性)。41位的时间截,可以使用69年,年T = (1L << 41) / (1000L * 60 * 60 * 24 * 365) = 69<br>
  10. * 10位的数据机器位,可以部署在1024个节点,包括5位datacenterId和5位workerId<br>
  11. * 12位序列,毫秒内的计数,12位的计数顺序号支持每个节点每毫秒(同一机器,同一时间截)产生4096个ID序号<br>
  12. * 加起来刚好64位,为一个Long型。<br>
  13. * SnowFlake的优点是,整体上按照时间自增排序,并且整个分布式系统内不会产生ID碰撞(由数据中心ID和机器ID作区分),并且效率较高,经测试,SnowFlake每秒能够产生26万ID左右。
  14. * @author shihongxing
  15. * @since 2018-07-03 9:46
  16. */
  17. public class SnowflakeIdWorker {
  18.  
  19. // ==============================Fields===========================================
  20. /**
  21. * 开始时间截 (2015-01-01)
  22. */
  23. //private final long twepoch = 1420041600000L;
  24. private final long twepoch = 0L;//1970-01-01 08:00:00
  25.  
  26. /**
  27. * 机器id所占的位数
  28. */
  29. private final long workerIdBits = 5L;
  30.  
  31. /**
  32. * 数据标识id所占的位数
  33. */
  34. private final long datacenterIdBits = 5L;
  35.  
  36. /**
  37. * 支持的最大机器id,结果是31 (这个移位算法可以很快的计算出几位二进制数所能表示的最大十进制数)
  38. */
  39. private final long maxWorkerId = -1L ^ (-1L << workerIdBits);
  40.  
  41. /**
  42. * 支持的最大数据标识id,结果是31
  43. */
  44. private final long maxDatacenterId = -1L ^ (-1L << datacenterIdBits);
  45.  
  46. /**
  47. * 序列在id中占的位数
  48. */
  49. private final long sequenceBits = 12L;
  50.  
  51. /**
  52. * 机器ID向左移12位
  53. */
  54. private final long workerIdShift = sequenceBits;
  55.  
  56. /**
  57. * 数据标识id向左移17位(12+5)
  58. */
  59. private final long datacenterIdShift = sequenceBits + workerIdBits;
  60.  
  61. /**
  62. * 时间截向左移22位(5+5+12)
  63. */
  64. private final long timestampLeftShift = sequenceBits + workerIdBits + datacenterIdBits;
  65.  
  66. /**
  67. * 生成序列的掩码,这里为4095 (0b111111111111=0xfff=4095)
  68. */
  69. private final long sequenceMask = -1L ^ (-1L << sequenceBits);
  70.  
  71. /**
  72. * 工作机器ID(0~31)
  73. */
  74. private long workerId;
  75.  
  76. /**
  77. * 数据中心ID(0~31)
  78. */
  79. private long datacenterId;
  80.  
  81. /**
  82. * 毫秒内序列(0~4095)
  83. */
  84. private long sequence = 0L;
  85.  
  86. /**
  87. * 上次生成ID的时间截
  88. */
  89. private long lastTimestamp = -1L;
  90.  
  91. //==============================Constructors=====================================
  92.  
  93. /**
  94. * 构造函数
  95. *
  96. * @param workerId 工作ID (0~31)
  97. * @param datacenterId 数据中心ID (0~31)
  98. */
  99. public SnowflakeIdWorker(long workerId, long datacenterId) {
  100. if (workerId > maxWorkerId || workerId < 0) {
  101. throw new IllegalArgumentException(String.format("worker Id can't be greater than %d or less than 0", maxWorkerId));
  102. }
  103. if (datacenterId > maxDatacenterId || datacenterId < 0) {
  104. throw new IllegalArgumentException(String.format("datacenter Id can't be greater than %d or less than 0", maxDatacenterId));
  105. }
  106. this.workerId = workerId;
  107. this.datacenterId = datacenterId;
  108. }
  109.  
  110. // ==============================Methods==========================================
  111.  
  112. /**
  113. * 获得下一个ID (该方法是线程安全的)
  114. *
  115. * @return SnowflakeId
  116. */
  117. public synchronized long nextId() {
  118. long timestamp = timeGen();
  119.  
  120. //如果当前时间小于上一次ID生成的时间戳,说明系统时钟回退过这个时候应当抛出异常
  121. if (timestamp < lastTimestamp) {
  122. throw new RuntimeException(
  123. String.format("Clock moved backwards. Refusing to generate id for %d milliseconds", lastTimestamp - timestamp));
  124. }
  125.  
  126. //如果是同一时间生成的,则进行毫秒内序列
  127. if (lastTimestamp == timestamp) {
  128. sequence = (sequence + 1) & sequenceMask;
  129. //毫秒内序列溢出
  130. if (sequence == 0) {
  131. //阻塞到下一个毫秒,获得新的时间戳
  132. timestamp = tilNextMillis(lastTimestamp);
  133. }
  134. }
  135. //时间戳改变,毫秒内序列重置
  136. else {
  137. sequence = 0L;
  138. }
  139.  
  140. //上次生成ID的时间截
  141. lastTimestamp = timestamp;
  142.  
  143. //移位并通过或运算拼到一起组成64位的ID
  144. return ((timestamp - twepoch) << timestampLeftShift) //
  145. | (datacenterId << datacenterIdShift) //
  146. | (workerId << workerIdShift) //
  147. | sequence;
  148. }
  149.  
  150. /**
  151. * 阻塞到下一个毫秒,直到获得新的时间戳
  152. *
  153. * @param lastTimestamp 上次生成ID的时间截
  154. * @return 当前时间戳
  155. */
  156. protected long tilNextMillis(long lastTimestamp) {
  157. long timestamp = timeGen();
  158. while (timestamp <= lastTimestamp) {
  159. timestamp = timeGen();
  160. }
  161. return timestamp;
  162. }
  163.  
  164. /**
  165. * 返回以毫秒为单位的当前时间
  166. *
  167. * @return 当前时间(毫秒)
  168. */
  169. protected long timeGen() {
  170. return System.currentTimeMillis();
  171. }
  172.  
  173. //==============================Test=============================================
  174.  
  175. /**
  176. * 测试
  177. */
  178. public static void main(String[] args) {
  179. SnowflakeIdWorker idWorker = new SnowflakeIdWorker(0, 0);
  180. for (int i = 0; i < 1000; i++) {
  181. long id = idWorker.nextId();
  182. System.out.println(Long.toBinaryString(id));
  183. System.out.println(id);
  184. }
  185. }
  186. }

分布式自增ID算法snowflake (Java版)的更多相关文章

  1. Twitter的分布式自增ID算法snowflake (Java版)

    概述 分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的. 有些时候我们希望能使用一种 ...

  2. 详解Twitter开源分布式自增ID算法snowflake(附演算验证过程)

    详解Twitter开源分布式自增ID算法snowflake,附演算验证过程 2017年01月22日 14:44:40 url: http://blog.csdn.net/li396864285/art ...

  3. Twitter分布式自增ID算法snowflake原理解析

    以JAVA为例 Twitter分布式自增ID算法snowflake,生成的是Long类型的id,一个Long类型占8个字节,每个字节占8比特,也就是说一个Long类型占64个比特(0和1). 那么一个 ...

  4. Twitter分布式自增ID算法snowflake原理解析(Long类型)

    Twitter分布式自增ID算法snowflake,生成的是Long类型的id,一个Long类型占8个字节,每个字节占8比特,也就是说一个Long类型占64个比特(0和1). 那么一个Long类型的6 ...

  5. 分布式自增ID算法-Snowflake详解

    1.Snowflake简介 互联网快速发展的今天,分布式应用系统已经见怪不怪,在分布式系统中,我们需要各种各样的ID,既然是ID那么必然是要保证全局唯一,除此之外,不同当业务还需要不同的特性,比如像并 ...

  6. 基于.NET Standard的分布式自增ID算法--Snowflake

    概述 本篇文章主要讲述分布式ID生成算法中最出名的Snowflake算法.搞.NET开发的,数据库主键最常见的就是int类型的自增主键和GUID类型的uniqueidentifier. 那么为何还要引 ...

  7. Twitter的分布式自增ID算法snowflake

    snowflake 分布式场景下获取自增id git:https://github.com/twitter/snowflake 解读: http://www.cnblogs.com/relucent/ ...

  8. Twitter的分布式自增ID算法snowflake(雪花算法) - C#版

    概述 分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的.有些时候我们希望能使用一种简 ...

  9. 自增ID算法snowflake - C#版

    急景流年,铜壶滴漏,时光缱绻如画,岁月如诗如歌.转载一篇博客来慰藉,易逝的韶华. 使用UUID或者GUID产生的ID没有规则 Snowflake算法是Twitter的工程师为实现递增而不重复的ID实现 ...

随机推荐

  1. C#MVC中创建多模块web应用程序

    当一个应用程序有越来越多的子模块后,应用程序将变得越来越大,复杂度也越来越高,应用程序也越来越难维护.如果把每个子模块,独立分成不同的web应用程序,则这个项目将易于维护.关于这个的好处,我也描述得不 ...

  2. Android Studio教程-创建第一个项目Hello World

    前段时间打开Android studio 在build过程中总会出现以下错误 Error:Execution failed for task ':app:preDebugAndroidTestBuil ...

  3. go语言刷leetcode - 14 Longest Common Prefix

    func longestCommonPrefix(strs []string) string { { return "" } { ] } ; ; idx++ { ; i < ...

  4. 用实例讲DynamicResource与StaticResource的区别

    原文:用实例讲DynamicResource与StaticResource的区别 之前我的博客文章"WPF中的资源(Resource)"中概略性地提到过DynamicResourc ...

  5. Mac版Visual Studio预览版

    来了,Mac版Visual Studio预览版开放下载 投递人 itwriter 发布于 2016-11-17 12:11 评论(7) 有1317人阅读 原文链接 [收藏] « » 微软前俩天宣布,推 ...

  6. 使用python3的base64编解码实现字符串的简易加密解密

    import base64 copyright = 'Copyright (c) 2012 Doucube Inc. All rights reserved.' def main(): #转成byte ...

  7. Global Contrast based Salient Region Detection (Ming ming Cheng)

    abstract: Automatic estimation of salient object regions across images, without any prior assumption ...

  8. BigTable读后笔记

    BigTable读后笔记 GFS可能出现重复记录或者padding,Bigtable如何处理这种情况使得对外提供强一致性模型? ANS: Bigtable写入GFS的数据分为两种: 1)操作日志,当T ...

  9. Android自注-15-Activity生命周期

    很长一段时间没有写博客,懒,感慨一下. Activity的生命周期是一块以下附图: 通过代码下面简单的介绍一下.一些内容看代码的凝视: package com.mxy; import android. ...

  10. 大约Android远程监控APP源代码

    这篇文章的目的,关心询问名人,要打开源代码.这里说明,远程监控摄像头场外,相反,用手机摄像头摄像头server上,要理解这一点.关于非常网上的文章达到server道路.它能够准确,念就乱发博文,当然假 ...