CosId 通用、灵活、高性能的分布式 ID 生成器

介绍

CosId 旨在提供通用、灵活、高性能的分布式系统 ID 生成器。 目前提供了俩大类 ID 生成器:SnowflakeId (单机 TPS 性能:409W JMH 基准测试)、RedisIdGenerator (单机 TPS 性能(步长 1000):1268W JMH 基准测试)。

SnowflakeId

SnowflakeId 使用 Long (64 bits) 位分区来生成 ID 的一种分布式 ID 算法。

通用的位分配方案为:timestamp (41 bits) + machineId (10 bits) + sequence (12 bits) = 63 bits 。

  • 41 位 timestamp = (1L<<41)/(1000/3600/365) 约可以存储 69 年的时间戳,即可以使用的绝对时间为 EPOCH + 69 年,一般我们需要自定义EPOCH为产品开发时间,另外还可以通过压缩其他区域的分配位数,来增加时间戳位数来延长可用时间。
  • 10 位 machineId = (1L<<10) = 1024 即相同业务可以部署 1024 个副本 (在 Kubernetes 概念里没有主从副本之分,这里直接沿用 Kubernetes 的定义) 实例,一般情况下没有必要使用这么多位,所以会根据部署规模需要重新定义。
  • 12 位 sequence = (1L<<12) * 1000 = 4096000 即单机每秒可生成约 409W 的 ID,全局同业务集群可产生 4096000*1024=419430W=41.9亿(TPS)。

SnowflakeId 设计上可以看出:

  • timestamp 在高位,所以 SnowflakeId 是本机单调递增的,受全局时钟同步影响 SnowflakeId 是全局趋势递增的。
  • SnowflakeId 不对任何第三方中间件有强依赖关系,并且性能也非常高。
  • 位分配方案可以按照业务系统需要灵活配置,来达到最优使用效果。
  • 强依赖本机时钟,潜在的时钟回拨问题会导致 ID 重复。
  • machineId 需要手动设置,实际部署时如果采用手动分配 machineId,会非常低效。

CosId-SnowflakeId

主要解决 SnowflakeId 俩大问题:机器号分配问题、时钟回拨问题。 并且提供更加友好、灵活的使用体验。

MachineIdDistributor (MachineId 分配器)

目前 CosId 提供了以下三种 MachineId 分配器。

ManualMachineIdDistributor

  1. cosid:
  2. snowflake:
  3. manual:
  4. enabled: true
  5. machine-id: 1

手动分配 MachineId

StatefulSetMachineIdDistributor

  1. cosid:
  2. snowflake:
  3. stateful-set:
  4. enabled: true

使用 KubernetesStatefulSet 提供的稳定的标识 ID 作为机器号。

RedisMachineIdDistributor

  1. cosid:
  2. snowflake:
  3. redis:
  4. enabled: true

使用 Redis 作为机器号的分发存储。

ClockBackwardsSynchronizer (时钟回拨同步器)

默认提供的 DefaultClockBackwardsSynchronizer 时钟回拨同步器使用主动等待同步策略,spinThreshold(默认值 20 毫秒) 用于设置自旋等待阈值, 当大于spinThreshold

时使用线程休眠等待时钟同步,如果超过brokenThreshold(默认值 2 秒)时会直接抛出ClockTooManyBackwardsException异常。

LocalMachineState (本地机器状态存储)

  1. public class MachineState {
  2. public static final MachineState NOT_FOUND = of(-1, -1);
  3. private final int machineId;
  4. private final long lastTimeStamp;
  5. public MachineState(int machineId, long lastTimeStamp) {
  6. this.machineId = machineId;
  7. this.lastTimeStamp = lastTimeStamp;
  8. }
  9. public int getMachineId() {
  10. return machineId;
  11. }
  12. public long getLastTimeStamp() {
  13. return lastTimeStamp;
  14. }
  15. public static MachineState of(int machineId, long lastStamp) {
  16. return new MachineState(machineId, lastStamp);
  17. }
  18. }

默认提供的 FileLocalMachineState 本地机器状态存储,使用本地文件存储机器号、最近一次时间戳,用作 MachineState 缓存。

ClockSyncSnowflakeId (主动时钟同步 SnowflakeId)

默认 SnowflakeId 当发生时钟回拨时会直接抛出 ClockBackwardsException 异常,而使用 ClockSyncSnowflakeId 会使用 ClockBackwardsSynchronizer

主动等待时钟同步来重新生成 ID,提供更加友好的使用体验。

SafeJavaScriptSnowflakeId (JavaScript 安全的 SnowflakeId)

  1. SnowflakeId snowflakeId = SafeJavaScriptSnowflakeId.ofMillisecond(1);

JavaScriptNumber.MAX_SAFE_INTEGER 只有 53 位,如果直接将 63 位的 SnowflakeId 返回给前端,那么会值溢出的情况,通常我们可以将SnowflakeId转换为

String 类型或者自定义 SnowflakeId 位分配来缩短 SnowflakeId 的位数 使 ID 提供给前端时不溢出。

SnowflakeIdStateParser (可以将 SnowflakeId 解析成可读性更好的 SnowflakeIdState )

  1. public class SnowflakeIdState {
  2. private final long id;
  3. private final int machineId;
  4. private final long sequence;
  5. private final LocalDateTime timestamp;
  6. /**
  7. * {@link #timestamp}-{@link #machineId}-{@link #sequence}
  8. */
  9. private final String friendlyId;
  10. }
  1. SnowflakeIdState idState=snowflakeIdStateParser.parse(id);
  2. idState.getFriendlyId(); //20210623131730192-1-0

RedisIdGenerator

单机 RedisTPS 性能极限大概在 10W+ 左右,如果在部分场景下我们对性能有更高的要求,那么可以选择使用增加每次ID分发步长来降低网络IO请求频次,提高 IdGenerator 性能,使用RedisIdGenerator生成ID TPS 极限约等于 10+W * Step

IdGeneratorProvider

  1. cosid:
  2. snowflake:
  3. providers:
  4. bizA:
  5. # epoch:
  6. # timestamp-bit:
  7. # machine-bit:
  8. sequence-bit: 12
  9. bizB:
  10. # epoch:
  11. # timestamp-bit:
  12. # machine-bit:
  13. sequence-bit: 12

在实际使用中我们一般不会所有业务服务使用同一个 IdGenerator ,而是不同的业务使用不同的 IdGenerator,那么 IdGeneratorProvider 就是为了解决这个问题而存在的,他是 IdGenerator 的容器,可以通过业务名来获取相应的 IdGenerator

Examples

CosId-Examples

安装

Gradle

Kotlin DSL

  1. val cosidVersion = "0.8.2";
  2. implementation("me.ahoo.cosid:spring-boot-starter-cosid:${cosidVersion}")

Maven

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <project xmlns="http://maven.apache.org/POM/4.0.0"
  3. xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  4. xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  5. <modelVersion>4.0.0</modelVersion>
  6. <artifactId>demo</artifactId>
  7. <properties>
  8. <cosid.version>0.8.2</cosid.version>
  9. </properties>
  10. <dependencies>
  11. <dependency>
  12. <groupId>me.ahoo.cosid</groupId>
  13. <artifactId>spring-boot-starter-cosid</artifactId>
  14. <version>${cosid.version}</version>
  15. </dependency>
  16. </dependencies>
  17. </project>

application.yaml

  1. cosid:
  2. namespace: ${spring.application.name}
  3. snowflake:
  4. # stateful-set:
  5. # enabled: true
  6. # manual:
  7. # enabled: true
  8. # machine-id: 1
  9. redis:
  10. enabled: true
  11. providers:
  12. order:
  13. # epoch:
  14. # timestamp-bit:
  15. # machine-bit:
  16. sequence-bit: 12
  17. user:
  18. # epoch:
  19. # timestamp-bit:
  20. # machine-bit:
  21. sequence-bit: 12
  22. enabled: false
  23. redis:
  24. enabled: true
  25. providers:
  26. order:
  27. step: 100

JMH-Benchmark

SnowflakeId

  1. Benchmark Mode Cnt Score Error Units
  2. SnowflakeIdBenchmark.millisecondSnowflakeId_generate thrpt 4093924.313 ops/s
  3. SnowflakeIdBenchmark.safeJsMillisecondSnowflakeId_generate thrpt 511542.292 ops/s
  4. SnowflakeIdBenchmark.safeJsSecondSnowflakeId_generate thrpt 511939.629 ops/s
  5. SnowflakeIdBenchmark.secondSnowflakeId_generate thrpt 4204761.870 ops/s

RedisIdGenerator

  1. Benchmark Mode Cnt Score Error Units
  2. RedisIdGeneratorBenchmark.step_1 thrpt 86243.935 ops/s
  3. RedisIdGeneratorBenchmark.step_100 thrpt 1718229.010 ops/s
  4. RedisIdGeneratorBenchmark.step_1000 thrpt 12688174.755 ops/s
  5. RedisIdGeneratorBenchmark.step_10000 thrpt 13995195.387 ops/s

CosId 通用、灵活、高性能的分布式 ID 生成器的更多相关文章

  1. CosId 1.0.0 发布,通用、灵活、高性能的分布式 ID 生成器

    CosId 通用.灵活.高性能的分布式 ID 生成器 介绍 CosId 旨在提供通用.灵活.高性能的分布式系统 ID 生成器. 目前提供了俩大类 ID 生成器:SnowflakeId (单机 TPS ...

  2. CosId 1.0.3 发布,通用、灵活、高性能的分布式 ID 生成器

    CosId 通用.灵活.高性能的分布式 ID 生成器 介绍 CosId 旨在提供通用.灵活.高性能的分布式系统 ID 生成器. 目前提供了俩大类 ID 生成器:SnowflakeId (单机 TPS ...

  3. CosId 1.1.0 发布,通用、灵活、高性能的分布式 ID 生成器

    CosId 通用.灵活.高性能的分布式 ID 生成器 介绍 CosId 旨在提供通用.灵活.高性能的分布式系统 ID 生成器. 目前提供了俩大类 ID 生成器:SnowflakeId (单机 TPS ...

  4. CosId 1.1.8 发布,通用、灵活、高性能的分布式 ID 生成器

    CosId 通用.灵活.高性能的分布式 ID 生成器 介绍 CosId 旨在提供通用.灵活.高性能的分布式 ID 生成器. 目前提供了三类 ID 生成器: SnowflakeId : 单机 TPS 性 ...

  5. 分布式ID生成器(CosId)的设计与实现

    分布式ID生成器(CosId)设计与实现 CosId 简介 CosId 旨在提供通用.灵活.高性能的分布式 ID 生成器. 目前提供了俩类 ID 生成器: SnowflakeId : 单机 TPS 性 ...

  6. 常用的分布式ID生成器

    为何需要分布式ID生成器 **本人博客网站 **IT小神 www.itxiaoshen.com **拿我们系统常用Mysql数据库来说,在之前的单体架构基本是单库结构,每个业务表的ID一般从1增,通过 ...

  7. 如何快速开发一个支持高效、高并发的分布式ID生成器

    ID生成器是指能产生不重复ID服务的程序,在后台开发过程中,尤其是分布式服务.微服务程序开发过程中,经常会用到,例如,为用户的每个请求产生一个唯一ID.为每个消息产生一个ID等等,ID生成器也是进行无 ...

  8. c#分布式ID生成器

    c#分布式ID生成器   简介 这个是根据twitter的snowflake来写的.这里有中文的介绍. 如上图所示,一个64位ID,除了最左边的符号位不用(固定为0,以保证生成的ID都是正数),还剩余 ...

  9. 基于redis的分布式ID生成器

    基于redis的分布式ID生成器  

随机推荐

  1. debian系统搭建telnet服务器以及telnet远程登陆--加油

    1.安装软件 sudo apt-get install telnet* 2.创建telnet文件 vim /etc/xinetd.d/telnet telnet内容 1 service telnet ...

  2. spring为何要注入接口,而注入接口的实现类就会报错

    首先说明,注入的对象确实为实现类的对象.(并不是实现类的代理对象,注入并不涉及代理) 如果只是单纯注入是可以用实现类接收注入对象的,但是往往开发中会对实现类做增强,如事务,日志等,实现增强的AOP技术 ...

  3. MD5加密以及登录获取设置token

    MD5简介 MD5是不可逆的加密算法,基本上是不可破解的,网上有些破解网站,其实是利用了穷举法,因为MD5生成的串是一样的,他们会将常规的密码生成MD5加密串,保存,然后破解的时候去穷举比对.(应对之 ...

  4. 对ansible不支持service模块的status命令进行修正

    原生的ansible不支持service.status,在Google之后,发现有人提交了一个patch,可以支持status选项.见https://github.com/ritzk/ansible- ...

  5. mysql集群无法启动成功

    场景:两台数据库运行一段时间后发现集群挂了,一台服务正常,一台不正常. 日志如下: [ERROR] InnoDB: Attempted to open a previously opened tabl ...

  6. Ansible_常用模块

    一.Ansible常用模块 1.ansible常用模块command.shell.raw的区别: command模块不是调用的shell的指令,所以没有bash的环境变量 shell模块调用的/bin ...

  7. (全解析)屏幕尺寸,分辨率,像素,PPI之间到底什么关系?

    (全解析)屏幕尺寸,分辨率,像素,PPI之间到底什么关系? 产品经理马忠信关注 22015.08.30 13:59:20字数 2,660阅读 52,661 今天我给大家来讲讲这几个咱们经常打交道的词到 ...

  8. QT学习笔记(一)——Helloworld

    QT学习笔记(一)--Helloworld 一.调试的基本方法: Log调试法 --在代码中加入一定的打印语句 --打印程序状态和关键变量的值 断点调试法: --在开发环境中的对应代码行加上断点 -- ...

  9. 2.2 CPU 上下文切换是什么意思?(下)

    怎么查看系统的上下文切换情况 过多的上下文切换,会把 CPU 时间消耗在寄存器.内核栈以及虚拟内存等数据的保存和恢复上,缩短进程真正运行的时间,成了系统性能大幅下降的一个 元凶. 使用 vmstat ...

  10. java学习之旅

    jar文件其实就是一个压缩包,里面包含很多class文件(一个class文件是一个类的字节码).方便在网络上传输.可以规定版本号,更容易进行版本控制. var只能在方法内使用,不能用于定义成员变量. ...