CosId 通用、灵活、高性能的分布式 ID 生成器

介绍

CosId 旨在提供通用、灵活、高性能的分布式系统 ID 生成器。 目前提供了俩大类 ID 生成器:SnowflakeId (单机 TPS 性能:409W/s JMH 基准测试)、SegmentId( RedisIdSegmentDistributor 单机 TPS 性能(步长 1000):3687W+/s JMH 基准测试)。

更新内容(1.1.0)

  • 增强:RedisIdGenerator 抽象升级为 SegmentId(号段模式)。
  • 新增:添加 IdSegmentDistributor api,提升号段模式扩展性,以便未来支持更多类型的号段存储器。
  • 增强:将共享 IdGenerator 以 key:share ,注入 IdGeneratorProvider,统一 IdGeneratorProvider 使用体验。
  • 升级:将 gradle 版本升级到 7.1 。

SnowflakeId

SnowflakeId 使用 Long (64 bits) 位分区来生成 ID 的一种分布式 ID 算法。

通用的位分配方案为:timestamp (41 bits) + machineId (10 bits) + sequence (12 bits) = 63 bits 。

  • 41 位 timestamp = (1L<<41)/(1000/3600/365) 约可以存储 69 年的时间戳,即可以使用的绝对时间为 EPOCH + 69 年,一般我们需要自定义 EPOCH

    为产品开发时间,另外还可以通过压缩其他区域的分配位数,来增加时间戳位数来延长可用时间。
  • 10 位 machineId = (1L<<10) = 1024 即相同业务可以部署 1024 个副本 (在 Kubernetes 概念里没有主从副本之分,这里直接沿用 Kubernetes 的定义)

    实例,一般情况下没有必要使用这么多位,所以会根据部署规模需要重新定义。
  • 12 位 sequence = (1L<<12) * 1000 = 4096000 即单机每秒可生成约 409W 的 ID,全局同业务集群可产生 4096000*1024=419430W=41.9亿(TPS)。

SnowflakeId 设计上可以看出:

  • timestamp 在高位,所以 SnowflakeId 是本机单调递增的,受全局时钟同步影响 SnowflakeId 是全局趋势递增的。
  • SnowflakeId 不对任何第三方中间件有强依赖关系,并且性能也非常高。
  • 位分配方案可以按照业务系统需要灵活配置,来达到最优使用效果。
  • 强依赖本机时钟,潜在的时钟回拨问题会导致 ID 重复。
  • machineId 需要手动设置,实际部署时如果采用手动分配 machineId,会非常低效。

CosId-SnowflakeId 主要解决 SnowflakeId 俩大问题:机器号分配问题、时钟回拨问题。 并且提供更加友好、灵活的使用体验。

MachineIdDistributor (MachineId 分配器)

目前 CosId 提供了以下三种 MachineId 分配器。

ManualMachineIdDistributor

  1. cosid:
  2. snowflake:
  3. machine:
  4. distributor:
  5. type: manual
  6. manual:
  7. machine-id: 0

手动分配 MachineId

StatefulSetMachineIdDistributor

  1. cosid:
  2. snowflake:
  3. machine:
  4. distributor:
  5. type: stateful_set

使用 KubernetesStatefulSet 提供的稳定的标识 ID 作为机器号。

RedisMachineIdDistributor

  1. cosid:
  2. snowflake:
  3. machine:
  4. distributor:
  5. type: redis

使用 Redis 作为机器号的分发存储。

ClockBackwardsSynchronizer (时钟回拨同步器)

  1. cosid:
  2. snowflake:
  3. clock-backwards:
  4. spin-threshold: 10
  5. broken-threshold: 2000

默认提供的 DefaultClockBackwardsSynchronizer 时钟回拨同步器使用主动等待同步策略,spinThreshold(默认值 10 毫秒) 用于设置自旋等待阈值, 当大于spinThreshold时使用线程休眠等待时钟同步,如果超过brokenThreshold(默认值 2 秒)时会直接抛出ClockTooManyBackwardsException异常。

MachineStateStorage (机器状态存储)

  1. public class MachineState {
  2. public static final MachineState NOT_FOUND = of(-1, -1);
  3. private final int machineId;
  4. private final long lastTimeStamp;
  5. public MachineState(int machineId, long lastTimeStamp) {
  6. this.machineId = machineId;
  7. this.lastTimeStamp = lastTimeStamp;
  8. }
  9. public int getMachineId() {
  10. return machineId;
  11. }
  12. public long getLastTimeStamp() {
  13. return lastTimeStamp;
  14. }
  15. public static MachineState of(int machineId, long lastStamp) {
  16. return new MachineState(machineId, lastStamp);
  17. }
  18. }
  1. cosid:
  2. snowflake:
  3. machine:
  4. state-storage:
  5. local:
  6. state-location: ./cosid-machine-state/

默认提供的 LocalMachineStateStorage 本地机器状态存储,使用本地文件存储机器号、最近一次时间戳,用作 MachineState 缓存。

ClockSyncSnowflakeId (主动时钟同步 SnowflakeId)

  1. cosid:
  2. snowflake:
  3. share:
  4. clock-sync: true

默认 SnowflakeId 当发生时钟回拨时会直接抛出 ClockBackwardsException 异常,而使用 ClockSyncSnowflakeId 会使用 ClockBackwardsSynchronizer 主动等待时钟同步来重新生成 ID,提供更加友好的使用体验。

SafeJavaScriptSnowflakeId (JavaScript 安全的 SnowflakeId)

  1. SnowflakeId snowflakeId=SafeJavaScriptSnowflakeId.ofMillisecond(1);

JavaScriptNumber.MAX_SAFE_INTEGER 只有 53 位,如果直接将 63 位的 SnowflakeId 返回给前端,那么会值溢出的情况,通常我们可以将 SnowflakeId 转换为 String 类型或者自定义 SnowflakeId 位分配来缩短 SnowflakeId 的位数 使 ID 提供给前端时不溢出。

SnowflakeFriendlyId (可以将 SnowflakeId 解析成可读性更好的 SnowflakeIdState )

  1. cosid:
  2. snowflake:
  3. share:
  4. friendly: true
  1. public class SnowflakeIdState {
  2. private final long id;
  3. private final int machineId;
  4. private final long sequence;
  5. private final LocalDateTime timestamp;
  6. /**
  7. * {@link #timestamp}-{@link #machineId}-{@link #sequence}
  8. */
  9. private final String friendlyId;
  10. }
  1. public interface SnowflakeFriendlyId extends SnowflakeId {
  2. SnowflakeIdState friendlyId(long id);
  3. SnowflakeIdState ofFriendlyId(String friendlyId);
  4. default SnowflakeIdState friendlyId() {
  5. long id = generate();
  6. return friendlyId(id);
  7. }
  8. }
  1. SnowflakeFriendlyId snowflakeFriendlyId=new DefaultSnowflakeFriendlyId(snowflakeId);
  2. SnowflakeIdState idState=snowflakeFriendlyId.friendlyId();
  3. idState.getFriendlyId(); //20210623131730192-1-0

SegmentId (号段模式)

RedisIdSegmentDistributor (使用Redis作为号段分发存储)

  1. cosid:
  2. segment:
  3. enabled: true
  4. distributor:
  5. type: redis
  6. share:
  7. offset: 0
  8. step: 100
  9. provider:
  10. bizC:
  11. offset: 10000
  12. step: 100
  13. bizD:
  14. offset: 10000
  15. step: 100

RedisIdSegmentDistributor 步长设置为 1 时(每次生成ID都需要执行一次 Redis 网络 IO 请求)TPS 性能约为 21W/s (JMH 基准测试),如果在部分场景下我们对 ID 生成的 TPS 性能有更高的要求,那么可以选择使用增加每次ID分发步长来降低网络 IO 请求频次,提高 IdGenerator性能(比如增加步长为 1000,性能可提升到 3545W+/s JMH 基准测试)。

IdGeneratorProvider

  1. cosid:
  2. snowflake:
  3. provider:
  4. bizA:
  5. # epoch:
  6. # timestamp-bit:
  7. sequence-bit: 12
  8. bizB:
  9. # epoch:
  10. # timestamp-bit:
  11. sequence-bit: 12
  1. IdGenerator idGenerator=idGeneratorProvider.get("bizA");

在实际使用中我们一般不会所有业务服务使用同一个 IdGenerator ,而是不同的业务使用不同的 IdGenerator,那么 IdGeneratorProvider 就是为了解决这个问题而存在的,他是 IdGenerator 的容器,可以通过业务名来获取相应的 IdGenerator

Examples

CosId-Examples

安装

Gradle

Kotlin DSL

  1. val cosidVersion = "1.1.0";
  2. implementation("me.ahoo.cosid:spring-boot-starter-cosid:${cosidVersion}")

Maven

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <project xmlns="http://maven.apache.org/POM/4.0.0"
  3. xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  4. xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  5. <modelVersion>4.0.0</modelVersion>
  6. <artifactId>demo</artifactId>
  7. <properties>
  8. <cosid.version>1.1.0</cosid.version>
  9. </properties>
  10. <dependencies>
  11. <dependency>
  12. <groupId>me.ahoo.cosid</groupId>
  13. <artifactId>spring-boot-starter-cosid</artifactId>
  14. <version>${cosid.version}</version>
  15. </dependency>
  16. </dependencies>
  17. </project>

application.yaml

  1. cosid:
  2. namespace: ${spring.application.name}
  3. snowflake:
  4. enabled: true
  5. # epoch: 1577203200000
  6. clock-backwards:
  7. spin-threshold: 10
  8. broken-threshold: 2000
  9. machine:
  10. # stable: true
  11. # machine-bit: 10
  12. # instance-id: ${HOSTNAME}
  13. distributor:
  14. type: redis
  15. # manual:
  16. # machine-id: 0
  17. state-storage:
  18. local:
  19. state-location: ./cosid-machine-state/
  20. share:
  21. clock-sync: true
  22. friendly: true
  23. provider:
  24. bizA:
  25. # timestamp-bit:
  26. sequence-bit: 12
  27. bizB:
  28. # timestamp-bit:
  29. sequence-bit: 12
  30. segment:
  31. enabled: true
  32. distributor:
  33. type: redis
  34. share:
  35. offset: 0
  36. step: 100
  37. provider:
  38. bizC:
  39. offset: 10000
  40. step: 100
  41. bizD:
  42. offset: 10000
  43. step: 100

JMH-Benchmark

  • 基准测试运行环境:笔记本开发机 ( MacBook Pro (M1) )
  • 所有基准测试都在开发笔记本上执行。
  • Redis 部署环境也在该笔记本开发机上。

SnowflakeId

  1. Benchmark Mode Cnt Score Error Units
  2. SnowflakeIdBenchmark.millisecondSnowflakeId_generate thrpt 4093924.313 ops/s
  3. SnowflakeIdBenchmark.safeJsMillisecondSnowflakeId_generate thrpt 511542.292 ops/s
  4. SnowflakeIdBenchmark.safeJsSecondSnowflakeId_generate thrpt 511939.629 ops/s
  5. SnowflakeIdBenchmark.secondSnowflakeId_generate thrpt 4204761.870 ops/s

RedisIdSegmentDistributorBenchmark

  1. gradle cosid-redis:jmh
  1. Benchmark Mode Cnt Score Error Units
  2. RedisIdSegmentDistributorBenchmark.step_1 thrpt 25 220218.848 ± 2070.786 ops/s
  3. RedisIdSegmentDistributorBenchmark.step_100 thrpt 25 3605422.967 ± 13479.405 ops/s
  4. RedisIdSegmentDistributorBenchmark.step_1000 thrpt 25 36874696.252 ± 357214.292 ops/s

CosId 1.1.0 发布,通用、灵活、高性能的分布式 ID 生成器的更多相关文章

  1. CosId 1.0.0 发布,通用、灵活、高性能的分布式 ID 生成器

    CosId 通用.灵活.高性能的分布式 ID 生成器 介绍 CosId 旨在提供通用.灵活.高性能的分布式系统 ID 生成器. 目前提供了俩大类 ID 生成器:SnowflakeId (单机 TPS ...

  2. CosId 1.0.3 发布,通用、灵活、高性能的分布式 ID 生成器

    CosId 通用.灵活.高性能的分布式 ID 生成器 介绍 CosId 旨在提供通用.灵活.高性能的分布式系统 ID 生成器. 目前提供了俩大类 ID 生成器:SnowflakeId (单机 TPS ...

  3. CosId 1.1.8 发布,通用、灵活、高性能的分布式 ID 生成器

    CosId 通用.灵活.高性能的分布式 ID 生成器 介绍 CosId 旨在提供通用.灵活.高性能的分布式 ID 生成器. 目前提供了三类 ID 生成器: SnowflakeId : 单机 TPS 性 ...

  4. CosId 通用、灵活、高性能的分布式 ID 生成器

    CosId 通用.灵活.高性能的分布式 ID 生成器 介绍 CosId 旨在提供通用.灵活.高性能的分布式系统 ID 生成器. 目前提供了俩大类 ID 生成器:SnowflakeId (单机 TPS ...

  5. 分布式ID生成器(CosId)的设计与实现

    分布式ID生成器(CosId)设计与实现 CosId 简介 CosId 旨在提供通用.灵活.高性能的分布式 ID 生成器. 目前提供了俩类 ID 生成器: SnowflakeId : 单机 TPS 性 ...

  6. 分布式ID(CosId)之号段链模式性能(1.2亿/s)解析

    分布式ID(CosId)之号段链模式性能(1.2亿/s)解析 上一篇文章<分布式ID生成器(CosId)设计与实现>我们已经简单讨论过CosId的设计与实现全貌. 但是有很多同学有一些疑问 ...

  7. RDIFramework.NET平台代码生成器V1.0发布(提供下载)

    RDIFramework.NET平台代码生成器V1.0发布(提供下载)   RDIFramework.NET(.NET快速开发整合框架)框架做为信息化系统快速开发.整合的框架,其目的一至是给用户和开发 ...

  8. Apache Storm 1.1.0 发布概览

    写在前面的话 本人长期关注数据挖掘与机器学习相关前沿研究.欢迎和我交流,私人微信:846731084 我自己测试了一下这个版本,总的来说更加稳定,新增的特性并没有一一测试,仅凭kafk-client来 ...

  9. 译 .NET Core 3.0 发布

    原文:<Announcing .NET Core 3.0> 宣布.NET Core 3.0 发布 很高兴宣布.NET Core 3.0的发布.它包括许多改进,包括添加Windows窗体和W ...

随机推荐

  1. margin (子元素远离父元素边框)

    如果父盒子没有设置border框着,那么他的子元素无法利用margin-top 来远离父元素的上边框 如果使用了margin-top会使子元素和父元素一起往下移 (子想离,父不设置border边框 则 ...

  2. ElasticSearch7使用指导

    目录结构: 一.es概述 二.es安装/head插件安装/kibana安装 三.es核心概念 四.IK分词器 五.RestFul操作 六.CRUD(增删改查) 七.Springboot集成es --- ...

  3. Shell 脚本重启项目

    每次发打包好项目后都需要手动重启项目,写个Shell脚本一键重启项目 Shell 脚本 #!/bin/bash while getopts "n:p:" arg do case $ ...

  4. [刷题] 435 Non-overlapping Intervals

    要求 贪心算法与动态规划的关系 给定一组区间,最少删除多少个区间,可以让这些区间之间互相不重叠 给定区间的起始点永远小于终止点 示例 [[1,2],[2,3],[3,4],[1,3]], 返回1 [[ ...

  5. IEEE754标准

    以下计算按规格化规定: S:符号位 M:分数值 E:指数偏移值 单精度浮点数(32bit): NUM_single = (-1)^S *  1.M   *   2^(E-127) 双精度浮点数(64b ...

  6. ipmitool使用手册

    ipmitool使用手册原创xinqidian_xiao 最后发布于2018-07-05 12:15:47 阅读数 17948 收藏展开一.查找安装包 查看ipmitool属于哪个安装包 #yum p ...

  7. jmeter从安装到使用

    最近,项目需要做接口测试,在python和jmeter之前选择,最终还是选择jmeter,虽然脚本管理及持续集成方面有所不便,但胜在使用简单,调试方便,方便后续做并发压力测试,而且最后的报告统计图表也 ...

  8. zabbix监控之用户及用户组

    一.概述 Zabbix 中的所有用户都通过 Web 前端去访问 Zabbix 应用程序.并为每个用户分配唯一的登陆名和密码. 所有用户的密码都被加密并储存于 Zabbix 数据库中.用户不能使用其用户 ...

  9. C语言的指针数组与指针数组

    一.指针数组与指针数组 1,指针数组 顾名思义,即一个元素全部是指针的数组,其形式与普通数组相似,形式如 *a[N]. 在理解指针数组的使用方式前,我先来说下我个人对数组的理解. 比如一维整形数组(形 ...

  10. Jmeter(四十七) - 从入门到精通高级篇 - 分布式压测部署之负载机的设置(详解教程)

    1.简介 千呼万唤始出来,这一篇感觉写了好久,总想写的清楚明白简洁,但是还是洋洋洒洒写了好多,希望大家喜欢吧!本来打算将这一篇文章是放在性能测试中讲解和分享的,但是有的童鞋或者小伙伴们私下问的太多了, ...