如何生成唯一的server Id,server_id为何不能重复?
我们都知道MySQL用server-id来唯一的标识某个数据库实例,并在链式或双主复制结构中用它来避免sql语句的无限循环。这篇文章分享下我对server-id的理解,然后比较和权衡生成唯一server-id的几种方式。
server_id的用途
简单说来,server_id有两个用途:
1. 用来标记binlog event的源产地,就是SQL语句最开始源自于哪里。
2. 用于IO_thread对主库binlog的过滤。如果没有设置 replicate-same-server-id=1 ,那么当从库的io_thread发现event的源与自己的server-id相同时,就会跳过该event,不把该event写入到relay log中。从库的sql_thread自然就不会执行该event。这在链式或双主结构中可以避免sql语句的无限循环。
注意:相同server-id的event在io_thread这一层就过滤了;而对于replicate-(do|ignore)-等规则,则是在sql_thread这一层过滤的。io_thread和sql_thread都有过滤的功能。
server_id为何不能重复
在同一个集群中,server-id一旦重复,可能引发一些诡异问题。
看看下面两种情况:
图1:主库与从库的server-id不同,但是两个或多个从库的server-id相同
这种情况下复制会左右摇摆。当两个从库的server-id相同时,如果从库1已经连接上主库,此时从库2也需要连接到主库,发现之前有server-id相同的连接,就会先注销该连接,然后重新注册。
参考下面的代码片段:
repl_failsafe (register_slave) download
1 |
|
两台从库不停的注册,不停的注销,会产生很多relay log文件,查看从库状态会看到relay log文件名不停改变,从库的复制状态一会是yes一会是正在连接中。
图2:链式或双主结构中,主库与从库的server-id相同
从库1同时又是relay数据库,它能正确同步,然后把relay-log内容重写到自己的binlog中。当server-id为100的从库2 io线程获取binlog时,发现所有内容都是源自于自己,就会丢弃这些event。因此从库2无法正确同步主库的数据。只有直接写relay server的event能正确同步到从库2。
上面两种情况可以看到,在同一个replication set中,保持server-id的唯一性非常重要。
server_id的动态修改
无意中发现 server-id 竟然是可以动态修改的,可别高兴的太早。好处是,上面图1的情况下,直接修改其中一个从库的server-id就可以解决server-id冲突的问题。坏处很隐蔽,如下图的结构:
现在假设active-master因为某种原因与passive-master的同步断开后,passive-master上进行了一些ddl变更。然后某dba突发奇想把passive-master的server-id修改为400。当双master的复制启动后,那些之前在passive-master上执行的server-id为200的ddl变更,会从此陷入死循环。如果是 alter table t engine=innodb
,它会一直不停,可能你会发现。但是像 update a=a+1;
这样的sql,你很难发现。当然这种场景只是我的杜撰,这儿有个更真实的例子 主备备的两个备机转为双master时出现的诡异slave lag问题 。
举这两个例子只是想说明修改server-id有点危险,最好不要去修改,那么能一步到位生成它吗?
如何生成唯一的server_id
常用的方法有如下几种:
1. 采用随机数
mysql的server-id是4字节整数,范围从0-4294967295,因此采用该范围内的随机数来作为server-id产生冲突的可能性是非常小的。
2. 采用时间戳
直接用date +%s来生成server-id。一天86400秒来计算,往后计算50年,最大的server-id也才使用到86400*365*50,完全在server-id范围内。
3. 采用ip地址+端口
这是我们经常采用的方法。例如ip为192.168.122.23,端口为3309,那么server-id可以写为122233309。产生冲突的可能性比较小:遇到*.*.122.23 或者*.*.12.223,而且搭建了同一个replication set的3309才会出现。
4. 采用集中的发号器
在管理服务器上采用自增的id来统一分配server-id。这可以保证不冲突,但是需要维护中心节点。
5. 分开管理每个replication set
在每个replication set中为mysql库增加一个管理表,保证每个从库的server-id不冲突。
哪一种更好
上面的几种方法都不赖,但是:
1. 方法4加了维护负担,而且开发环境、测试环境、线上环境都维护一套发号器的话,有点麻烦,混在一起又可能遇到网段隔离的风险,还有发号器数据库权限的问题难于控制。所以不推荐。
2. 方法5实现了自治,但是管理成本有点高。从库要能够写主库的server-id表,复杂。
3. 5种方法都存在的问题是,使用冷备的数据来扩容,server-id需要手动去修改,否则就与冷备源的server-id冲突。而且,当mysql启动的时候,你无法判断该mysql是刚通过备份扩容的,还是之前一直正常运行的。所以你不知道这个server-id到底要不要改。而我希望server-id对dba完全透明,又绝不产生冲突,即可彻底屏蔽这个讨厌的东西。
建议的方法
其实很简单。ipv4是4字节的整数,与server-id的范围完全一样。我们认为只有ip地址+端口才能唯一的确定一个mysql实例,所以总是希望把ip信息和端口信息都集成到server-id中。但是别忘了,一个ip上不能同时启动两个一样的端口。所以,server-id只需采用ip地址的整数形式!自定义的mysql启动脚本强制对server-id进行检查,发现server-id不对就进行纠正,然后启动。上面所有的问题,都会迎刃而解。
欢迎拍砖。
如何生成唯一的server Id,server_id为何不能重复?的更多相关文章
- 生成唯一32位ID编码代码Java(GUID)
源码下载链接:http://pan.baidu.com/s/1jGCEWlC 扫扫关注"茶爸爸"微信公众号 坚持最初的执着,从不曾有半点懈怠,为优秀而努力,为证明自己而活. /* ...
- php 生成唯一id的几种解决方法
php 生成唯一id的几种解决方法 网上查了下,有很多的方法 1.md5(time() . mt_rand(1,1000000)); 这种方法有一定的概率会出现重复 2.php内置函数uniqid ...
- PHP使用SnowFlake算法生成唯一ID
前言:最近需要做一套CMS系统,由于功能比较单一,而且要求灵活,所以放弃了WP这样的成熟系统,自己做一套相对简单一点的.文章的详情页URL想要做成url伪静态的格式即xxx.html 其中xxx考虑过 ...
- js 如何生成唯一且不可预测的 ID
通常数据库可以生成唯一的 ID,最多的就是数字序列,也有像 MongoDB 这样产生组合序列的,不过这种形式的 ID 由于是序列,是可以预测的.如果想得到不可预测且唯一的 ID,方法还是有的. 下面主 ...
- C#生成唯一的ID保存到数据库
直接用.NET Framework 提供的 Guid() 函数: Guid.NewGuid()是指生成唯一码的规则 System.Guid.NewGuid().ToString()全球唯一标识符 (G ...
- 生成唯一的id(转)
很多朋友都利用md5()来生成唯一的编号,但是md5()有几个缺点:1.无序,导致数据库中排序性能下降.2.太长,需要更多的存储空间.其实PHP中自带一个函数来生成唯一的id,这个函数就是uniqid ...
- php生成唯一id/唯一标识符/唯一订单号
/** * php 生成唯一id * https://blog.csdn.net/hzqghost/article/details/18914681 */ function guid($factor= ...
- 如何使用php生成唯一ID的4种方法
php生成唯一ID的应用场景非常普遍,如临时缓存文件名称,临时变量,临时安全码等,uniqid()函数基于以微秒计的当前时间,生成一个唯一的 ID.由于生成唯一ID与微秒时间关联,因此ID的唯一性非常 ...
- PHP获取时间戳和微秒数以及生成唯一ID
microtime函数 描述:返回当前Unix时间戳和微秒数 语法:mixed microtime( [ bool $get_as_float ] ) //直接输出 echo microtime(); ...
随机推荐
- Nginx 响应状态
ngx.status = ngx.HTTP_CONTINUE (100) (first added in the v0.9.20 release)ngx.status = ngx.HTTP_SWITC ...
- STM32的HAL库中的DMA_FLAG_TCIF3_7等几个宏定义的含义
DMA_FLAG_TCIF0_4就是指DMA的通道0和通道4,DMA_FLAG_TCIF1_5就是指DMA的通道1和通道5,DMA_FLAG_TCIF2_6就是指DMA的通道2和通道6,DMA_FLA ...
- Asp.Net Core 2.0 项目实战(3)NCMVC角色权限管理前端UI预览及下载
Asp.Net Core 2.0 项目实战(1) NCMVC开源下载了 Asp.Net Core 2.0 项目实战(2)NCMVC一个基于Net Core2.0搭建的角色权限管理开发框架 Asp.Ne ...
- Docker 镜像的导入和导出
镜像的导入和导出 export 和improt [root@#localhost docker]# docker run -ti ubuntu:update /bin/bash root@cbe3cb ...
- 073 HBASE的读写以及client API
一:读写思想 1.系统表 hbase:namespace 存储hbase中所有的namespace的信息 hbase:meta rowkey:hbase中所有表的region的名称 column:re ...
- Android 7.0 PopupWindow 又引入新的问题,Google工程师也不够仔细么
Android7.0 PopupWindow的兼容问题 Android7.0 中对 PopupWindow 这个常用的控件又做了一些改动,修复了以前遗留的一些问题的同时貌似又引入了一些问题,本文通 ...
- [ 转载 ]Java:成员变量,局部变量,静态变量的区别
精简后方便自己理解. 成员变量 我们研究一个事物: 属性:外在特征:如身高,体重 行为:能做什么:如说话,打球. 在Java语言中,最基本的单位是类(class),类就是用来体现事物的. 属性:类中的 ...
- loj#2128. 「HAOI2015」数字串拆分 矩阵乘法
目录 题目链接 题解 代码 题目链接 loj#2128. 「HAOI2015」数字串拆分 题解 \(f(s)\)对于\(f(i) = \sum_{j = i - m}^{i - 1}f(j)\) 这个 ...
- 洛谷P1265 公路修建(Prim)
To 洛谷.1265 公路修建 题目描述 某国有n个城市,它们互相之间没有公路相通,因此交通十分不便.为解决这一“行路难”的问题,政府决定修建公路.修建公路的任务由各城市共同完成. 修建工程分若干轮完 ...
- Android日志工具的使用
一.使用Android的日志工具Log 1.Android中的日志工具类是Log,这个类中提供了如下5个方法来供我们打印日志. log.v():用于打印哪些最为繁琐.意义最小的日志信息.对应级别ver ...